测试数据是完全基于现在上线的汤圆0。9版本和新训练完成的汤圆1。0版本之间进行对比的。
0。9已经很强了,从四月一日发布之后,到现在快两个月了,随着各家发布新模型,汤圆虽然不再是全榜单最强,但在意图理解、低幻觉率等几个方向还在霸榜。
这在模型叠代飞快,榜单天天轮换的现在可不多见。
质疑汤圆刷榜的声音也越来越少。
而刚训练完成的1。0和0。9最大的区别,就是加入了更多、逻辑链更长、质量更高的标注数据。
这种数据再次提升了汤圆模型的逻辑能力。
和0。9相比,1。0在复杂意图理解、长程任务完成率方面再次提高。
这些本来就是汤圆模型的强项。
换句话说,0。9到1。0的变化,并不是补齐了0。9的短板,而是把它原本就长的长板变得更长了。
除了刚才说的那些以外,其实汤圆和其他海外一线模型相比最强的是中文能力。
这当然是因为汤圆后训练中的大量标注数据都是以中文为主的,预训练中的中文语料占比也比其他的模型更多。
很多模型虽然号称是多语言支持,但他们往往在运算和思考过程中使用的是英语,直到最后的输出层才翻译成中文,这种逻辑当然会导致很多中文语境的隐藏语义的缺失。 韩路一看了看测评结果,问道:「长程任务的提升有这么多?」
「我们在推理侧也用了异步新框架。」赵文渊说道,他没展开解释,反正一会儿也要讲。
赵文渊打开一个长程任务示例,展示给韩路一。
这个任务的输入提示有多简单呢?
里面只有一句话:「写一个minecraft。」
minecraft,中文名我的世界,一个瑞典程序员自己开发的独立游戏,后来以十亿美元的价格卖给了微软。
它一度是世界上销量最高的游戏,全球卖出三亿多份。
这个游戏的有趣之处就在于,它的画面极为简陋,但是系统极为复杂。
如果你和任何一个ai模型说,「给我写一个minecraft」,模型都能给你输出点儿什么。
一个能移动、能放置、能破坏的像素游戏?还行。
又加上了生存系统,游戏人物有饥饿度、健康度,会掉血还会死?复杂了一点儿,汤圆0。9就能做到这种程度。
再加上生物系统,游戏里有狼、狗、羊、猪,每个动物都有自己的特性和用途?到这已经基本超过一般模型能做到的范畴了。 至于最复杂的红石系统,靠现在的模型能力还做不到——至少不能一句话做到。
这个测试任务能分成两半看,一句话的提示词,既考验了意图理解、信息收集的能力,这个任务的复杂程度本身又挑战了模型上下文所能承载的编程极限。
赵文渊在桌面上双击了一个可运行文档。
一个游戏窗口跳了出来。
然后赵文渊示意韩路一自己玩一下。
韩路一操作着游戏中的像素小人探索了一会,用手撸了几棵树,收集了一些木材,然后碰见了一个会射箭的野怪,被追着射了几箭,死了。
韩路一回头看了一眼赵文渊,问道:
「完全是用汤圆写出来的?」
「完全是用汤圆写出来的。」赵文渊回道。