笔趣阁

第223章 为之于未有治之于未乱（第3页）

「请进。」韩路一扬声说道。

赵文渊推门走了进来，他看到姜亦心也不意外，点了点头，说了声「姜总」，然后转向韩路一，大踏步走了过来，边走边说：「韩总，退火已经完成了，我已经把公开的测试，和为源码科技准备的测试集都跑过了，比预期的效果还要好！」

韩路一还没做出反应，姜亦心已经兴奋的说了一句：「汤圆能用了？」

韩路一和赵文渊一起看向她，然后赵文渊不得不给她泼了盆冷水：「不能用。」

姜亦心一愣：「你刚刚不是说，那个什么，跑过分儿了？」

姜亦心是计算机科学的本科，本职工作是编程，平时对AI大模型的了解也主要集中在怎么用，对训练的流程完全不了解。

赵文渊一听就知道是怎么回事了，想了想，还是给她解释了一下。

「现在完成的是预训练，这个是基座模型（BaseModel）。但是想要能用，还得再经过一个后训练阶段，得到对话模型（）才行。」赵文渊说，「所谓跑分，或者说模型测评，确实是在预训练之后这个阶段进行的，这个时候测试的是模型的逻辑和知识，你可以理解成理综考试。」

「那这个基座模型，和对话模型有什么区别？」姜亦心问道。

赵文渊把手里的电脑放在桌子上，打开来，说：「正好给你试试。」

这个基座模型连个对话框也没有，但是在命令行里还是可以输入文本和输出文本的。

姜亦心想了想，输了一个问题：「「为之于未有，治之于未乱」是什么意思？」

很快，模型的回复显示了出来：「「合抱之木，生于毫末」是什么意思？「九层之台，起于累土」是什么意思？「千里之行，始于足下」是什么意思————」

姜亦心看得目瞪口呆。

赵文渊在旁边笑道：「怎么样？是不是和你熟悉的AI大模型不一样？」

确实不一样，姜亦心已经习惯了ChatGPT那种类型的AI，问一个问题，可以给出一长串回答。不过这个回答是不是对的，至少看起来很合理。有不少人都沉迷于和AI聊天，可是这个基座模型看起来好像只能接话，不能对话。

「实际上，这就是Transformer大模型最一开始的样子，一直到GPT—3时代人们都是这么调用模型的。」赵文渊说道，「你想要问一个问题，就得把它包装成一个特殊的格式，让模型去接你的话，根本不好用。」

「一直到InstructGPT横空出世，这一波AI的时代才真正到来，从实验室走到了大众。人们都说Transformer是划时代的发明，可我觉得，Instruct理论的提出，重要性不亚于

「6

看到历史课上的差不多了，韩路一这才插话进来：「你说结果比预期好，到底有多好？」

赵文渊反倒不着急了，他对着韩路一缓缓的吐出了一个词：「SOTA。

SOTA，

意思是，当前最强水平。

韩路一自己就是个老装逼犯了，哪会不知道赵文渊现在在期待什么。

可惜，现场的两个人都不是会为他这一个词震惊的人。

他也不在意，接着问道：「具体的数据呢，拿出来看看。」

赵文渊看他这么平淡的反应，在心里默默的叹了一口气，乖乖的打开了一个文档。

各个测评集都和GPT—4不相上下，确实可以说是世界一线了，尤其突出的是在C—Eval

（中文综合）和CMMLU（中文知识）两个测评集，GPT都在70%左右，汤圆base直接达到了80%以上。

考虑到这还只是依靠视界制定的数据清洗规则做出的基座模型，韩路一当牛做马标出来的十万条标注数据都还没用。

可以预计，汤圆完成训练之后的表现将会非常惊人。

韩路一想到这，直接和赵文渊说：「事不宜迟，现在就开始后训练吧。」

当初韩路一刚刚决定要自己做模型的时候，还是开物刚在国内市场做出点成绩，Ne

us慕名找上门来寻求合作。韩路一当时判断自有模型将是不可替代的战略资源，没想到，短短的几个月之后，他的预言就成真了。

模型的训练和部署成了Kaiwu海外版和御风下一步能否顺利发展的关键。

如果不是韩路一当时果断选择去鼎盛那换算力，现在是无论如何也做不出来的。

即使如此，接下来也得每一步都顺利，才能可能在Neus翻脸之前顺利完成迁移。

同时，鼎盛那边也在虎视眈眈，不得不防。

韩路一最后又嘱咐了一遍赵文渊：「在鼎盛的集群上训练，只上传之前定好的那85%

」

。

赵文渊郑重的点了点头：「我知道，剩下的15%才是我们之后致胜的关键。」

姜亦心最后问出了自己最关心的问题：「那后训练还要多久啊？」