第四百四十一章新模型,新名字
「什么?」韩路一问道。
他知道由于大模型本身和人脑的相似性,很多研究人工智能的计算机科学家都会阅读一些脑科学的书籍,他自己也看了几本流传广的畅销书。
但是真到一些细节方面他就抓瞎了。
旁边的江松然也摸不着头脑。
但是看着赵文渊在视频里兴奋地样子,两个人都意识到,这位研究院的院长恐怕还有什么新东西能拿出来。
「是决策的可选项本身。」赵文渊说道,「系统一最擅长做的是是否类的判断,那种几选一的也可以,但是一旦决策的可选项超过一定数量,系统一几乎不可能做出选择。」
「我给你们举个例子,比如说我现在问你们想不想喝豆汁儿,你们是不是立即就可以得出答案?」
江松然还没什么反应,韩路一的脸色已经变得难看了。
这个确实是系统一就能得出答案的问题。
「如果我问你vim好还是emacs好,你是不是也能马上就得出答案?」赵文渊接着问道。
韩路一和江松然几乎同时出声。 「当然是vim。」这是韩路一说的。
「emacs。」这是江松然说的。
两人又飞快地对视了一眼,只是眼神中的含义并不相同。
韩路一的眼神中分明是:「原来你是个emacs党。」江松然则有些惴惴不安,竟然在最不该站错队的地方站错队了。
故意问出这个问题的赵文渊此时正在偷笑,他早就通过观察发现两个人对代码编辑器的偏好不同了。
「但是如果我现在问你,在二十种果酱里选一种,你几乎不可能一瞬间就做出选择;如果我让你现在写一篇两百字的文章,别看只有两百字,这也不是系统一能够完成的任务。你们看到问题的所在了吗?」赵文渊说道。
韩路一思考了一下,说道:「你是指输出的格式吧,无论是是否问题还是二选一问题,他们的输出格式都极为简单,不需要一个词元一个词元的进行生成。」
江松然在旁边补充道:「听起来还有答案域的问题,输出的答案域覆盖得越广,计算也就越复杂。」
两人这个时候都意识到赵文渊为什么会把系统一和系统二的话题拿出来讨论了。
因为对计算任务进行复杂度预测,然后分类,然后规划调度,这个任务天然就是一个系统一的任务,答案域极为狭窄,无非是简单、中等、复杂三档,想要分得再细致一些,五档也绰绰有余了。
韩路一开口问道:「所以这类任务,有比使用汤圆的轻量版更好的解法?」
视频里的赵文渊露出一副高深莫测的笑容:「有的,韩总,有的。」 然后他开始解释道:「当初transfrmer架构刚出来的时候,用的是编码器-解码器(encer-ecer)架构,但是现在的类pt架构的大模型,包括汤圆,全都使用的是只有解码器的架构。这当然是因为这个路线足够优秀,能够解决非常复杂的问题。但是实际上不同的路线适用的是不同的问题,我们刚才讨论的这种分类问题,有一种更适合的架构,就是只有编码器的架构。」
江松然此时惊讶地出声道:「你是说bert?」
韩路一慢了一拍才反应过来。bert是谷歌在2018年提出的一种技术路线,在pt出来之前也曾经在机器学习领域非常热门,但是随着类pt模型成为市场主流,现在已经渐渐没什么提起了。
「你是说?」韩路一问道。