笔趣阁

第311章 第306章 把才能留在这里（第3页）

先看看你水平到底怎么样再说。

赵文渊把电脑合上：「我们开始面试了，先聊点基础知识。」

章闻铎把身子挺直，手也攥了攥。

还行，还知道紧张。

「你是研究世界模型方向的，那么你怎么定义世界模型？」

章闻铎几乎没有停顿。

「一个系统如果能从有限观测里构建环境状态的内部表示，并且能利用这个表示预测未来观测、评估动作后果、支持规划和反事实推理，就可以称为世界模型。」

赵文渊点点头，接着问：「世界模型和一个很强的net—tokenpredictor（下一个词元的预测器）有什么区别？」

「区别不在输出形式，在内部表示的约束。」章闻铎推了推眼镜，「Net—token

predictor只需要学到文本分布里的条件概率，哪怕它在很多任务上表现得像理解了世界，也可能只是学到了足够复杂的共现结构。」

「想要成为世界模型，必须满足三个条件。」章闻铎伸出三根手指，「一，状态压缩，不同的表述在同一个世界状态下的内部映射要一致；二，状态更新，新观测会引起内部变量按照可复用的规则更新；三，因果性，对于事件的预测不是纯粹基于相关性的，而是能给出相应的因果关系。」

赵文渊边听边点头。

这个章博士对世界模型的理解还挺深刻的。他说的这些，没有哪个官方的学术定论，但却都描述了世界模型的主流方向。

第一点是说，同一件事不管你怎么表述，本质是一样的，那就应该表示为同样的内部

状态，比如说「一只猫在桌上」和「桌上有一只猫」，不能因为说法不一样，就在内部作为两种表示。

第二点则是说，世界变化的时候，内部表示要更新，而这种更新要遵循规律。这种变动本身避免了每次瞬时状态都要从头进行大量运算，而是可以用上一状态和变化量来计算下一状态。

第三点是学界现在最热门的课题之一，相关性不代表因果性，夏天冰淇淋的销售增加，淹死的小孩也变多了，但是并不是吃冰淇淋导致小孩被淹死。这是纯语言模型最容易出错的地方。

赵文渊继续提问：「那你怎么验证一个语言模型有没有内部状态？你拿不到权重，只能黑盒调用。」

章闻铎嘴角挂起微笑。

这就是他博士论文的课题，现在还没发表，但是在面试里牛刀小试完全没问题。

「黑盒很难验证有内部状态」，最多只能排除低级解释。」章闻铎说，「我会设计状态追踪任务。定义一个隐藏状态，把同一个状态用不同叙述方式包装——叙事文本、表格、聊天记录、甚至带噪声的口述，都可以。如果模型真的有稳定的内部表示，在不同包装下对同一问题的回答应该一致。」

「一致就够了吗？」

「不够。还要加干扰项，再做反事实。问它如果第三步没有发生，最后状态是什么。

只有在反事实任务上也稳定，才说明它有某种状态迁移能力。」

赵文渊点了点头，章闻铎在世界模型的检测这块研究的挺深。

「我们假设你已经有了很好的状态探针，需要一个状态追踪框架。如果要作为持续评测指针跑进训练循环里，你怎么保证评测信号本身不成为训练目标的一部分？」

赵文渊接着问道。

这在机器学习里是个永恒的难题。

甚至在现实世界中也是个永恒的难题。

当你的考核固定，你怎么知道考核对象是学会了知识，还是背过了答案？

章闻铎皱起了眉头。

从概念上来说，他知道这是什么问题。

但是他从来没有处理过需要循环训练，动态更新的大规模项目，没资源，也没必要。

赵文渊微微一笑。

这是典型的工业界而非学术界的问题。

章博士，你要学的东西还很多啊。

章闻铎还在思考，赵文渊看了看表，已经十点五十了。

「今天的面试问题就先到这里吧，我们还有十分钟的时间，你有什么问题想要问我的？」赵文渊说道。