笔趣阁

第415章 第408章 温度K和P（第3页）

「从我们刚才的那点儿上下文里，只靠『今天天气真』几个字，可能统计出来下一个词是『好』的概率有40%，『热』是30%，『冷』是20%，其他乱七八糟的加起来也有10%。」

「既然这样。」马小飞疑惑的问，「那就选概率最高的不就行了？」

「如果我每次输入『今天天气真』之后都出现一个『好』字，那还是A吗？」刘大海问道，「或者说，那还有用吗？」

马小飞皱着眉头。

听着是没什么用了。

「那刚才那个例子，模型的分布比例是还好，多试几次，几个选项都有可能出现，但要是那种统计出来是这种分布呢？是不是就只会出现概率最高的那个了？」马小飞问道。

刘大海惊讶的看了看马小飞：「小飞，你很有天赋啊，咱们机器学习里专门就有一个工具是来解决这个问题的！」

他模仿着马小飞刚才的样子，朝着半空中伸出手。

「所有的模型设置里，都会有一个参数，叫Tmpatu，也就是中文的温度。」

然后他对马小飞说了一句：「这块后期加特效哈。」

马小飞笑了笑。

不愧是博士，学的真快。

「那这个温度怎么解决呢？」马小飞问道。

「简单的说，这是一个可以把概率分布拉平的操作。」刘大海说道，「假设你的数据概率分布就是很极端，前四高的选项分别对应的概率是。那你可能无论怎么选，选到的都是90的那个。但是通过把温度调高，我们可以把总体的概率变成调整之后几个选项之间的排序不变，但是分布更均匀了，你选到小选项的概率也变大了。」

「我们这样做的根本原因，是因为我们知道统计规律高的结果并不一定是最好的，所以我们通过人为操作概率的方式，让结果出现更多的变量。」

马小飞一脸「我听懂了」的表情，说道：「大海老师，我以前也在各种界面上看到过这个温度的选项，一直不明白是干什么的，你这一说我就明白了。所以，温度越低，模型就越冷静，输出也就越固定；温度越高，模型就越激情，输出也就越随机。」

「我总结的没错吧？」

刘大海面露犹豫。

总结的是没错，但是激情什么的，这用词对吗？

「那除了温度之外，模型里还有什么常用的参数呢？」

「还是两个和温度经常出现的参数，一个是TpK，一个是TpP。」刘大海说道，「咱们先说TpK吧。」

「你知道，现在的大模型是很大的，几万亿个参数，一个输入的对应输出可能有几万个可能性，如果我们把他们都算一遍，又慢又浪费资源，为了避免浪费，我们就选择只把前K个放到候选池里，其他的就不放了。」

马小飞点了点头。

这个倒是简单明白。

「那TpP呢？」

刘大海也许是好久没给人讲课了，也越谈越兴起。

「这个P在这里是概率的意思，Pbablty。咱们先说它解决什么问题，你比如说，我输入一句『中国的首都是』，你说答案是什么？」

「是京城啊。」马小飞秒答。

「对，这属于事实性答案，是不允许错的，但是在模型里还是有别的选项有很小的概率的，比如『金陵』，比如『长安』，在预料里也存在，按照我们刚才的说法，这些选项也可能被输出。」

刘大海说道：「可是我们不想让他被输出，我们只想要最确定的那些答案，所以我们可以设置一个P=，这样只要我们收集到的选项概率超过了，就不会继续收集了。刚才的答案里，『京城』的原始概率可能高达，答案集里自然不会再出现其他的选项了。」

这个对马小飞来说就有点儿烧脑了。

不过他还是尝试总结了一下。

不懂不是坏事，不懂就要问。

毕竟他能听懂，观众才能听懂嘛。

「所以，TpK是看个数，TpP是看总概率，那这两个数选出来的选项数量不一样的时候听哪个？」马小飞问道。

「哪个小就听哪个。」刘大海回答道，「我们做这些事情都是为了给答案剪枝嘛，不符合任何一个条件都被剪掉了。」

听到这，马小飞松了一口气。

真是一场酣畅淋漓的教学啊。

他看了看手里准备的问题，继续问道：「大海老师，非常感谢你刚才深入浅出的解答，我这还有最后一个问题。」

「你问。」刘大海微笑着说。

「咱们刚才讲到了，一个模型每次输出都不一样，是因为这些参数的设置，让每次推理都有一定的随机性。」马小飞有低头看了一下，然后擡起头，「那有没有一种情况，一个模型会突然降智呢？」

刘大海的笑容一下僵在了脸上。

「马总，你这个问题可不兴问啊。」