笔趣阁

第273章 第270章 得一可安天下（第3页）

控制台的终端开始滚动日志。

L100backenddetected。（检测到L100后台）

（运行时已初始化）

（算子融合已激活）

（显存规划已初始化）

multi—（多卡调度准备就绪）

服务加载完成。

21B模型开始进入运行状态。

薛兆恒的呼吸微微有些急促。

他没有去手动输入问题，看模型的回复。

模型回复什么，是做模型的人该考虑的问题。

他只需要考虑硬件的性能和利用效率。

服务器里有硅明平时用来测试的脚本，可以大量生成模型输入，对模型的承载能力进行压测。

薛兆恒没有犹豫，开始运行测试脚本。

监控上的数值开始发生变化。

最先跳动的是显存利用率。

之前跑开源小模型，硅明自己的算子库连显存都分配不好，七成的显存白白空在那里。

现在这个数字远远超过了30%。

75%8%88%——

最后差不多稳定在了95%的位置。

压测脚本在没有检测到回灌压力之前，还在加大并发。

现在实时的吞吐量数字已经达到了二十五万词元秒。

薛兆恒知道，同样的测试，上一次跑的时候卡在两万就上不去了。

在算力芯片上，真正能衡量软件水平的是一个关键指针，叫模型算力利用率（Model

，MFU）。但是这个指针没有直接显示在面板上，因为要计算它需要使用芯片算力的极限值。

如果理论上芯片能跑1000TFLOPS，你的模型实际只用到了200TFLOPS，那MFU就是20%。

跑21B模型，每生成一个词元需要221B，即大概42GFLOPs。

二十五万词元每秒对应=

L100的理论算力是600TFLOPS，32卡集群就是=

=54。7%

54。7%？

薛兆恒心算完之后，总觉得自己算错了位数。

他在电脑上打开计算器，又重新算了一遍。

真的是54。7%。

要知道，英伟达最先进的H200显卡，MFU的极限水平也只在60%左右。

薛兆恒这个时候心跳快得就像他二十多年前和老婆结婚的那个晚上。

他一直以为L100的思路不对，硅明走到今天的这个地步，是因为芯片设计失败了。

但是这一刻，他意识到，他缺的只是一套软件。

有了这套软件，硅明就真成了中国的英伟达了。

薛兆恒缓缓起身，回头看向了韩路一，只见韩路一脸上正带着若有若无的笑容看着他。

「薛总，我没骗你吧？」韩路一说道。