薛兆恒听了这话,明显一愣。
现在还不放弃吗?
「有。」
「什么规模?」
「隔壁的机房里有一个小集群,三十二张,是我们做内部验证的。」
韩路一点了点头,说:「三十二张够了,薛总,不介意带我去机房看看吧?」
薛兆恒知道韩路一还是要坚持刚才那套说辞。
他没有拒绝的理由,而且,到这个时候,他心底也有了一丝松动。
L100,真有这么厉害?
两人站起来,一起出了办公室。
硅明的机房就在隔壁,严格来说,那也算不上是标准意义上的机房。
只是办公楼里一个房间改造的。
既没有冷暖风信道,也没有湿度控制,更没有静电屏蔽。
几台服务器机柜就那么立在房间的中间,风扇发出嗡嗡的响声。
机房里没人。
这个时间,团队都下班了,薛兆恒是为了见韩路一特意等在这的。
但是他有机房和服务器集群的全部权限。
——
「韩总,您打算怎么验证?」薛兆恒问。
「你自己也说了,L100集群想要运行千亿级的大模型至少要解决两个难题。」
「是的,通信效率,和算子库。」薛兆恒点点头。
虽然从大类上说只有两个,可这里面的技术挑战可太多了。
就拿算子库来说,英伟达的生态是一点儿一点儿磨出来的水磨功夫,不只是算子全,他们还一直在调优。同一个运算给模型,在英伟达的显卡上用CUDA,就是快;换了别的生态,就快不起来。
L100要想做到同样的事情,得软件硬件架构等多个团队的工程师通力合作,找到最高效率的参数。
可以说,CUDA生态的根基就在这里。
「这两个难题,我们解决了。」韩路一说这话的时候显得轻描淡写,熟悉他的人肯定知道他是故意的。
薛兆恒对韩路一的风格还不熟悉,但是他也觉得自己被嘲讽了。
你知道自己在说什么吗?
韩路一没理会薛兆恒的反应,从兜里拿出一个U盘。
这U盘是他刚才在外面找刘或要的,里面是空的,说话的功夫他已经把源智私有代码库里的适配文档用视界写了进去。
薛兆恒还以为这是韩路一提前准备好的。
「这是源智的团队重写的运行时和算子适配,你可以试着用一下,再去部署一个开源模型。」
听了这句话,薛兆恒脸上露出将信将疑的表情:「你是说,源智抛开硅明提供的软件层,完全重写了?还能达到运行接近CUDA的水平?」
韩路一没说话,把手里的U盘又往前递了递。
薛兆恒接了过来,插进了机房里连着服务器集群的一台电脑。
整个机房里的服务器都是内部局域网,他倒不太担心U盘里是病毒。
但他实在不太相信源智有能力做到韩路一刚才说的那些事。
那不真成中国英伟达了吗?
U盘里是几个编译后的文档,文档命名很规范,恰好可以替换掉现在L100的软件栈中算子库和运行时的部分。
甚至都不需要韩路一指导,薛兆恒就知道该把文档拷贝到哪,然后重新启动了服务器。
重启的过程中,这些新存入硬盘的二进位文档就会被加载到内存中,被服务器集群使用。