听说冯·诺依曼当年极力反对使用高级编程语言(就是类似英语的编程语言)。他认为使用汇编就是和电脑交流最简单的方式了。甚至传说他能直接读懂只有0和1组成的代码。
其实江松然和赵文渊之前都已经把相关的内容排查过了,现在当着韩路一的面又做了一遍,并没有新的发现。
韩路一打开视界,目光锁定在电脑上,然后扫了一眼里面机房。
随着视界升级之后,韩路一不再被接收信息的带宽困扰,视界一开,就把周围的信息都收集完了。
然后他站起身,往旁边的准备区走过去,给自己穿进机房的装备。
这边江松然还在说他的推断:「单机没问题,小集群也没事,大集群的量上不去,肯定是在集群层面,而且是大集群有,小集群没有的东西。
这边,赵文渊已经注意到韩路一的举动。
「韩总。」赵文渊站起身追过去。
韩路一已经穿戴完,他看了一眼赵文渊,说:「你也穿上,一起来看看。」
赵文渊赶紧穿上鞋套、防静电服和防静电手环,跟着韩路一进了机房。
刘或和张彪在外面没进去。
机房里对静电防范要求极高,不允许带手机进去,而且即使带进去也基本用不了,因为机房本身防火防震的需求,再加上里面大量的金属机柜,天然就是一个法拉第笼,手机根本就用不了。
此时,在赵文渊的眼中,眼前就是一排排冰冷的金属机柜,每一个都长一个样。
但在韩路一的眼中,眼前的景象却完全不同。机柜和机柜之间的连接,数据流转,都以不同的颜色,像水流一样呈现在他的眼前。
GPU、服务器、交换机、光纤、端口、链路,所有这些东西都变成了一张复杂到超出人理解能力的、复杂的地图。
这张图即使拿到其他人眼前,他们也无法看懂。
太复杂了。
但是韩路一理解起来却全无障碍。
他几乎是一瞬间就定位了数据阻塞的来源。
有几组推理组之间的通信出了问题,节点和节点之间没有物理直连,却在逻辑上被分在了一起,数据从一个地方绕远路跑到另一个地方,再绕远路回来。
看似只是一个小小的点,但这种细微的差别在大模型推理的并行通信里,这一小点会被反复放大。
韩路一开口了:「不是模型的问题。」
赵文渊一愣,韩总,你已经解决了?这么快吗?
韩路一回头看了赵文渊一眼,发现他没有要问问题的意思。
他随后用对讲机和外面联系了一下。
「问题在网络拓扑。」韩路一说。
声音通过对讲机、再通过视频传到了江松然耳朵里。他马上在电脑上翻找起原始的网络拓扑图来。
这是他自己设计的,为的就是把集群的效率打满。
张彪很快就换好衣服,拿着打印好的拓扑图走了进来。
图和实际一对比,很快就能看出问题了。
江松然原本设计的是为了降低推理组之间通信延迟,把几个关键节点尽量放在同一个低延迟域里。
但云垠实际交付的时候,却没有完全按照这张图来进行部署。
他们使用了自己内部更标准、更容易维护的方法。
普通的、对通信延迟不敏感的服务器,这种接法完全没问题,属于为了可维护性做的小小牺牲,大家都可以容忍。
但是对大模型的使用场景来说,这一点小延迟就会被放大很多倍。