笔趣阁

第200章 期待与你的合作（第2页）

江松然整理了一下思路，回答道：「第一阶段的目标如果只是跑推理的话，没必要追求N卡80%的效率，用不满，优先把必要的算子做完跑通，我刚才看了一下，除了十个已经标绿的，还有二十三个已经过了60%的线。」

江松然说到这，低头看了一下屏幕，自己纠正自己道：「二十四个，加起来是三十四个。」

江松然坐回椅子，把椅子往屏幕前挪了挪，开始在表格里圈算子。

「反向、优化器更新、梯度同步，这几类先排后，三月初的推理用不到，等四月调训练的时候再回来做。」

赵文渊点了点头，这几类在表里占了不少，确实都是训练才用得到的，先放一放完全合理。

「再看推理路径。」江松然把光标移到表格的前半段，「矩阵乘、LayerNorm

softma、激活，这几类已经标绿了。注意力相关的算子在哪儿？」

赵文渊往下翻了翻，指了一项：「标准Attention，61%。Flash—Attention那一版还没排上。」

「Flash不用，先用标准的，能跑就行。」江松然说，「KV—cache的读写呢？」

「这里，64%。」

「够了。」江松然往后靠了靠，「再加一个采样，一个RMSNorm。这两个简单，融合不融合都行，先有了再说，我数一下啊。」

他在表里点了点，停在最后。

「差两个。」

赵文渊愣了一下。

他原本打算的是把所有的算子都做到80%，卡住的地方直接调用随身老爷爷韩路一，按现在的速度可能要做到二月底了，到时候再做端到端。

但是现在被江松然这么一拆—

只差两个了。

「你这————」赵文渊一时不知道怎么接话了，「这两个我让组里今天就开。」

「不急。」江松然摆了摆手，「先把已经达标的这三十四个用现成的脚手架串起来，跑一遍空载，把链路打通，这两个等做好了再补进去，到时候哪儿不对一目了然。」

赵文渊点头，站起来转身去喊人。

他一边走一边又有点儿懊恼。

今天又装逼失败了。

一这是哪儿来的神仙啊。

赵文渊把手下的组员都叫过来，交代了任务，今天就开始搭脚手架，尝试用最小模型拉一个链路出来，在8卡环境下跑一圈。

周围的工程师都是一愣：「今天？」

江松然在旁边补了一句：「跑的时候把Profiler打开，不要只看最后的成败，每一步的耗时、等待时间、内存拷贝、通信比例，这些数据都有价值。」

众人还不认识江松然，都看向赵文渊，赵文渊点了点头，大家才散开。

赵文渊转过身来对江松然说：「江博士，谢谢你，这个确实是我没想到的点。还好你现在指出来了。」

江松然脸上倒是毫无骄傲的神情，他说：「这不是你的问题，咱们推进的太快了。」

赵文渊不解：「太快了？」

江松然说：「你知道我们当年做TPU的时候，花了多久才意识到这个问题吗？」

赵文渊递了个话：「多久？」

「三年。」江松然说，「你们现在才做了多久？最多半年吧？」

赵文渊已经没有纠正这个的欲望了，这点儿小逼不装也罢。

江松然接着说：「正常来说，一个团队还卡在第一个SDPA的时候，不需要想这么远。

咱们现在的问题，是已经把最难启动的部分打穿了，所以系统性问题提前暴露了一」」

「这是好事。」

说完，江松然又打开赵文渊电脑上的那几个已经超过80%效率的算子文档夹，说道：「这些实现是你把关的吧？这得需要对底层有很深的理解才能做的出来，不管有没有智能体这种工具，这个理解是做不了假的。」

江松然比赵文渊年长几岁，手底下也管理过几十个人，他现在说这番话就是怕刚才的行为在下属面前伤了赵文渊的权威，所以想鼓励他一下，修补一下关系，防患于未然。

毕竟两人将来大概率要共事很久。

没想到赵文渊听完，脸上又出现了那种不自在的神色，纠结了一会儿，他才开口道：「其实，这些不是我写的。」

江松然好奇道：「那是谁写的？」

「是韩总写的。」赵文渊说着看了一眼电梯方向，最近韩路一上班之后都会直接来十三楼报导。今天听说是京城有人过来，国网投资的尽职调查团队，黄宇带队来的，需要韩路一去对接，所以他到现在还没来。

「韩总？」江松然今天惊讶太多次了，现在已经有点儿惊讶不出来了，「哪些是他写的？」

赵文渊已经麻木了，你怎么哪壶不开提哪壶呢。