等到在原地喘匀了气,他才往外走去。
韩路一站在楼外面,看他出来,走上前来,表情亲切而自然。
「您好,聊完了?」
「聊完了。」刚才的拒绝被打断,又接了个脑残打来的电话,江松然反而想听听韩路一要说什么了。
他看了一下四周,住院部外面有个小花园,里面有几张长椅。
现在是冬天,室外没什么人,江松然指着一张长椅说:「咱们去那说。
99
两人在长椅上坐下,韩路一从双肩包里拿出电脑来。
他打开电脑,对江松然说:「我的来意您应该已经知道了,想要邀请您加盟源智科技。在您答复之前,我想先给您看点儿东西。」
说完,韩路一打开了一个代码仓库页面,看起来是自有托管的。
江松然看到这个页面,感觉有点儿眼熟。
等到韩路一打开其中的一个文档夹,名字叫SDPA(
attention),江松然意识到,这不是他刚才看的那篇论文吗?
WenyuanZhao,SourceAl。
怪不得觉得在哪听过,原来就是这个源智科技。
江松然不由得心生好感,这是个干实事的团队。
可是他感觉更不相关了,自己的领域明明是大规模的集群管理,是偏工程向的,这源智科技要是做硬件适配的,找自己干什么?
「WenyuanZhao是?」江松然问道。
「他是我们的首席科学家。」韩路一出声道,「您可以看看我们的成果。」
江松然把注意力放在眼前的屏幕上,这才注意到仓库里还有别的文档夹。
SDPA、LayerNorm、RMSNorm、Softma、GELU、SiLU、
、AdamW、All—Reduce。
一共十个文档夹,每一个对应一个算子的完整实现。
江松然的手指不自觉地点向触摸板,但又停住了—这不是他的电脑。
「您可以自己看。」韩路一重复了一遍刚才的话。
江松然这才开始翻看。
江松然先点开了SDPA的文档夹,和论文里的实现对了一下,确认是同一套代码。
然后他开始翻别的算子。
看了两个之后,他皱起了眉。
「这些跑过benchmark吗?」
「每个算子都有对应的性能测试,」韩路一说,「和N卡cuDNN的基准线对比,最低的80%,最高的91%。README里有完整数据。」
江松然点开了一个README,扫了一下数据表格。确实不是个玩具项目,是认真做过对照的。
「多卡通信验证了吗?」
「4卡和8卡都跑过。All—Reduce是自己写的。」
江松然又看了一下提交记录。最早的提交在上个月,最新的在今天早晨。
十个算子,一个月。
不,还不到一个月。
江松然震惊地擡起头来,看向韩路一。
随即他又否定了自己。
不,不可能,可能是他们把别的地方的成果迁移过来,时间戳不对。
他在硅谷那家公司做类似的事,五个人的小组,一个算子平均要打磨两到三周—那还只是微调,不是重写。
「你们有多大的团队?」江松然问道。
「十几个人。」韩路一说,「加一个AI。」