笔趣阁

第423章 第416章 算力调度（第1页）

苏念念出门没多久，韩路一又把她发来的数据仔细看了看，给刘彧挂了个内线电话。

「帮我问一下江松然现在在不在。」

过了几分钟，刘彧回了过来：「韩总，江松然总在办公室，要我让他过来吗？」

「不用，我们过去找他。」

韩路一说完起身出门。

他现在关心的是算力的实时情况，又没让江松然提前在准备，去江松然那边，数据调取起来方便，真让他过来汇报还耽误时间。

韩路一来到江松然的办公室，江松然已经等在门外了。

「韩总。」

「走，进去聊。」韩路一说完率先进门，进门之后也没有坐，直接开口询问，「你从京城回来之后一直忙着算力的事，现在进展怎么样了？」

江松然猜到韩路一会问这个，毕竟这既是公司战略，也是他最近的工作重心，所以提前做了点儿准备。

江松然到电脑前把实时监控的数据面板调出来：「韩总您看，现在正在运行的推理和训练集群。」

韩路一简单看过之后，迅速问出了自己最关心的问题。

「j590和龙腾2000大概能做到多少效率？」

听了这个问题，江松然的表情有点儿尴尬。

韩总看问题真准，问的恰好是现在最不好看的数据。

「从上一次跑的基准看，j590能跑到理论算力的80%，龙腾2000只有63%。」江松然说道。

只有这么低吗？

韩路一思考了起来。

现在看，他最一开始所设想的、用中间层来聚合国产算力联盟的方向没有错，在推理方向也已经踏出了坚实的第一步，现在同意接入这一套推理框架的国产厂家就有好几个。

但是现在的问题是，这套中间层是原生适配当初硅明l100的底层硬件的，尽管工程团队在抽象化的时候已经尽量做到硬件无感知，但是有些底层实现没有就是没有，其他厂商的设计，在接入这个中间层的时候，是有性能损失的。

当然，这并不能说中间层的路线是错的，毕竟如果让各个厂商自己实现，他们连跑通都还没跑通，接入中间层是省时省力的做法，但是又必须接受性能损失，只能说鱼和熊掌不可兼。

韩路一突然问道：「龙门半导体那边是你带团队去适配的？」

「是他们带了人过来，在4楼的实验室和我们一起做的适配。」

韩路一挑了挑眉，他和龙门半导体的张总只谈了用优先购买权换适配合作，剩下的都是团队们自己交流的，他倒是没想到工作是在起源大厦里完成的。

摊子大了果然不可能面面俱到了。

：

「这个适配效率要再往上提，还要多久？」

江松然摇了摇头：「我们只是紧急完成了初期的适配，让这些卡赶紧上线派上用场，现在配合龙门那边继续提升效率，性价比不太高，不如让团队去对接其他的厂商。」

确实是这个道理，只是这样一来，不同类型计算卡的集群之间算力差距好像有点大。

「可以混合调用吗？」韩路一问道。

「这是我们团队正在研究的一个方向，但中间还有一些技术挑战没有克服。」江松然答道。

韩路一拉开椅子坐下来：「展开说说。」

江松然愣了一下，问道：「多展开？」

韩路一说道：「你就假设我是一个5岁孩子，尽量把这个问题给我讲明白。」

江松然心想，韩总还真是突发想。

怎么突然用起了费曼方法？

如果你不能把一个专业知识讲给一个5岁的孩子讲明白，就说明你没有完全弄懂它。

「我试试吧。」江松然说道，「现在3种不同类型的推理卡，就像3种不同容量的卡车，不同的推理任务就像要搬运的不同大小的货物。有些任务长而且复杂，只能在l100上运行，有些呢，比较简单直接，对算力的消耗也小，可以在j590，甚至龙腾2000上运行。」

「我们现在遇到的问题是，一个任务进来之前，甚至作为一个长程任务的一部分，在运行中我们都不知道这个任务它是一个简单的任务还是一个难的任务。」

韩路一在心里摇了摇头，这江松然讲着讲着又回去了。

卡车和货物的比喻只用了一句。

江松然还在接着解释：「因为不知道任务是大是小，这个调度逻辑不好写，有的时候只能硬试。」

听到这，韩路一问道：「所以你们现在的方向是什么？」

「我们在考虑，如果能不能把任务切再小一些，这样不用考虑盛不盛下的问题，用哪个卡都盛下。」

韩路一坐在原地看了他一眼。

「这个思路的话，能做的任务复杂程度会受到限制吧？」