「花了多长时间?」
「御风接入模型,从昨天下午输入指令,大概叠代了五六个小时吧。」
自运行五六个小时的长程任务,不跑偏,能输出完成度这么高的产品。 而且韩路一体验下来,这个游戏demo虽然能看到minecraft的影子,但是它本身有很多创新设计,并不是完全照抄的,如果直接上传到游戏商城,人们最多会以为这是一个独立游戏仿品,绝对不会想到是使用大模型一句话生成的,甚至连设计方案都没有。
这意味着汤圆1。0在规划任务时,能够兼具发散性和方向约束,对生产级的应用意义重大。
「进化的真快啊。」体验完之后,韩路一感慨了一句。
赵文渊明白他是什么意思。
模型进化的太快了。
曾经人们认为ai大模型只能做些简单的事,但是随着模型不断叠代,它正在吃掉越来越多更难的任务。
不同模型的能力差别,有的时候并不是多生成几轮和少生成几轮、多花些词元和少花些词元的区别。
这中间是做得到和做不到的鸿沟。
韩路一不太确定,汤圆1。0现在能做到的事,到底有多少模型能做到。
不过,等到新加坡人工智能大会的斗兽场打完,就能找到汤圆1。0所在的位置了。
「怎么训练的这么快的?」韩路一好奇地问道,他印象里,1。0的训练时间还是非常紧张的。
「说到这个,章博士您还记得吧?」 「章闻铎?」韩路一回想了一下,那个有点儿直有点儿倔的水木博士,他有印象。
「对,多亏了他。」赵文渊说道,「我们按照他的想法做了一套新的训练框架,基于异步的强化学习,把训练时间缩短到了一半。」
韩路一欣慰地点头,人才济济啊。
「不过——」赵文渊突然说道,「我当时许诺他给他二百五十六张l100去做世界模型的研究。」
韩路一疑惑的看向他:「我记得研究院一共才一百多张吧?」
赵文渊嘿嘿一笑:「我这不是找您了吗?这个成绩值不值得那么多卡?」
好家伙,老赵都会画空气饼了,这管理不得到a了?
韩路一摇了摇头:「最近临港那边的算力富裕出来了一些,张家口这边再拨一个五百卡的集群给研究院。」
不是不想多给,用户太多,推理流量的压力大,地主家也没有余粮啊。
看完了汤圆1。0的成果,两人又到赵文渊的院长办公室里,把明天要做的专项汇报的材料过了一遍。
国家重大专项的整体流程比较长,源智做的这个方向是算力国产化,具体的名字是《面向千亿级参数模型推理的国产ai加速集群关键技术攻关》。
从源智入选拟立项名单到现在一个多月,按照成长流程,这段时间是给研究单位写计划、整理材料、申请补助预算的时间,还不用出成果。 明天的汇报会嘛,也就是汇报汇报计划。
汤圆本身是万亿级参数的底子,后训练对显存的要求没有那么高,千卡集群就能完成。
想要做万亿级参数大模型的预训练的话,还要在训练集群的规模上再做突破才行。源智现在的总算力有限,要保证大量的推理需求的情况下,还没有余力支持下一轮的预训练。
现在的问题是,如果只看千亿级参数的话,源智已经把训练侧的工作在l100集群上跑通了。
攻关已经完成了。
明天的会上直接就可以展示成果。
「所以韩总,咱们这个汇报该怎么做啊?」赵文渊问道。