笔趣阁

第392章 第387章 双标（第2页）

以他的权限，他只能看到分数结果，却对测试里的内容一无所知。

合作方唯一能接触到的信息是内部公告和关于会议议程、测试流程的一些统一邮件。

偷测试集，他难道是商业间谍吗？如果是的话，他直接偷模型不好吗，为什么要去偷一个没什么用的测试集？

现在理察不仅要作废排名第一的测试结果，还要把提前泄露考题的黑锅扣在他身上？

林伟伦冷笑了一声，说道：「科尔曼教授，你的指责令人发笑，如果你执意要运行这样的决定的话，我会代表新加坡国立大学退出这次合作。」

林伟伦说这话只是在虚张声势，他只是个教授，不是校长，更不姓李。他完全因为专业对口担任合作方的负责人，根本没有权利决定退出合作。

理察果然没被吓到，他微微一笑：「林教授，请便吧。」

林伟伦没等到会议结束就直接走出了会议室，一路回到自己的办公室。

回到办公室之后，他又拿出测试结果的分数看了一遍。

以往的模型测试集主要集中在测试知识、数学能力、编程能力、理解能力和推理能力之类的方向。　　但是因为智能体应用最近的爆火，aifoundations这一次的测试集特意注重了长程任务的能力，而且占比极高，总分一百分的测试题中有三十五分是与长程任务的管理有关的。

当然，这里说的分并不是像学生考试做卷子一样，四个选项里蒙一个，对了就拿分。具体的测试过程相当复杂，每一题都要完成一个跨度长达几个小时、进行很多个步骤才能完成的任务，最后成功之后才能拿到一分，有时甚至要重复多次来验证稳定性，取平均分。

在这样的新标准下，现在的公开模型评分普遍不算太高。

之前霸榜了很久的汤圆0。9只有70。2分。

gemini的新模型最终得分70。8分，openai的gpt-v-ii最终得分71。7。

分数第二高的金星模型2。0得分是72。3分。

互相之间咬的很紧。

只有汤圆1。0，得分93。5，比第二名领先了二十多分。

说实话，这种程度的领先，林伟伦也不理解。

但正是因为不理解，他更不能接受理察等人毫无理由的打压。打不过就修改规则？这些傲慢的西方人。

林伟伦翻看起了源智科技来参会成员的联系方式，他决定等对方到了之后，亲自过去交流一下。

至少要让他们知道自己所受到的不公正待遇。　　如果他们需要帮助的话，林伟伦也做好了准备。

另外一边，理察刚刚接通和硅谷的电话。

电话那边的是nexusai的ceo瑞恩。

「测试成绩你看到了吗？」理察一边喝红茶一边说道，「恭喜你啊，瑞恩，这次你可是堂堂正正的打败了山姆。」

「看到了，还要多亏了老师你的指点。」瑞恩说道。

在他的学术生涯中，瑞恩曾经和理察有过友好的学习关系，这个关系一直保留了下来，在他的创业过程中也起到了很大的帮助。

就拿这次来说，如果没有理察在大方向上的指点，甚至指出了某些极为具体的技术挑战，金星2。0的研究方向肯定也会优化长程任务，但是出来的效果能不能有现在这么好，瑞恩也不敢保证。

「很好，听说mcp最近的推广也很有成效，我为你自豪。」理察在电话里笑了两声，「期待在新加坡见到你展示你的最新成果。我知道，你的对手，那个汤圆协议公司的人也会来，但是你放心，你会得到我的支持。」

理察没提汤圆1。0的事。

毕竟他是真心认为，这个模型是作弊了，大部分顶级模型之间的差距都在一两分之间，这个模型一次高出二十分去，除了作弊他想不到别的原因。

虽然理察也没想出他们是怎么作弊的，但这不重要。

电话挂断之后，瑞恩靠在老板椅的椅背上，把双脚翘上了办公桌的桌面，同时鼻子里哼起了意大利小曲。　　nexusai的最新模型能力超过了openai的最新模型。

值得纪念的一天。

什么叫技术储备啊？这就是技术储备！