「有人把题偷了出来,让这家公司提前进行了针对性的训练?」说话的人正是林伟伦。
作为新加坡国立大学的合作方负责人,连场地都是他联系的,拿到一个话筒自然是轻而易举。
他一边说话一边走上台,站在理察和瑞恩的对面,停了下来。
「科尔曼教授,你刚才提出的,真的是非常严重的指控。」林伟伦转身看向台下,说道,「训练汤圆1。0的厂商——源智科技——的代表们此时此刻就在现场,请你们上台和科尔曼教授现场对峙吧。」
早在这场风波刚刚开始的时候,就已经有人注意韩路一这边的状况了,林伟伦这一番话说完,更多的人看向了这边。
在众多目光的注视下,韩路一站起身。
今天为了这次活动——这场和理察、瑞恩之间的活动,韩路一特意穿上了顾司玥送给他的一身浅灰色西装,配上他高大帅气的建模和那种宠辱不惊的逼王气质,视觉冲击力很强。
他不疾不徐,一步一步走到了台上。
周围越来越多的目光集中在了韩路一的身上,直到他从林伟伦的手中接过话筒。
「作为被aifoundations主动邀请来参加这次会议的人,我感到非常困惑。」韩路一缓缓说道,「测试是主办方邀请我们参加的,我们只是正常提交了模型的接口,现在却受到了这样的指责。」
「从我们接到邀请到最终提交,只有几个星期的时间,如果大家对模型训练有所了解的话,就应该知道,即使有参考答案,要做训练也来不及。」韩路一转向理察,说道,「不知道科尔曼教说我们偷了测试集,有什么证据吗?」 理察没有回答韩路一的问题,而是向现场的观众解释道:「这次封闭测试之所以有效,很大的原因是我们进行了隔离式的沙盒环境,模型不能自己根据考题进行叠代。但是鉴于汤圆1。0已经进行过一次测试,如果用同一套测试集让它再做一次,我们就很难保证结果的公平和公正了。」
他其实已经在给自己找台阶下了,如果汤圆1。0现在再做出90多的高分,那也不是因为模型强,而是因为在上一轮测试中他们已经知道了考题,现在可能已经针对性的调整过了。
韩路一站在台上笑了笑。
「我们都知道,想要证明自己的清白有多难,我也不是来自证清白的。」
韩路一看了看台下的观众,说道:「我想,大家之所以来参加人工智能会议,是想看到人工智能有真正解决问题的能力,而不是为了看看几个模型的分数。既然如此,倒不如就在今天,就在现场——」
「让大家体验一下最新一代模型所具有的能力。」
话音刚落,台下就已经响起了掌声、尖叫声、起哄声。
两家顶尖模型公司现场battle,这不比听瑞恩讲什么安全性重要、战略级武器有意思?
理察站在原地,进退两难。
大会的议程是早就定好的,后面还有主会场和各个分会场的演讲,现在横叉一个现场体验来,怎么安排,不是全乱套了吗?
倒是瑞恩,看到现在这个场面之后,信心满满的向前一步。
「韩先生,只是开放接口,让人们现场体验,怎么能直观的分出好坏?」瑞恩说道,「我看倒不如就用之前搭建的沙盒环境,让所有的模型都接入,再由所有现场的观众们投票选出一个复杂任务,同样的提示词给所有的模型,看看谁的完成度最高,如何?」 韩路一看向瑞恩。
虽然两人之前邮件交流过、视频过,更在各种会议中谈论过对方。
但这还是两人第一次在现实中见面。
视界打开。
【瑞恩·米勒】
【职位:nexusai创始人、ceo】
【情绪:自信、激昂】
【内核动机:金星2。0模型能力内部验证极为优秀,一定能在现场测试中取胜】
韩路一心下了然,不管是理察还是瑞恩,他们是真的不相信汤圆1。0的能力超过了金星2。0,之前测试中93。5的得分不是真实的成绩。
「好。」韩路一答应了下来。
林伟伦带着几名同事迅速把之前测评中心机房里的沙盒环境拉了过来,让想要参与实时测试的厂商现场就能接入。
而韩路一则把电脑接入了大屏幕,现场用御风写了一个投票进程,github开源,然后部署在鼎盛云上,再把写好的进程运行在大屏幕上。 前后花了不到五分钟。
这是一场给御风智能体工具和鼎盛云的活广告,所有的开发者都能看见完成这样一个需求的效率有多高。
很快,观众们自主发起的复杂任务提示词被一个一个添加,然后根据点赞数排序。
最终得赞最高的那个提示词就将成为今天的唯一测试题。
瑞恩拿着话筒,继续细化流程。
「长程任务可能会长达几个小时,为了让大家都能在今天就能查看到结果,我们将在提示词中添加最长可以运行的时间——」说到这,他擡手看了看表,此时已经是上午十一点多了,「五个小时,到下午五点,必须停止运行,然后运行的结果开放给大家自由查看。」
瑞恩没说评判标准是什么。
在这一点上,他和韩路一不谋而合。
榜单上的分数并不重要,真正重要的是让潜在用户们了解到模型所具有的解决问题的能力。
如果你是最强模型这件事已经能够深入人心,那什么榜单都没有必要了。
韩路一听完之后在旁边点了点头,瑞恩提出来的赛制其实还挺公平的。
更像是一场针对模型的黑客松比赛,统一出题、限制时间,最后的结果由观众们决定。 时间临近十二点,观众们投票选出来的复杂任务此时也已经确定了。
任务只有短短的一句话。
赵文渊看到的时候不禁一笑。
那句话是——
「buildmeaminecraft(给我写一个《我的世界》)。」