赵文渊早早就在等着了。
韩路一推开办公室门的时候,赵文渊已经坐在沙发上了,面前茶几上摆着两杯瑞幸的生椰拿铁。不愧是你,生椰拿铁的代言人。
「贺总那边怎么说?」赵文渊开口问道。
韩路一没回答,他把背包放下,掏出笔记本电脑,翻开屏幕,往赵文渊面前一转。
这是他回来的车上手动标注的数据。
「先看个东西。」
赵文渊看了韩路一一眼。
这人一脸兴奋是怎么回事。
屏幕上是一个表格软件,四列。数据来源是开物后导出的脱敏用户记录,前三列赵文渊一眼就认出来了:用户输入、AI生成结果、用户实际行为。这些字段开物的数据中本身就在记录。
第四列是新加的。
列名:真实意图。
赵文渊的目光停在了第一行。
用户输入:帮我做一个客户管理系统。
AI生成结果:标准CRUD客户管理页面,列表、添加、编辑、删除,四个功能模块齐全。用户实际行为:删掉了增删改功能,只保留备注字段。随后手动将备注栏扩展为一个带时间线的客户跟进记录页面,前后修改了三次,重新生成两次。
标准标注应该怎么写?赵文渊问自己。
「需求理解偏差,用户对生成结果不满意,部分采纳。」如果是他会这么写。
第四列写的是:用户是销售岗,公司已有CRM系统但备注栏过于简陋,她需要的不是一套客户管理系统,是一个补充现有CRM的客户跟进日志工具。
这么详细?赵文渊的手指在触摸板上滑了一下,往下翻。
第二条。
用户输入:做一个排班表。
AI生成:标准排班日历,拖拽功能加班次模板。
用户实际行为:删掉整个排班UI,只保留数据导出功能,手动添加法定节假日高亮和加班时长自动累计,修改五次。
第四列:用户是HR,正在做年终结算。她要的不是排班工具,是加班费合规计算器,需要用实际出勤数据交叉法定假日定义来计算加班倍率。
赵文渊停了一下。
他重新看了看第三列,修改五次、删掉整个UI,这些是系统日志里白纸黑字记下来的行为数据。第四列的标注是在解释这些行为背后的「为什么」。
他随手又翻了几条。
一个用户输入「做一个会议纪要模板」,实际行为是把生成的模板删到只剩一个表格框架,然后手动加了「待办跟进人」和「下次检查日期」两个字段。第四列标注:用户不是要做会议纪要,是要做项目进度追踪看板,因为公司没有项目管理工具,她在用会议纪要当替代品。
赵文渊挑了这条做验证。用户删掉模板只留表格,行为数据对得上。手动加跟进人和检查日期,操作记录里有。标注的结论:用会议纪要替代项目管理工具。
他想了想,觉得说得通。甚至不只是说得通,如果真的是在做项目管理,那用户接下来的需求大概率是甘特图或者看板视图,而不是更好的会议纪要模板。
这个标注精度已经不是「标得准」了。
是标注者理解了用户的工作场景。
赵文渊擡起头看韩路一。
「这是深加工标注?」赵文渊问,「用来继续提升天工的?」
「不是用来做天工的,算是示例。」
赵文渊皱了下眉,不是做天工,那做什么?天工是代码专项模型,这些开物数据的标注跟天工很贴合啊「如果用户行为的公开数据集也能有这个精度的标注呢?」韩路一说。
赵文渊直接摇头。
「不可能,你这个精度是因为有开物的行为闭环,用户怎么改的、重新生成了几次、最终保留了什么,这些全是客观信号。公开数据集没有这些,光靠人工标注就是在纯猜。」
韩路一没争辩。
他做不到,视界能做到。
他转了个方向:「做一个原型要多少数据?」
赵文渊愣了一下,反应过来韩路一在说的是什么,不是提升天工,是在开源的通用基座上跑意图理解方向的微调。
「通过微调,验证意图理解能力的变化?」赵文渊想了想,「五千到八千条这个质量的就够有很明显的提升了。」
顿了一下,他又补了一句:「但做出来也没意义,小模型微调的再好,拿去跟GPT-4一比,性能上不是一个量级。」
韩路一说:「我拿它去见投资人。」
赵文渊明白了。
原型不是产品,是ProofofConcept,证明可行性。到时候就这么说:你看我几千条数据在一个7B模型上就能做到这个效果,如果有了大算力和大数据呢?
「两到三周能给到吗?」赵文渊问。
「可以。」
赵文渊的目光又扫了一遍表格,两百八十七条,每条的标注质量都超过他见过的最顶级的标注团队的水准。
如果能用这种数据做训练;……赵文渊自嘲的一笑,别痴心妄想了。