Wink Pings

投post-training,来联系的全是数据公司

Jinyan Su记录找post-training岗位时看到的数据生意。合成数据成本低,质量难定义,connection才是壁垒。模厂的预算、算力焦虑和灰色空间,把没有护城河的生意撑了起来。

Jinyan Su在X上发了一篇长文,记录她今年找post-training岗位时看到的数据生意。她投的是post-training方向,来联系的startup几乎全是做数据的。直到现在,还会收到做RL environment的猎头、数据startup founder、想转行到这个方向的人的私信。互联网上的noise越来越多,时间和attention越来越贵,给别人发私信的成本却很低。对不熟悉的人,拒绝在很多时候也是迫不得已。

学术界的post-training可以小打小闹,改改算法自娱自乐,不用关心改完的算法能在多general的场景上使用,能scale到多大模型。工业界不同。现有LLM training recipe,尤其post-train部分几乎成熟,算法创新越来越少。开源RL training框架、企业内部训模型的框架都成熟稳定,模型提升几乎都从数据来。

做pretrain的人洗数据、研究架构、scaling、数据配比;做post-train的人主要跟各种RL环境打交道;中间还有mid-train,在高质量数据上训练,增强模型专业领域能力。工业界做post-training的人,大部分也在处理数据。想让模型做各种task,就得在相关数据上训练。task种类越多,需要的数据越多样。

frontier lab分别收什么数据,外人不得而知。有人估计,RL环境用于RL训练,模型跑出来的高质量轨迹用于off-policy cold start,也就是SFT,后面继续做on-policy distillation或RL。数商提供的数据类型很不一样。很多水下的非常小的startup,几乎都是synthetic data,人再简单看一下。Scale AI、Mercor这类领域内叫得出名字的startup,还是会找真正专家来标数据。

造synthetic data几乎没成本,取决于task。需要GPU的task成本大,browser和computer use只需要token成本。大部分数据小作坊直接使用个人账号,成本几乎可以忽略。成本低,没有技术壁垒,大家都想来试试。

十月份在深圳一个数据活动上,一个刚毕业的PhD学生激情pitch。Jinyan Su形容他表情过于生动,脸上所有五官,尤其眉毛,都在跳舞。她问他,现在这么多数据公司,你的优势是什么。他说,公司只有我一个人,没有额外开销,就这样做半年,看看会怎么样。

这样的问题,她问过很多人。大部分回答是,有更好的技术,积累了很多know how,frontier lab用了我们的数据都说比其他data vendor好。好像每个data startup都有自己的know how,都有独特优势,都被甲方认可。就像每篇paper都claim自己有novelty,是state of the art。刚入行时,还可以一脸崇拜地看着说这句话的人。问了很多家,也没听到耳目一新的观点。还有一些startup说自己维护着很强的垂类专家网络。什么算专家,不得而知。

这些回答是摆上台面用来忽悠投资人的话术。一个data startup唯一可以成为独特优势的,是connection。认识frontier lab的人,或自己本身在frontier lab工作过,知道他们想要什么,能通过connection把数据卖出去。国内估计还会包含吃饭文化、酒桌文化、送礼文化。

质量重要,但很难成为壁垒。能把质量做到某一个水平线的startup足够多,从质量角度大家很难有区分度。质量这个词本身也很难定义。模型厂收数据时几乎都是肉眼看质量,或者让数商在小的模型上训练一下。也出现过同样的数据,在某一家模型上训完效果好,另一家模型上训完效果差。很多时候,严格把控、花了很多时间做的细节,可能对最后结果好坏毫无影响。

卖数据的方式比想象中多。第一种是众包贡献task。学术界以众包方式贡献task、做benchmark合理,资源不够。一些学术界出来的PhD,把众包在创业中发扬光大。学术界参与者想要文章作者席位,不太在乎金钱奖励。在读PhD所做工作越来越没有影响力,大家希望有机会参与看起来更有影响力的项目。一些中国学生更倾向参加,因为文章发表对后面绿卡申请有帮助。

比如某startup效仿terminal bench做众包task,在小红书招募参与者。最近小红书上有批评这类startup的帖子。评论区态度褒贬不一,主要批评声音有:和terminal bench相比,任务和流程不清晰,有人花了时间最后没在文章作者上;承诺给论文作者,实际上承诺文章投ICLR和Nature,相当于空头支票,文章不一定中;benchmark目前没开源。学术圈众包科研至少最后开源,大家为爱发电自愿。一旦用于founder个人商业,贡献者应该得到知情权和合理解释、补偿。这段是Jinyan Su对小红书帖子内容的转述,不是她个人观点。

第二种是先做一个公开benchmark,再卖数据。没需求就制造需求,大家不觉得焦虑就制造焦虑。做benchmark要让模型performance低,不然谁来买数据。学术界角度,模型在benchmark performance太好,说明研究的问题不重要,也得让performance低。学界和startup都有足够motivation让模型performance变差。出现一堆不合理的benchmark:verifier太严格,模型可能以其他方式做对了最后得分很低;或者task本身有问题,很多ambiguous的东西没告诉模型,有多种可能性却期待模型按某一种来。

第三种是做agent应用。有的公司快倒闭时发现有人愿意高价收数据,原地转型当数商。有的运营良好,做主业同时根据用户数据生成一些synthetic数据拿来卖。第四种是免费token站。直接送token用,但数据被拿走。一件东西看似免费时,要想清楚自己在不知不觉中付出了什么。第五种是中转站。一边从用户这里收token的钱,一边从下游收数据的钱。用户付钱买token,它转头把调用数据打包卖掉,两头赚。听说某模型厂去买数据,发现买到了自己的数据,因为他们在用的某个中转站把数据卖了。

还有做中间商。有connection的人可以直接联系买家。没有connection的人,凭着孤注一掷、不怕困难、艰苦奋斗的创业者精神,自己去reach out,找人介绍,逐渐联系到买家。也有不懂行、没connection、没sales能力的人,手里有一批数据,道听途说数据能卖钱,很赚钱,但不知道怎么卖。找一个愿意低价收购的中间商比较容易。把数据交给中间商,由中间商卖给模型厂,中间商赚一道差价。

为什么这个生意看起来没有壁垒,却依然繁荣,大家依然在赚钱。Jinyan Su最初的判断是expert data,需要人来标的数据肯定外采。但其中也有很多synthetic data。很多小的数商没有相关domain expertise,也做synthetic data。模型越来越厉害,能被称为expert data的数据越来越少,human expert手动标的数据可能都不如模型自己生成的。除了真正拥有顶尖expert的数商,其他数商还有价值吗。Mistral Large 4技术报告里写,post-training用的环境、任务、参考答案和verifier,主要是agent自己搭、自己出的,也没提外采数据和人工标注。

synthetic data生成没有门槛。以前可能需要一个足够聪明的researcher,现在有LLM,即使不懂research、没有从业经验,也可以在LLM帮助下学会怎么做。资金不够的模厂便自己做。模型提升依靠算力和数据。资金充足的模厂在算力和数据上都allocate了足够的钱。既然都allocate了,为什么不用完。相比不买数据,去外面买数据总不会让结果变差。另一种考量是,即使想买更多算力,可能也没那么好买。数据好买,不如多买点数据。还有legal问题。数据作为灰色产业,里面有很多不合法的地方。模厂不愿意自己处理,数商可以游走在法律边缘,作为白手套。

巨大盈利下,一些外表光鲜的researcher也愿意做不择手段的事。比如做agent应用做不下去后开始卖数据,两位cofounder分道扬镳,founder A在分开前把数据自己拷贝了一份,几个月后再次登上founder B维护的服务器,想偷更多数据,被founder B发现,最后通过法律手段界定数据所有权。也有founder暗示企业或数厂员工从内部偷数据。Jinyan Su作为努力置身事外的旁观者,也见过周围人面对诱惑和利益后的各种离谱行为。她见过学术圈里教授等更senior的人的离谱行为,很少见同辈之间的离谱行为。这些事,包括她在文章里用作典范的“田柯宇投毒”事件,让她认识到自己已经senior enough,因为同辈们都已经年长到能够做出各种离谱行为。

标数据的专家,看到风口开始做数据生意的人,像大厦即将倾覆时,每个人都不想大厦倾覆,但每个人又都在加速大厦的倾覆。不卖数据,总有其他人卖。不帮着标数据,总有其他expert标。不赚的钱,总有其他人赚。为什么不自己赚。就像大家都在做更强的模型,没法停下来。一个模厂停下来,其他模厂不停,就落后了。作为expert标数据、数商追着benchmark卖数据、选择是否以偷的方式得到数据,都是可做可不做。那某公司强制员工录屏、把员工发配去标数据来提升模型,又有多少是自己选择的。

推文回复里,Kevin Wang说,很多数据公司贩卖的不是数据,而是模型公司缺少数据的焦虑。Wei佳说,投post-training的岗,结果来联系的全是做数据的公司,这比标题更说明问题。Jie说在数商待过,还有各种外包分发、互相倒卖。Zijian Hu说还有一类数据公司去收购倒闭startup的数据,再转卖。Jinyan Su提到之前Google和Mercor竞购Spirit Airlines。WQ哥说,data moats are just vibes and ndas。数据生意的繁荣,看起来是技术生意,实际是connection、预算、焦虑和灰色空间的组合。没有壁垒,不等于没有生意。

原文链接:https://x.com/i/article/2121808409062416385

英文版链接:https://jinyansu.substack.com

发布时间: 2026-11-15 18:28