谁在给大模型出题、卖题、判卷？聊聊AI数据行业的野蛮生长

随着AI模型能力的不断提升，训练需求日益复杂，一批为模型公司提供训练数据的新兴企业正快速崛起：AfterQuery在今年4月完成A轮融资时估值为3亿美元，而到9月，据媒体报道，新一轮融资已将其估值推高至32亿美元。另一家提供训练数据与智能体环境的公司Bespoke Labs，也在今年7月宣布，种子轮与A轮融资合计达到4000万美元。

尽管估值水涨船高，AI数据行业对外界而言依然极度不透明。这些公司究竟在售卖什么？

过去提及数据标注，我们容易联想到给图片打标签、为模型回答评分。但随着AI从回答问题转向执行任务，数据公司的交付物也在发生转变：从专家撰写的评分标准，到包含任务、工具和验证机制的强化学习环境。 它们需要找到懂行的人，获取真实的行业资料，再将专业知识与工作经验转化为模型能够学习的训练信号。

与此同时，新的AI评测层出不穷。榜单分数提高了，究竟代表哪些能力增强了？针对评测生产数据，何时能改善真实用户体验，何时又会变成单纯的刷分？对于每天训练模型的研究员来说，他们最需要的数据，到底是什么？

本期硅谷101播客，我们邀请到在Scale AI负责后训练与评测研究的何允中，以及加州大学伯克利分校博士后、Agents’ Last Exam项目研究者孙一铀，从产业与研究两个视角，拆解这门透明度不高、又变化极快的生意。

我们聊了Scale、Mercor、Surge等数据公司的不同背景，也讨论了小团队在合成环境与垂直领域中的机会。从采购一份游戏源码，到验证专家提交的任务，再到设计让人愿意交出经验的激励机制，好数据的难点，往往藏在榜单之外。

以下是这次对话内容的精选：

01

谁在做AI数据生意？

Yiwen： 现在市面上的数据公司种类繁多，该如何分类？

何允中： 这里面有几个大型玩家，还有一些新秀，甚至几个人组成的小作坊。在我看来，最有趣的是它们各自的基因可能大不相同。例如，有做招聘出身的，像Mercor、Handshake；Scale AI是传统数据商，从众包网络起家；也有一些新的是做合成数据的；还有最新的一些，可能是某些领域公司转型做数据了。值得一提的是具身智能，目前的行业状况是，许多做模型的公司暂时没赚到钱，但却投入了大量精力做数据，于是顺便做起了数据生意。很多各行各业的人也发现了自己数据的价值，然后转行来做数据公司。我觉得大致是这么几个分类。

几个大型玩家，比如Mercor、Surge AI、Scale AI，基本上试图覆盖所有领域。除此之外，一些新秀玩家在特定领域做得比较好，像BigCode或Snorkel AI，它们可能更偏向研究与工程，我猜测它们主要生产代码，或者是工具调用这类的环境，抓住了今年的风口。

另外我还看到一些小型公司，它们可能解决了某些垂直领域的问题，甚至可能不像我们做标注数据，就是一些数据经纪商。例如，可能是好莱坞的一个人，拥有大量版权数据，他知道如何将各种不同领域的东西卖出去。现在最新兴起的就是垂直领域，把一个领域做得特别好，可能是由一些领域专家组成的。

我会觉得机会还很多，大型数据商有大型数据商的优势，它进入一个领域有比较多的资源。我觉得整个饼是越来越大。

Yiwen： 你讲到像Mercor这样的公司是所谓的招聘公司，招聘是一个什么样的商业模式？

何允中： Mercor是做招聘起家的。它有自己的一个自动AI面试产品，主打的重点就是，我能在较短时间内找到足够数量的专家，拥有这样一个专家网络。Surge AI我觉得更多的是把这个东西内部来做。这里反正有一些取舍，基本上每个数据商可能都需要面对这么一些取舍：如果我是自己完全全职培养的人，那他肯定能力强一点，但灵活度就不够，产能可能会差一点；如果是更多地依靠众包网络，可能灵活性大一点，但每个人的质量就比较难保障，这里面就涉及到质检问题。Scale AI这些公司的优势在于，我们有一些质检的经验，不光是在数据上，也在人上。

02

AI数据行业，如何转向？

Yiwen： 其实我们关注这个话题，也是因为大概从2024年到现在，对于数据的需求发生了一个比较大的变化。因为2024年之前，我们在聊数据的时候，大家想到的很多还是人工标注，就是一些比较基础的数据，我们会需要非常多的数据来做预训练，来训练模型。但是从2024年，其实Mercor之前有提到过，是因为Deep Search的兴起，导致整个行业转移到了一个所谓的Agentic data（智能体数据）。

我们会需要像你刚刚说的rubric（评分细则），包括RL环境，现在更多真实工作流数据。能不能帮我们先梳理一下这几个概念？我们先讲一下这个行业从众包数据、也就是人工标注数据，到智能体数据，中间经历了什么变化？

何允中： 对，首先说明一下，预训练还是很重要的。不过确实，从我身边的人的兴趣来说，大家经历了一个转向，大家觉得预训练感觉干得有点无聊了。那个时候是o系列模型出来了，大家都在做推理，发现这RL跑通了，一下子大家兴趣都在RL上。

RL比较有意思的一个问题就是，我需要一个可验证的信号。 可验证的信号在代码或数学，尤其是最早的推理模型，是从数学上做出来，就很简单，我这个选择题答错答对了就知道了，或者算一个数字出来。但是之后大家就在想，那我数学可以做RL了，我在其他领域呢？比如像医疗、金融，或更基础的指令遵循，这里我能不能做RL？这里它存在的一个问题就是，它是有一些客观标答的，不像在之前的一个阶段，大家做RLHF（基于人类反馈的强化学习），就是奖励模型，可能没什么标答，只是把大家的喜好学出来。

这里面其实是有个标答，只是它这个标答比较不结构化。就好像我去答历史考题，历史考题是有标答的，但是每个人的写法可能都不太一样，我很难做这个模式匹配，就是说ABCD检查你有没有答对。这个时候就是一个rubric的方式，相当于我让一个助教拿着教授写的打分规则来给你打分。

因为这个打分规则是提前标好的，是教授写的，所以这个TA也不需要特别聪明。这是整个大模型数据中的一个核心概念，就是叫弱到强监督，能不能用弱模型来监督强模型。 那它这里成立的条件就是，我有个专家把他脑海里的知识给写下来了，这样弱的模型拿着它改卷子就行了。这就是rubric数据。

这个东西应该是火了很长一段时间，当然现在还很重要。但是各个专家领域里比较容易获取的rubric，很快就被收得差不多了。看到比如像Mercor或Surge AI的崛起，其实跟这一块的专家rubric有关系。但是再往前走，就大家需要动手了。比如现在做这种代码模型，或者像一铀他们做的ALE，虽然它不是做代码，但它需要“动手”，要解各种各样的问题。

这个时候，它就不再是说我只是验证你一个聊天的输出了，那我需要是在一个Agent的环境之下，那我可能需要给它一些工具，还有一些更复杂的验证方式。它还包含了rubric，但是可能我需要一些检查这个环境里面的变量是不是执行了，这个数据库是不是写入了，或者被删除了。甚至如果像是我生成一些文档，里面可能有些图，这个东西我还是需要rubric，但是我需要一个agent来检查，它就变得更加多样了。

现在可能大家追求的比较大的一个方向就是环境，它不光是我标注好的一些打分规则了，而是说我可能包含了一整套“我要做什么”，“在什么样的环境里面做”，包括了它需要的一些工具，需要执行的一些沙盒，以及还有一套跟task比较相关的验证方式。验证方式非常多样，比如说有这种程序化检查，有这种rubric，还有偏好，我让人选我比较喜欢哪一种。

这里面我暂时还没有形成特别大的共识。我又看到有点像当年rubric时代，每一家要的东西都不一样。比如说像Terminal-Bench（终端任务基准），他们就不要rubric，他们就是纯程序化。这里面也有不同的流派，还挺有意思。

Yiwen： 一铀，你要不要从ALE的具体例子，来跟我们讲一下需要哪些要素？（注：ALE，Agents’ Last Exam，由加州大学伯克利分校RDI与300多位行业专家共同牵头构建，旨在评估AI智能体完成真实专业任务的能力。它让专家提交自己做过的项目，并为任务配备执行环境与验证机制，检验智能体能否完成耗时较长、具有经济价值的工作）

孙一铀： 其实我跟允中的看法有一点反过来了。允中认为现在rubric差不多已经做到头了，但我的看法是，我觉得rubric这一块，尤其专家那种主观的判断题，其实还做得远远不够。我可以先从ALE的初衷讲一下。ALE当时建立的初衷跟允中讲的一样，就是我们怎么样把vibe coding迅速发展的趋势推广到vibe everything。

当时vibe coding为什么发展那么快？因为当时有非常非常多的Benchmark（评测基准）都在coding这个领域，而且coding它比较容易验证，它是一个确定性的rubric。大家为了刷这个榜，所以在coding这上面发展非常迅猛。那么用同样的思路，我们如果在其他各个领域上，尤其是工程，能够客观打分的这些领域上，能够建立各种各样的评测体系，你去刷分，但你只要刷的是有益的分，是有意义的题，那它模型带来的提升，对于人的日常工作来说，就是实打实的提升。

所以这就是我们当时想建立一个这样的初衷。当然世界上大家职业各式各样，实在是太多了，浩如烟海，所以我们只是说在第一个版本里面，给出了一个相对来说覆盖面比较广的初次尝试。然后我们还会继续努力，希望把这个覆盖得更广一些。到某一天希望它能成为真正的last exam。就当你解决这个benchmark的时候，基本上就能解决人类社会在某些领域的真正的有益的问题。

据ALE官网介绍，其评测覆盖55个非体力类职业 图片来源：ALE Blog

何允中： 我同意一铀的观点，各个领域的训练肯定是远远没有到头的，很多东西都可能还没有被rubric的方式表征出来，所以这里面还有很大的空间。可能我刚刚说rubric到头了，更多的是个行业趋势，就这种静态的单轮或多轮聊天，出一个文本，然后用rubric来检查它，就是纯知识类的。甚至也不是说到头了，因为毕竟还有不同的lab，每家的水平都不一样。

只是说今年的一个大趋势是在做coding，然后coding逐渐转向了知识工作，大家要动手了。这个时候，文本的rubric，我看到需求量小了一点，但还是很大，还是有很多东西没解决。

03

做评测与卖数据，边界在哪里？

Yiwen： 我想再追溯一下评测近几年的发展，以及它和卖数据之间的关系。Benchmark和卖数据这两件事情，大家都觉得不能混为一谈。Scale AI之前推出了Humanity’s Last Exam，就是HLE这个评测，能不能给我们讲一下这个评测，以及你觉得它和数据之间是怎么样联系起来的？

Humanity’s Last Exam成绩曲线 图片来源：lastexam.ai

何允中： 这是个好问题。我觉得从原理上来说，评测它体现的是模型距离我们想要的理想状态中间的gap。它更多的是一个科学研究这么一个基准，就是我想要模型在哪，它现在没到哪。但是这个事情跟卖数据联系起来也比较有意思。因为很多时候，它提升这个模型能力的数据，和它榜单的评测方式是息息相关的。这里面可能比较难的是找到一个平衡。如果我就生产大量跟这个榜单差不多的数据，那么它可能就在刷榜。

但是这个大模型训练还是有各种各样的维度，确实如果我想要提升某一类的能力，我需要抓住某一个维度，那么它跟benchmark肯定是有一定的相关性，这个是大家需要找到的一个平衡。因为大家对AGI的期待太高了，觉得人能做到的事情它都能做到，就是说我在各种各样的领域都可以想到一些方式构造一个benchmark，然后发现它这个模型距离你想象当中还有一些差距。

通常构造这个benchmark的人，对于这一块的领域可能认识比较深，就自然会给他一定卖数据的权威性，大家会比较相信你手上卖的数据。这个生意就这么产生了。现在ALE也是做得很火的benchmark，我相信也有不少人想问一铀卖不卖数据，或者可能VC也想找你投资，结果逐渐逐渐地就成了一个生意。

我觉得也有好有坏吧。这个生态其实也还比较野蛮发展，有多少是在做科学，多少在做刷榜，我觉得确实需要仔细权衡一下。但是这确实是有很多的利益驱动，所以现在是个挺繁荣的市场。

孙一铀： 对，这里的话，我也是要给大家敲个警钟。因为允中提到了，现在做benchmark的人会收到各种各样的诱惑，要把benchmark数据拿去卖。我甚至私下听到，有一些数据公司踩了这个红线，它把自己在做评测的数据去卖。当然这个是大家千万不能碰的一条线，不能让你做的生意污染你这个benchmark的权威性，不然的话，你不仅毁了你的benchmark，也毁了其他人的模型。

我个人认为benchmark和卖数据，这两个东西角色是不一样的，在这个生态系统里的地位是不一样。我认为benchmark面向的是未来，做数据面向的是现在。 Benchmark是面向于未来，大家还希望这个模型公司去解决目前还没有解决的什么问题。ALE其实我们在今年1月份、2月份做的时候，我们特别害怕benchmark做得太难，导致这个benchmark失去意义，因为当时的模型很多基本上平均分只有10%到20%，大部分题目它都只有拿到零分。

我很担心这样的评测它会失去意义。但事实上没有必要担心这个事情，因为benchmark本身要面向于未来的模型去做的。数据的话更多是去解决这个benchmark所产生的一些需求，所以现在大家刷这个榜单，更像是说怎样去把这东西做好。我认为刷榜它有好有坏，你只要面向了它这个数据，它不是直接污染你这个benchmark，你这个benchmark刷的又是有意义的一个榜单，只要这个benchmark和人的真实用户的体验非常接近，我觉得这刷榜它不一定是一个贬义词。

04

垂直行业数据：难在采购

Yiwen： 能不能深入讲一下数据采购这件事情？第一，你提到了刚才有很多小的公司，其实是现在一个创业机会，这也是为什么我们看到最近兴起的一些三五个人组成的数据创业公司，拿到了非常高的估值。这是不是因为他们的目标就是这些非常垂直的领域的数据？

何允中： 我觉得这里可能有几块问题。首先我觉得最近兴起的这些RL环境公司，其实更多的是在做合成。因为整个数据行业已经从找人标注，慢慢地过渡到你要交付的是一整套环境，然后这个环境可能需要大量的这些工程工作在里面。很多在这些合成的技术栈上做得比较好的一个小团队，其实可以比较短的时间交付大量的合成环境。

这未必是不好的，就合成它有时候你也可以基于一些强的模型，或者说基于一些半成品的artifact，是可以做出一些好东西来的。现在这里是一块增长。但是再往下走，这里面比较有意思的是，这个东西之所以能成立，因为大家今年的主题是在卷代码。软件行业非常的open，有大量的公开资料，而且我们生产数据的公司，同时大家都懂代码，所以就这个比较好解决，让一些小的团队有很多机会给自己造很多数据。

但是我觉得再往后面走，比如说这些其他领域的垂类，就更复杂了。这里面我会看到有一些公司，他们可能解决两个不同的问题。比如说像我们做后训练数据，其实在我看来是两个问题：第一是采购，我要把原材料买回来，就好像ALE让大家上传，这是一个比较新的激励机制；然后加工，就是我们再把它标注，或者是通过一些agent pipeline把它做成适合大模型训练的环境。

在这个垂直领域问题上，其实采购变得越来越复杂。就甚至代码领域，其实采购一些私域的代码仓库，谁能把这个问题解决好，其实是一个巨大的优势。那么在垂直行业，比如说我如果是做芯片设计的，我可能要把整个芯片设计的环境给造出来，可能当中涉及到一些商业软件，那我怎么样把这些商业软件的版权拿到，把它包在这里面就是一个问题。还有一个就比如说做DevOps（开发运维），我要是一个系统工程师，我要操作什么AWS之类的，我知道有个公司做了一整套AWS模拟器。

每一个垂类的环境都有一些很深的东西，你可能要采购，可能要定制软件。大家抓住一两个垂类，把这个东西做好，其实创造了很多新的机会。

Yiwen： 因为刚才我们提到这些垂直场景，比如说在药物发现这些生物医药方面的，还有一些具体行业的评测下面，我们可能没有足够的场景，或者没有足够的好的评测。在这种情况下，我们有足够的好的数据吗？

何允中： 这里其实有一个难点。每个领域它都是需要一些人把他的专业知识吐出来之外，我还需要这个领域的东西。像药物发现，我可能需要很多私有的数据库，这方面我认为是目前这个行业一个大的卡点，就是你先要能把这东西买到，你知道大家手上有什么，才能把它做成benchmark。ALE其实很大程度上是在解决这个问题。

孙一铀： 对，ALE希望大家能够以众包的方式，让专家把之前自己做过的project交上来。当然这里面有一些不符合规范的，我们都筛掉了，比如说我们现在在V2中，我们也尝试去收一些数据，比如说Steam上的一个游戏库，就游戏开发的一个任务。那种名不见经传的，大概几千人体量的MOBA类游戏，它要价能要到两三百万人民币一条。我觉得哪家数据公司或者别人做benchmark，都没有这个财力去做这个事情。

何允中： 对。就比如说很多公司想要采一些游戏的视频，然后做些标注，游戏视频可能是版权数据。这里有一个巨大的采购问题。我觉得这里是一个商业机会。我现在其实看到不少startup在解决这些问题，就其实大的数据商我们自己也在投入做一些采购方面的工作。但是总体上来说，我觉得这里还有巨大的问题没有被解决。

ALE的行业版图，气泡里的图标是真实工作流中用到的专业软件 图片来源：ALE论文（arXiv:2606.05405）

孙一铀： 对，我们在做ALE V2，想要把比如说一个领域做深的时候，我们会尝试先捋一个领域，它会有哪些工作流，会有一个树状结构，尤其在生物学这一方面。然后我们基于Nature出版物，它有自然的分类，子学科分类，然后把这个树展开到第三级的时候，大概有3000个节点。然后我们也做了一些工作，把现在已有的市面上的life和bio的benchmark已经覆盖了多少，做了一个统计，大概是10%、5%都不到，甚至市面上连一个成型的、覆盖面完全的benchmark都没有，更别说是针对这个去做相应的数据。

05

数据公司的竞争

最终是研发能力的竞争

孙一铀： 这个地方我想问允中你的看法。因为我个人认为，随着模型的能力越来越强，模型公司自己内部创造数据的能力也越来越强。这一点你认为这个饼是越来越大的，但有没有可能会出现一个情况，这个饼面向于非头部公司的机会，反而门槛是越来越高的，入场券是越来越难拿的？比如说数学这块领域，之前的话，大家只需要去影印那些奥数课本，就能够去批量造出大量的数据，但这些数据现在基本上是零价值。所以你是怎么看待未来的数据公司的发展方向?

何允中： 我会觉得从第一性原则上来说，还有巨量的问题没有解决。你要想这个世界上还有多少东西没被蒸馏干净，是巨大的机会。但是如果你就看现在