91%对45%,token少一半,赢的是那堆没人看的notebook
Databricks和Turing做了一组企业数据分析基准,Genie通过率91%,两个前沿agent只有45%和58%,token用量还不到一半。差距不在模型,在企业自己攒下的那堆notebook、dashboard和存下来的SQL里。
Databricks联合创始人Ali Ghodsi在X上发了条推,说自己比一年前强10倍,整个公司现在跑在Genie上。他把原因归给Agentic Ontology,一个持续被整理、演化、给全公司共用的企业知识层。模型换了多少,他没提。
这话听着像产品宣传。但Databricks随后放了一组和Turing合作的测试,数字比较直接:同一批企业数据分析任务,Genie通过率91%,两个前沿agent分别是45%和58%。Genie平均跑一次用43万token,对手是89万和105万,时间上快3到4倍。
要理解这个差距,得先看测试怎么设的。
他们虚构了一家英国能源公司Calderwick Energy,有几百张表,最大一张存了约1.2亿行半小时粒度的电表数据。但真正让任务变难的,是这堆表上面堆的东西:notebook、定时任务、dashboard、存下来的SQL、代码、指标定义、文档、Genie Agents。还故意留了真实环境里的脏东西,复制的notebook、荒废的分析、旧文档、几个月没人碰的报表。
传统的数据agent基准大多只给表结构,谁都能在上面跑出差不多的分。真实公司里,正确答案经常躺在某个人半年前写的那段SQL注释里,表结构本身说不清。

博客里举了个具体的例子。问题是:Calderwick Energy商业团队的FY24/25规划费率是多少?
账单成本表里有个字段cfd_rate_p,FY24/25对应行写着0.31便士每千瓦时。找到表,过滤日期,返回这个数,看起来就完了。
但构建这张表的notebook里写着,商业团队每年定一次规划费率,这张mart用的是FY25/26的假设,向前套用到更早的账单周期。notebook里还有张历史表:FY24/25是0.52,FY25/26是0.31,FY26/27草案是0.45。
问的是FY24/25商业团队定的费率,答案应该是0.52。表里那0.31是后来换的假设。
Genie Ontology把这张notebook里的历史费率抓出来,链到了来源,Genie第一次回答就给了0.52,五次跑全都是。另外两个agent,一个一直回0.31,另一个回了0.31,还反问是不是存在按年定的费率。



这个案例说明的事情不复杂。表格里的数字不等于业务定义。定义散在notebook、dashboard、存下来的SQL里,得有人读、有人维护、有人把它变成agent能找到的东西。



博客里那句话说得挺直接:token生成的“智能”正在被商品化,真正拉开差距的,是agent能检索到的上下文。
Genie Ontology干的就是这件事,自动从工作区里把notebook、dashboard、SQL、文档里的业务知识抽出来、组织好,给所有agent共用一套理解。不是让每个agent自己满世界翻文件,翻完还不一定翻对。

当然这组数字有自己的前提。测试跑在一个已经积累了大量工作区资产的Databricks环境里,数据由Unity Catalog管着。如果是刚上线、notebook还没写几行的部署,或者问题本身直接从表就能答,agent之间的差距会小很多。博客自己也承认这一点,并拿这个解释了为什么其他基准上各家分数差不多。
换句话说,这套东西的价值跟企业自己攒下来的家底成正比。家底越乱越厚,整理这件事越值钱。
博客最后一句:token在贬值,上下文在升值。这话对做agent的人来说不算新,但91%对45%这个差距,至少给了个能拿去吵架的证据。
发布时间: 2026-11-14 12:27