模型跑分更高，你的任务未必更好

模型发布会的 PPT 上，榜单又刷新了。Databricks 首席 AI 科学家 Jonathan Frankle 在 Technically Speaking 第二期里给了一句冷水：模型在 benchmark 上看起来更好，不代表它在你的具体用例上真的变好了。

这期播客标题叫 What actually is AI research?，主持人是 Megan Reynolds，完整版在 YouTube，节目笔记和转录在 technically.dev。Frankle 是 Databricks 首席 AI 科学家，也是 MosaicML 联合创始人，后者被 Databricks 收购。

节目一上来没有直接聊模型，而是聊 AI 研究到底在干什么。Frankle 的类比是宇宙学和生物学：没人把基本定律交给研究者，大家面对的是一个复杂到无法从第一性原理直接推导的系统，只能观察、拆解、找能预测的简化。生成式 AI 也类似。参数、数据、算力、网络结构，像一套初始条件，混在一起跑很久，最后出来一个模型。中间那些抽象怎么工作，还没有被完全理解。

所以 AI 研究员的日常并不浪漫。Frankle 说，他每天问的基本问题很朴素：我们跑了什么实验，初始条件怎么设的，指标有没有动，动了多少，下一步该改什么，这些指标对客户关心的东西到底有没有意义。剩下大量时间花在修 GPU、让任务跑快一点、查为什么数据不对、定位一个又一个小 bug。

他带团队的方式也直接。节目里提到一句口头禅：If I don't have numbers, I don't believe you. 没有数字，就不信。招聘时他找的是 people who are never quite satisfied，对现状总差一点满意的人。发布节奏上，他的建议是 ship the best of what you have at any given time，别等一切完美。

节目还专门讨论了 fine-tuning。Frankle 多数情况下不推荐 fine-tuning，具体理由在原片里。关于 eval，节目聊到一个更麻烦的问题：很多任务没有标准答案，怎么给 AI 打分；到了 agent 场景，又该怎么衡量它做得好不好。

有个回复说得很准：your use case was never on the leaderboard。榜单是别人的题，你的任务不在上面。另一个回复提醒，这期有一个用热狗解释 RL 的视觉片段，把复杂概念讲得能笑出来。

升级模型前，先在自己的任务上跑一组数字。榜单只能证明它在别人的题上表现好。你的用例，得你自己测。