零数据自我改进的模型,会不会偷偷挑简单的题做?
小米研究提出的A-RSI不靠外部标签做多模态自我改进,11个基准平均从57.77涨到61.05。评论区两个问题比论文结果更值得看:模型会不会自己挑简单任务?它拿什么给自己打分?
小米研究(Xiaomi Research)10月27日放出的论文 A-RSI 被 Hugging Face 标为当天第二热门的论文。标题里的关键词是零数据多模态自我改进:不依赖外部标签,靠模型自己生成任务、自己验证答案,然后自己变强。
机制不算复杂。训练过程中监控两个指标:奖励变化和准确率。学习信号开始往下掉,说明当前任务池快被榨干了,系统就生成新一批任务刷新池子。新任务怎么选、刷新规则怎么定、答案对不对,全程走程序化验证,不靠人工标注,也不碰测试集分数。
在 11 个主要基准套件上,A-RSI 用了 800 个新生成的任务,平均分从 57.77 提到 61.05。数字不算炸裂,但这条路子有意思:数据从哪来、什么时候换、换完怎么确认答案可靠,三个问题被塞进同一个循环里解决。
论文截图:
评论区有人叫好,说学习信号下降时刷新任务池,是个干净的处理方式。但真正值得看的是另外两条:
一条问,什么阻止它慢慢给自己挑更容易的任务?后面跟了句自嘲,说要是换自己,肯定也这么干。
另一条问,零数据自我改进听起来很好,直到你问它拿什么给自己打分。什么阻止它漂移?
两个问题是一体两面。自适应刷新的前提是学习信号本身可信。如果模型在任务选择或答案生成环节有办法让自己舒服一点,这个闭环就可能从自我改进滑向自我安慰。论文里写会自动验证所选属性、刷新规则,并单独审计生成的答案。这个设计在工程上说得通。但审计的人和被审计的模块都在系统内部,边界画在哪里,论文没展开到让所有人放心的程度。
这类自我改进框架的难点从来不是能不能涨点。涨点容易,难的是涨上去之后你还能不能相信它。57.77 到 61.05 是一条不错的曲线。但如果曲线底下藏着一条任务悄悄变简单的暗线,那就不是自我改进,是自我放水。
发布时间: 2026-10-31 18:54