Wink Pings

零数据自我改进的模型,会不会偷偷挑简单的题做?

小米研究提出的A-RSI不靠外部标签做多模态自我改进,11个基准平均从57.77涨到61.05。评论区两个问题比论文结果更值得看:模型会不会自己挑简单任务?它拿什么给自己打分?

小米研究(Xiaomi Research)10月27日放出的论文 A-RSI 被 Hugging Face 标为当天第二热门的论文。标题里的关键词是零数据多模态自我改进:不依赖外部标签,靠模型自己生成任务、自己验证答案,然后自己变强。

机制不算复杂。训练过程中监控两个指标:奖励变化和准确率。学习信号开始往下掉,说明当前任务池快被榨干了,系统就生成新一批任务刷新池子。新任务怎么选、刷新规则怎么定、答案对不对,全程走程序化验证,不靠人工标注,也不碰测试集分数。

在 11 个主要基准套件上,A-RSI 用了 800 个新生成的任务,平均分从 57.77 提到 61.05。数字不算炸裂,但这条路子有意思:数据从哪来、什么时候换、换完怎么确认答案可靠,三个问题被塞进同一个循环里解决。

论文截图:

这是一张关于A-RSI自适应任务刷新零数据多模态自我提升的研究论文截图。标题为“A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement”,由Xiaomi Research发布于10月27日,并被标记为“#2 Paper of the day”。作者包括Yu Liu, Youxing Li, Yuedong Tan等人。摘要部分介绍了A-RSI通过根据学习信号的下降来更新训练任务,并使用独立可验证的程序生成的答案,从而在没有外部标签的情况下提高基准性能。该研究解决了两个问题:何时获取新经验以及如何生成新的训练目标,同时保持答案的可验证性。A-RSI监控奖励变化和准确性以刷新任务池,而不需要咨询验证或测试分数。它还自动验证所选属性和刷新规则,并单独审计生成的答案。在主要的11个基准套件上,A-RSI的性能平均从57.77提高到61.05,使用了800个新鲜的任务。

评论区有人叫好,说学习信号下降时刷新任务池,是个干净的处理方式。但真正值得看的是另外两条:

一条问,什么阻止它慢慢给自己挑更容易的任务?后面跟了句自嘲,说要是换自己,肯定也这么干。

另一条问,零数据自我改进听起来很好,直到你问它拿什么给自己打分。什么阻止它漂移?

两个问题是一体两面。自适应刷新的前提是学习信号本身可信。如果模型在任务选择或答案生成环节有办法让自己舒服一点,这个闭环就可能从自我改进滑向自我安慰。论文里写会自动验证所选属性、刷新规则,并单独审计生成的答案。这个设计在工程上说得通。但审计的人和被审计的模块都在系统内部,边界画在哪里,论文没展开到让所有人放心的程度。

这类自我改进框架的难点从来不是能不能涨点。涨点容易,难的是涨上去之后你还能不能相信它。57.77 到 61.05 是一条不错的曲线。但如果曲线底下藏着一条任务悄悄变简单的暗线,那就不是自我改进,是自我放水。

这是一张描绘了两位科学家的艺术插图。左边的科学家穿着黑色背心和白色衬衫,他的右手发出一道明亮的闪电,左手则握着一个发光的球体。右边的科学家有着白色的头发和胡须,他身穿黄色上衣,右手托着一个类似星系的圆形物体,背景是一片星空。

发布时间: 2026-10-31 18:54