DeepSeek让模型自己批改作业，许愿式编程的奖励信号稳吗

DeepSeek V4.1 flash 1017版本更新里有一句话：基于自反馈的强化学习。官方说明说，通过这套训练提升了模型从零开始构建完整项目的能力，场景包括游戏开发、3D建模这类许愿式编程。

自反馈强化学习是什么？在RL训练里，模型不完全依赖外部标准答案或人工标注的奖励，而是自己评估、批判、验证输出，把这些自我评价当作奖励信号，或奖励信号的一部分，用来优化行为。有网友在评论区说，这像模型自言自语地写代码。也有人说，就是自己给自己当老师，自己当裁判，少了标注。

这套方法要解决的痛点很清楚。传统只靠外部结果奖励的RL，在许愿式编程里信号太稀疏。用户只给一句高层描述，比如做一个故宫3D展示，或做个网页赛车游戏。模型得自己规划、写多文件代码、调视觉和交互、处理各种隐性要求。这类任务没有明确ground-truth答案，中间步骤多，属于长程Agent场景，早期错误会累积，最终质量也很难用简单规则自动打分。模型很难从稀疏结果里学会怎么把一个项目从头做完。

自反馈提供更密集的中间奖励，减少对外部标注和人工偏好的依赖。官方说明里的自反馈机制让模型在生成过程中自我检查、自我纠错，对中间结果和最终效果做质量评估，在较少提示和参考素材下，通过短轮次交互交付相对完整的项目。

25到26年，社区里这类论文不少。素材列了10篇，方向可以看清：

1. Post-Training Large Language Models via Reinforcement Learning from Self-Feedback，用模型自身对答案的置信度作为内在奖励，生成偏好数据后做偏好优化。https://arxiv.org/abs/2507.21931
2. RLSR: Reinforcement Learning from Self Reward，模型自己当裁判，无需标准答案提供奖励信号。https://arxiv.org/abs/2505.08827
3. Reflect, Retry, Reward，模型答错后生成自我反思，用第二次尝试成功与否奖励反思过程，用了GRPO。https://arxiv.org/abs/2505.24726
4. Self-Rewarding Language Models，模型既生成回答，又用LLM-as-a-Judge给自己打分，迭代训练。https://arxiv.org/abs/2401.10020
5. Self-Evolved Reward Learning for LLMs，奖励模型用自己生成的反馈迭代改进自己。https://arxiv.org/abs/2411.00418
6. ReflexiCoder，用RL把生成、反思、自我修正的完整轨迹内化进模型权重，推理时不需要外部执行环境也能自我纠错。https://arxiv.org/abs/2603.05863
7. ICRL，联合训练solver和critic，让模型把批判带来的提升内化成能力，在agent任务上有明显增益。https://arxiv.org/abs/2605.15224
8. Self-Credit，针对长程agent任务稀疏奖励的信用分配问题，用模型自己生成的citation做密集信用分配。https://arxiv.org/abs/2610.28388
9. Agent-Reflex，系统性训练agent的主动反思能力，结合环境反馈和RL。https://arxiv.org/abs/2610.17953
10. ReVeal，多轮生成-自我验证闭环的RL，让生成和验证能力共同进化。https://arxiv.org/abs/2506.11442

评论区还补了一个LongZero，用模型自己合成数据提升长文推理能力。https://arxiv.org/abs/2610.30132v1

看完这些，回到DeepSeek这次更新。自反馈RL的价值很直接：在无标准答案、长程、强调交付完整项目的任务里，外部奖励太贵也太稀。让模型自己产出中间评价，能把奖励信号变密，减少对人工标注和外部偏好的依赖。评论区有人问奖励信号稳不稳。这个问题绕不开。自己评价自己，可能出现自洽但不正确，评分偏差被训练放大。官方没有说完全不要外部验证。许愿式编程真要交付，执行环境、测试、人工抽查仍然得兜底。模型自己当裁判能省标注，裁判和选手不能永远穿一条裤子。