当奖励函数消失，环境成了奖励：Hugging Face 智能体训练系列收官

10月26日，Hugging Face 在旧金山办了场线下活动，为持续六个月的 Training Agents 系列收尾。四个演讲加一个圆桌，聚焦同一件事：用开放模型在工业环境里后训练智能体。

完整录像在这里，幻灯片和代码也已公开：

这个系列本身就是一套渐进教程。六场直播，从评估一路走到环境：

1. Agentic Evaluations Workshop：讨论 agent 评估的现状，为什么基准分数和实际使用感受对不上。参与者包括普林斯顿的 Arvind Narayanan、Meta 的 Pierre Andrews 等。
2. RL for Agents Workshop：环境、rollout、奖励设计，以及从 LLM 的 RL 转到 agent 的 RL 时出现的推理瓶颈。
3. Training Agents 1: SFT on agent traces：用公开的 coding agent 轨迹，在 Hugging Face Jobs 上做 TRL + LoRA 微调。还诚实地讨论了第一轮 eval 数字能告诉你什么、不能告诉你什么。
4. Training Agents 2: Distillation：off-policy、on-policy、self-distillation，把大模型能力蒸馏进更小的 coding agent。
5. Training Agents 3: Reinforcement Learning：SFT 之后跑 GRPO，包括组采样、可验证奖励、读 reward/KL/length 曲线。其中有个实验故意设计了可作弊的奖励，让 agent 在训练中 hack 奖励，效果很直观。
6. Training Agents 4: From reward functions to environments：奖励从函数变成了 agent 行动的空间。从 Gym 的 reset()/step() 契约讲到 LLM agent，现场构建了一个 OpenEnv 环境，推到 Hub，接入 TRL 的 GRPOTrainer，最后在 Hugging Face sandbox 上通过 Harbor 训练了一个真实的 coding agent（OpenCode）。

六场直播累计超过 30 万次观看。对一套有实操步骤、有代码、有录制回放的内容来说，这个数字说明大家的确在找“如何训练自己的 agent”的方法论。

线下收官活动请来了工业界的实践者：

• Gobind（微软，GitHub Foundry）：企业 RL 经验。他服务的客户多是传统工业、制造业、能源，不是湾区创业公司。客户不关心模型本身，关心延迟、准确率和去风险化。整个系统（工具、数据、网络、harness）都会影响最终效果。他建议从已有 harness 出发，采集生产环境中的 OTE traces，然后构造 RL 环境。还要故意往环境里注入过期数据、超时等情况，模拟真实世界的扰动。
• Victor（Mercor）：环境设计。
• Miles / Tao Lin（RadixArk）：如何规模化 agent RL。
• Xiangyi Li（BenchFlow）：为什么做 OpenEnv Arena。

一个值得单独拿出来的训练结果来自第六场。模型是 sergiopaniego/qwen3-1.7b-mbpp-grpo，用 Qwen3-1.7B 在 OpenEnv 的代码环境里跑 GRPO。训练脚本里没有 reward_funcs——环境本身负责奖励，通过运行任务隐藏测试并返回通过比例来评分。

在 MBPP sanitized/test 的 257 个问题上（训练时没见过），基础模型 Qwen3-1.7B 得分 0.518，这个模型得分 0.582。比较靠谱的指标是 eval/reward 曲线：0.541 提升到 0.635，t 值 5.18。而 train/reward 看起来几乎是平的，因为每步只采样 4 个问题，MBPP 题目难度差异远大于单步改进，噪声 0.213 盖过了效应 0.06。模型卡里写得很直接："Watch eval/reward." 这在 RL 训练里是常见陷阱。

评论区有人问：在训练时的奖励函数之外，这个 agent 表现如何？Ben 回复说在同一环境的 held-out 任务集上有提升，但坦承理想情况下还应该做 benchmark。另一个人说“Astra 什么都能做，还用得着这个吗？”Ben 的回复很实在：“你可以训练一个 agent 跑在自己的笔记本上，免费，或者跑在烤面包机里。”

整套系列的所有代码、环境、模型卡都已经开源。如果你正打算训练自己的 agent，从那个播放列表开始，比从论文开始容易得多。

播放列表：https://www.youtube.com/playlist?list=PLo2EIpI_JMQvQZm-kVlz4wY1vWF0LBcf5