没8张卡也能跑Agentic RL，这个仓库把论文公式对到了训练代码

想学 Agentic RL 的人，常见卡点集中在环境、卡数和训练框架耦合，公式反而不是第一道关。Datawhale 成员宋志学做的 Agentic-RL Lab，目标很直接：把 LLM 和 Agent 强化学习算法拆开，给出可运行代码。

Agentic RL 可以理解为，让模型在多轮任务里学会搜索、调用代码工具、在环境里做决策，再用强化学习去训练它。这件事听起来不难，真正动手时，数据怎么准备、reward 怎么给、loss 在优化什么、一条 Agent 轨迹怎么参与训练，都会变成具体问题。

这个仓库覆盖 GRPO、DAPO、GSPO、Search-R1、ReTool、AgentOPSD、ALFWorld、TEMPO、Spec-o3 等一组算法和实验。项目借助 PyTRIO 的 Train API 降低训练工程门槛，用 SwanLab 做实验记录。论文出处、核心变量、数据处理、训练循环和记录都放在一起。读到一个算法，旁边就有能动手试的代码。

比如 GRPO 章节，会在 GSM8K 上比较 importance_sampling、ppo、cispo 三种 loss。Search-R1 训练多轮搜索，ReTool 训练模型调用代码工具，ALFWorld 里做家务，Spec-o3 用光谱数据找星星。想研究某个奖励设计或者 loss 改动，可以先找一个对应的实验跑通，再在这个基础上改。

项目作者在仓库里提到，他最初被 4 卡、8 卡和训推一体的复杂度劝退，后来接触 Tinker 和 PyTrio 的 Train API，复现这 14 篇论文里的算法用了不到两个月。这个说法值得留意：训练基础设施把工程噪声剥掉后，学习者能盯住的核心内容会少很多。

评论区里有人问，GSM8K 是不是太简单。项目作者的回复是，GSM8K 太简单，一般要更难 task。也有人问，这些算法用的奖励函数是分别调的还是共用一套基准。作者的回复是分别调的效果。还有网友想要每个实验跑通后的参考日志，作者建议提交 issue 要求带日志。这些细节比单纯列算法名单更有用。

Spec-o3 部分给了一组结果：同一批 256 题，Qwen3.5-4B 答对 175 题，准确率 68.36%，Qwen3.5-9B 答对 191 题，准确率 74.61%，Macro F1 分别为 70.93% 和 75.94%。完整对照和评测设置放在 Spec-o3 Blog 里。

快速启动不复杂：

git clone https://github.com/datawhalechina/agentic-rl-lab.git
cd agentic-rl-lab
uv sync

运行 ALFWorld、TEMPO 或 AgentOPSD 章节时，需要额外安装 TextWorld 环境依赖：

uv sync --extra alfworld

Search-R1 直接调用 DeepSeek 官方 Search API，使用 httpx，不需要额外安装搜索封装。基础依赖用 uv 管理，想单独拎某个 demo 脚本到自己项目里跑，也可以按仓库说明安装。

仓库里还提到一个用户故事：有人面试简历里写了本仓库的 AgentOPSD 章节，后来入职了 MemTensor。这个细节有点意思，但不必过度解读。更实际的价值是，它把学习材料从只看公式，拉到能跑实验的层面。

在线阅读有中文实验手册和英文版。项目地址在Datawhale Agentic-RL Lab。想学 Agentic RL，挑一个感兴趣的章节跑通，比继续收藏论文更有效。