Agent 评测缺的不是排行榜，是一个能重跑的实验室

Agent 评测现在有两个常见场景：排行榜上比分数，demo 里看效果。Harbor 想补第三个场景：把评测做成能重跑的实验。

Fajar M Reza 在推文里介绍，Harbor 是一个在真实容器环境里评估和优化 agent 与语言模型的框架。项目来自 Terminal-Bench 的创建者，采用 Apache-2.0 许可。它支持的 agent 包括 Claude Code、OpenHands、Codex CLI 等，也能跑版本化的 benchmark。

排行榜给出的是一张排名截图。Harbor 给出的是一次可以重跑、可以检查失败原因的实验。Fajar M Reza 把有用的点放在完整闭环上：agent、模型、数据集、策略、沙箱、验证器、产物，并发和可复现运行通过一个 CLI 暴露出来。代码库还把 Harbor 操作暴露为 MCP 工具，方便其他 agent 调用。

对 agent builder、eval 研究者和平台团队，这能把“demo 看起来不错”变成可复现、可检查的实验。按推文的说法，这是 Harbor 的价值所在。

安装：

uv tool install harbor

或：

pip install harbor

Harbor 是 Terminal-Bench-2.0 的官方 harness。跑 Terminal-Bench-2.0 的命令如下：

harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4

默认在本地用 Docker 启动。要换到云沙箱，加 --env daytona，并配好 DAYTONA_API_KEY：

harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 100 --env daytona

它可以通过 Daytona、Modal、LangSmith 等 provider 并行跑上千个环境。harbor datasets list 可以查看支持的第三方 benchmark，包括 SWE-Bench 和 Aider Polyglot。Harbor 还能生成 RL 优化用的 rollouts。

项目地址：harbor-framework/harbor。端到端例子和指南在 Harbor Cookbook。如果要在学术工作里引用，GitHub 页面提供了 BibTeX 和 DOI。

判断一个评测框架，不只看它能不能多跑几个 benchmark。榜单传播快，复现实验没人转发。对做 agent 的团队，后者更值钱。Harbor 的考验在别处：环境能不能稳定复现，验证器能不能覆盖真实失败，云沙箱的成本和调度是否撑得住上千并发。这些问题不会因为一个 CLI 消失。先看 Cookbook 的端到端例子，再决定要不要把自己的 benchmark 搬进去。