Wink Pings

Parallel 开源搜索评测工具:榜单不能复现,就只是海报

Parallel 开源 parallel-search-evals。模型、工具预算、评分规则和 smoke test 都摊开了。榜单能不能信,跑一遍再说。

Parallel 开源了 parallel-search-evals。它是一套搜索评测工具链,用来测 Parallel Search 的性能,评估内部部署的新模型,也支撑 Search Capability Leaderboard。

评测榜单有个老问题。每隔几周,新图表出来,发布方的柱子最高,竞品的柱子矮一截。读者只能看到结果,看不到模型配置、工具设置、错误记录和失败样本。结果不能复现,榜单就只是海报。

这套 harness 想解决的就是这件事。它把评测过程摊开,团队可以先复现 Parallel 的结果,再换成自己的数据集做实验。

仓库在这里:parallel-search-evals。原推在这里,Parallel 的文章在这里。

它支持通过 OpenRouter、OpenAI、Anthropic、Google 或任何 OpenAI 兼容端点访问的大模型。每次运行只测一个模型、一个 benchmark、一个模式。模式包括 turbo、fast、basic、advanced,以及 baseline。baseline 是闭卷,不给工具。把 baseline 和搜索运行放在一起看,差值就是搜索带来的提升。

上手命令不复杂:

git clone https://github.com/parallel-web/parallel-search-evals.git
cd parallel-search-evals
uv sync --frozen


# Three-question smoke test
uv run --frozen parallel-search-evals run \
  --provider anthropic --model claude-sonnet-5 \
  --benchmark dsqa --mode fast --limit 3 --output runs/dsqa-smoke

这套 harness 也能改造成对比 Parallel 和其他 provider 的工具。公共 benchmark 只是起点。真正要做的决策,藏在自家流量里。它把问题集、agent loop 和 grader 分开。你可以加入自己的问题、参考答案和评分规则,搜索设置、预算和报告方式保持不变。

仓库里还带了一个 agent skill,路径是 .agents/skills/run-search-evals。它会让 coding agent 逐步确认模型、模式、问题数量、凭据,然后运行、恢复、总结。把 Claude Code 或 Codex 指向 checkout,让它跑评测就行。

搜索评测有几件现有框架不太好处理的事:跨 provider 原生协议的多轮工具调用、每次调用的成本核算、长研究链路中途断流后的恢复。OpenRouter 用一个集成接几百个模型,省事。原生 OpenAI、Anthropic、Google 适配器保留各家自己的工具调用和推理协议,包括 Anthropic 的 prompt caching 和 Gemini 的 continuation tokens。

Parallel 提供两个工具。Search API 接收自然语言目标和短关键词查询,返回最多 10 条结果和密集摘录。Extract API 从最多 20 个指定 URL 拉证据。模型每题有 20 次工具调用预算。评测跑在 deep research 模式下,模型拿到这两个工具,被要求忘掉内部知识,只用工具找答案。预算用完,它要基于已经找到的内容返回结果。

评分用 OpenAI GPT-6 Sol judge,按 benchmark 官方 prompt 对照参考答案。DeepSearchQA 用 F1,答案不完整也会给部分分。HLE 用严格正确性。组件列表里包含 Models、Web search tools、Tool budget 和 Grading。

开源消息下面,评论区很热闹。有人喊 open source for the win。Kujo 贴了这张图:

Kujo 在回复里贴的图

也有人追问更实际的问题。DataMining 问 repo 里包含 grader,还是只有 runner。Milhous 想看完成任务的分数,和包含失败任务的分数并排展示,好判断低分是答错还是任务没跑完。Lachy 问新模型评估的 pass/fail 线是提前定死,还是每次模型变化后重调。原文没有逐条回答这些问题。

这些追问比榜单上的柱子更接近日常使用。一个评测工具好不好用,要看它能不能被复跑,能不能塞进自己的问题集,能不能在失败时给出可检查的痕迹。Parallel 把工具开源了,下一步是让更多人跑出不一样的结果。

发布时间: 2026-11-19 01:36