榜单不能复现,就只是说法:Parallel 开源了搜索评测工具
每隔几周一张新榜单,自家柱子最高。Parallel 把 parallel-search-evals 开源,支持自带问题,也支持交给 coding agent 跑评测。
Parallel 开源了 parallel-search-evals。这个仓库用来测 Parallel Search 的性能,也用来评估他们内部部署的新模型,并支撑 Search Capability Leaderboard。地址在 parallel-search-evals。
搜索评测长期有个透明问题。每隔几周,AI 提供商会发一张新图表,自家柱子最高,竞品短一截。读者只能看到结果,看不到模型配置、工具设置、错误记录,也看不到被丢掉的失败案例。Parallel 团队在文章里把这层窗户纸捅破了:不能复现的 benchmark,只是 claims。这话不算新,但他们把工具放出来,让团队先复现 Parallel 的结果,再拿自己的数据跑实验。
这个 harness 支持任何通过 OpenRouter、OpenAI、Anthropic、Google 或 OpenAI 兼容端点访问的大模型。每次运行评估一个模型、一个 benchmark、一个模式。模式包括 turbo、fast、basic、advanced、baseline。baseline 是闭卷,不接工具;拿 baseline 和搜索运行对比,就能看到搜索带来的提升。
用起来不复杂。先克隆仓库并同步依赖:
git clone https://github.com/parallel-web/parallel-search-evals.git
cd parallel-search-evals
uv sync --frozen
三问题冒烟测试:
uv run --frozen parallel-search-evals run --provider anthropic --model claude-sonnet-5 --benchmark dsqa --mode fast --limit 3 --output runs/dsqa-smoke
公共 benchmark 只是起点。真正要看的决策数据在自家流量里。harness 把问题集和 agent loop、grader 分开,团队可以加入自己的问题、参考答案和评分规则,搜索配置、预算和报告方式保持和排行榜一致。仓库里还带了一个 agent skill:.agents/skills/run-search-evals。把 Claude Code 或 Codex 指到 checkout,让它跑评测,它会处理模型、模式、问题数量、凭证检查、运行、恢复和总结。
机制上,这个 harness 处理了通用框架不太管的事:跨供应商原生协议的多轮工具调用、单次调用成本核算、供应商流中途断掉后的恢复。它接 OpenRouter 简化多模型接入,也保留 OpenAI、Anthropic、Google 原生适配器,包括 Anthropic 的 prompt caching 和 Gemini 的 continuation tokens。
Parallel 提供两个工具。Search API 接收自然语言目标和短关键词查询,返回最多 10 条结果和密集摘录。Extract API 从最多 20 个指定 URL 拉证据。模型每题有 20 次工具调用预算。深度研究模式给模型两个工具,要求它忘掉内部知识,只用这两个工具;预算耗尽后,再根据已找到的信息作答。OpenAI GPT-6 Sol judge 用 benchmark 官方 prompt 评分,DeepSearchQA 用 F1,允许不完整答案集拿部分分,HLE 用严格正确性。
如果发现 bug 或不同意某个设计,可以去 GitHub 开 issue。原推在这里,文章在这里。榜单可以看,先跑一遍再信。
发布时间: 2026-11-18 09:27