Wink Pings

Agent 在 demo 里很稳,直到用户开始用

Plurai Simulation 上线,免费给 AI 工程师。它把 agent 的工具和环境复制成数字孪生,用模拟用户和任务压边缘案例,还能把生产失败变成回放。回放很实用,但模拟保真度和评分器决定它有没有用。

Plurai Simulation 上线了,免费给每个 AI 工程师。Ilan Kadar 在推文里说得很直接:AI agent 在 demo 里看起来很好,直到真实用户把它们用坏。Plurai 的做法是建一个 agent 自己的世界,让它在用户看到之前失败、学习、被修好。

功能包括:

  • 数字孪生:从代码重建真实 agent、工具和环境。
  • 模拟用户和任务:用现实工作流把 agent 推到边缘案例。
  • 自动评估:检查 agent 实际做了什么,不只是说了什么。
  • 验证修复:每个失败附带暴露它的运行和可验证修复。
  • 回放:把生产失败转成模拟,再对新版本重放。

它跑在已有的 coding agent 里:Claude Code、OpenAI Codex CLI、GitHub Copilot。免费入口在 simulation.plurai.ai/connect。

值得看的是回放。生产失败变成可重放的测试,比在 demo 里堆场景更接近团队修 bug 的方式。有网友 Farhan 说,回放是他最喜欢的部分,把真实生产失败转成测试再对新版本重跑,正是多数 agent 团队缺的。

但有两个暗礁。有网友 Alano 提醒,模拟环境的状态和权限要接近生产,否则 agent 可能反复通过同一批场景,真实集成已经在底下变了。还有网友 Andrew Rose 贴出 MATH-500 的评分误差:跑出来 76.0%,实际 79.2%,16 个所谓 misses 只是格式问题。数字孪生再完整,评分器错了也会给假安全感。

评论区还有人追问 repo scan 如何决定哪些 endpoint 被 mock,哪些保持 live,尤其单个内部工具同时处理 RAG 读写。这个问题不轻,模拟保真度没法靠一句数字孪生带过。

Plurai Simulation 的价值是让 agent 上线前先在自己的世界里把坑踩完。免费开始,至少值得试一次。

发布时间: 2026-11-12 14:28