Agent 没崩，只是稳定答错

Agent 可观测性常被说成给 Agent 装个 Datadog。Harrison Chase 不这么看。他在推文里写，人们想到 agent observability 时，可能想到 datadog for agents，实际更像 databricks for agents。原话很短，后面补了一句：这个方向已经做了一些东西，很快会看到更多。

这个类比值得拆。Datadog 那套东西解决的是服务有没有挂、延迟有没有飙、错误率有没有异常。换成 Agent，dashboard 也会告诉你进程活着、token 消耗正常、工具调用成功率不错。然后客户发来截图：答案错了，错得很自信。

Luis Junior 在回复里把这层说得很直：Datadog 会提醒你 Agent 崩了。麻烦在于 Agent 没崩，只是稳定地答错。dashboard 上看不见，客户投诉里看得见。他还追问，agent observability 到底是基础设施问题，还是终于有人得定义什么叫正确答案。

这问题不轻。Agent 的输出不是固定 JSON，也不是一个 200 状态码。它可能调用工具、读文档、做多步推理，最后给出一段看起来合理的话。监控能抓到超时和异常，抓不到语义上错了。Harrison 的 Databricks 类比更像在说，agent 可观测性不只盯运行时，它还要处理数据、评估、实验、反馈这些脏活。Databricks 做的是数据和 AI 工作流的基础设施，不是单纯告警面板。Agent 要迭代，就得知道哪批输入失败了、失败样本怎么回流、评估集怎么长出来、版本改动有没有把旧问题带回来。

讽刺的是，很多团队先把 trace 做得漂漂亮亮，再发现最关键的字段是正确答案。没有评估，observability 很容易变成昂贵的仪表盘。有评估，才有机会把客户投诉变成下一轮测试用例。Harrison 说这个方向已经做了一些，后面会更多。真正值得看的不是又多了几个面板，而是 Agent 的错误能不能被定位、被复现、被写回系统。

原推文：Harrison Chase