RAG又杀回来了：复杂的Agent记忆，可能输给直接读原文

Agent Memory 这两年越做越重。向量库、摘要层、实体图谱、多级缓存，一个对话助手背上一整套信息治理流程。

《Memory Tax》这篇论文给出的结论有点扫兴：很多专门设计的 Memory 系统，最后不如直接对 raw history 做 RAG，成本还更高。

作者把 Memory 的价值拆成正负两笔账。

Memory Benefit，是 RAG 答错、Memory 答对的问题。Memory Tax，是 RAG 本来能答对、经过 Memory 整理反而答错的问题。

问题集中在整理这一步。历史被摘要、重写、结构化以后，一些细节直接丢失；另一些细节虽然还在，却变得更难检索。重构本来是为了让信息更好用，结果把证据挡住了。

LongMemEval 上的数字不太客气：Qwen3.6-27B 用两轮 RAG 能到 81.4%，GPT-5.6 Luna 到 90%，都高于对应的复杂 Memory 方案。

作者给的修补思路很朴素。Memory 继续用，同时保留 raw history 的检索通道，两边结果一起 rerank。等于承认摘要会犯错，留一条回原始现场的路。

X 上有网友在这篇的讨论下留言，说自己坚定拥护 grep。作者回了个笑脸。这态度不一定完整，但和论文的结论对得上：先用最笨的方法兜底，再谈复杂结构。

还有一个提醒值得抄下来：给 Agent 加 Memory 之前，先拿最简单的 raw-history RAG 做 baseline。别等系统上线才发现，花在整理上的钱比没记住的损失还大。

Xudong Han 在推文最后写了一句：真正昂贵的不是没记住，是过早把原始信息总结掉了。