记忆税：给AI加记忆前，先跑一遍朴素RAG

RAG又赢了。

伊利诺伊大学、清华、人大、Verdent.ai和滑铁卢大学的研究者发布了一篇论文，名叫《Memory Tax: Dissecting the Net Value of Agent Memory》（记忆税：拆解代理记忆的净值）。他们在LongMemEval、PersonaMem和MINT-Eval三个基准上，用多种模型底座做了大规模评估，发现一个尴尬的事实：在很多情况下，专用记忆系统表现不如直接把原始对话记录翻出来检索的朴素RAG，成本却更高。

论文把一个记忆系统的价值拆成两部分。一是记忆收益（memory benefit），指记忆系统能答对而RAG答错的题。二是记忆税（memory tax），指RAG能答对但记忆系统答错的题。

记忆税从哪来？因为构建记忆的过程本身就是一次重写。提取摘要时，有些事实被丢掉或扭曲；有些虽然幸存，但变得更难检索。有网友举了个例子：把“三月从奥斯汀搬到丹佛”总结成“住在丹佛”，日期就没了。另外，换了底座模型之后，记忆系统的表现波动也更大。

有个简单的修复办法：从原始历史和记忆里同时检索，再把结果一起重排序，记忆税能明显降低。作者也给出了一个更务实的建议：在给代理加记忆层之前，先在自己的数据上，拿原始历史的朴素检索和记忆系统比一比。

有网友提醒，这个结论需要看上下文：论文的实际结论比社交媒体转述的更谨慎。一些常用记忆基准本身就很利于检索，一个不用嵌入向量的简单关键词（IDF）基线在某些基准上能超过50%正确率，混合RAG能到70%左右，记忆系统能增加的收益空间很小，损失却会暴露出来。而在web任务上，把长轨迹蒸馏成工作流仍然可以胜过朴素RAG。

“很多记忆层就是有损摘要加更多步骤。”有网友这样总结。另一个观察是：原始对话记录是唯一没有被谁总结错过的版本，记忆系统都是带着对“你以后会问什么”的预测在做有损压缩，而RAG不做这个赌。

还有一层实际考虑：记忆层应该能从原始对话中重建。否则换一个提取模型，就变成一次数据迁移，而被丢弃的事实，在新模型有机会用到它们之前就已经没了。

这篇论文的价值在于提出了“记忆税”这个视角。当大家都在讨论怎么把记忆做得更复杂时，它给出一个简单、便宜、可解释的基线：直接检索原始历史。先跑通这个，再考虑要不要加记忆层。

论文链接
项目页和Chat with Paper