16个token当记忆，斯坦福开源Memorilla给冻结LLM省下108倍文档token

斯坦福研究者发布了Memorilla，一个开源记忆系统。MarkTechPost的Asif Razzaq在报道里给了几个核心数字：它把一批文档压缩成16个memory tokens，交给冻结的Qwen3-8B使用；在FactKG上拿到84.33%，文档token用量比完整上下文少108倍。

这里有三个点值得拆开看。

冻结模型。Qwen3-8B的权重不动，Memorilla做的是外挂式记忆。原文称它为面向冻结LLM的潜在记忆模块。对开发者来说，这意味着记忆能力可以单独迭代，不必每次重训底座模型。

16个memory tokens。完整上下文方案把文档原文塞进窗口，Memorilla先把文档集合压成极少量token。108倍这个差距就是压缩带来的。代价也明显：16个token能保留多少细节，取决于压缩模块怎么训练，以及任务需不需要逐字依据。素材只给了FactKG一个结果，别直接推成通用结论。

84.33%。这是FactKG上的成绩，配合“比完整上下文少108倍文档token”一起看，才有意义。单看准确率不够，单看压缩率也不够。

Memorilla目前是开源项目。原文没有展开代码库、训练细节和其他基准，想复现或接入的人需要顺着项目继续看。至少这个方向很清楚：长上下文之外，还有一条路是把文档压成少量latent memory tokens，再让冻结模型去用。它是否适合你的场景，得看任务对细节保真的要求。

来源：Stanford Research Open-Sources Memorilla, a Latent Memory Module for Frozen LLMs，作者Asif Razzaq。