长对话变笨:先换上下文,再谈模型
聊天到几百条后,模型会记错旧决定、重复答案、偏离目标。一个五行交接摘要,往往比更大的上下文窗口更管用。
长对话聊到几百条,回答开始不对劲:前面定过的方案被记反,同一个问题来回说,聊着聊着偏题。很多人第一反应是模型不行。Reddit 的 PromptEngineering 版块有个帖子把矛头指向上下文:上下文塞得太满,模型的注意力被旧内容拖住。
原帖给的办法很土:开个新对话,粘一份五行摘要。
- 目标
- 约束
- 已经做过的决定
- 当前状态
- 下一步
原帖地址:Context rot: why your AI gets worse after 200 messages。发帖人的判断是,干净的新上下文几乎总比臃肿的旧上下文好用。窗口大当然有帮助,但一次紧凑的重启更有用。跟帖里有人问,你会主动重开对话,还是拖到它自己崩?
有网友补了一个更直接的用法:让模型“安全暂停,并生成一份交接提示,带上未完成项,聚焦到(目标结果)”。这比手动翻聊天记录再总结省事。也有人用类似 git 管理任务的方式交接,但原帖没展开。
另一个跟帖把“200 条”这个数字拆了。长对话的质量下降可以测出来,文本越多会掉,模型在自己的回答里走得越远也会掉。不同模型崩掉的点不一样。简单规则下,有的模型几百字后就隔一次错一次,有的能撑几万字。所以 200 条不是通用门槛。窗口大小也不等于安全边界,有网友测到,一个百万 token 窗口的模型,在一千字左右就开始漏掉替换。这个结论来自跟帖者的测试,具体任务和模型没在帖子里展开。
还有个容易忽略的点:每条消息都生效的约束,比一次性说明更压模型。风格规则、禁用词这类东西,如果一直挂着,会持续占用注意力。五行摘要里的“约束”一栏,最好只留真正必须全程成立的。
有人问手动 /compact 行不行。跟帖的回答是,compact 会丢掉重要部分,而且你不知道丢的是哪块。它能用,但更像临时补丁。帖子里的五行摘要之所以有效,一部分原因是它同时给了模型短输入和一次回答的新起点。
最后,有网友把责任分回用户:模型会根据前面的 token 续写,如果几百条后完全不能用,用户很可能在引入漂移。他给了一个检查办法:让模型不用你框架里的术语,解释这个框架的目的。能讲清楚,说明它理解推理;只会复述词,说明没懂。
这帖子没给万能阈值。它给的是一个便宜动作:觉得对话开始绕,就停下来,写五行,重开。模型值不值得换另说,上下文先别让它继续泡着。
发布时间: 2026-11-20 21:19