记下45个模型偷懒模式后,他挑出最坑的三个
有人花几个月测试Gemini、ChatGPT和Claude,记录它们走捷径、丢规则、编数据的45种方式。这里挑出日常最常踩的三个坑,附上修复方法。
Reddit用户Dean_ThinkingVault最近几个月一直在干一件事:拿Gemini、ChatGPT和Claude跑复杂工作流,每次模型偷懒走捷径、忽略藏在提示词里的规则、或者为了填完表格编数据,他就记一笔。攒下来45个不同的认知偏见和架构层面的失败模式,分了9类。
完整版内容将近一个小时,他挑出日常最容易踩的三个坑,直接给了修复方法。
第一个坑:把提取、搜索、格式化塞进同一轮对话
上传一份四千字的文档,然后让模型读完、联网核实事实、最后输出一张总结表格。这一句话同时触发了三个故障。按斯坦福那个Lost in the Middle的U型曲线,模型的注意力集中在提示词开头20%和结尾20%的位置,中间能悄无声息地丢掉一半段落。与此同时,长输入把路由压得太满,搜索模块为了赶单轮超时,经常跳过第2到第5次联网查询,直接从训练记忆里瞎猜。最后,让模型一边推理一边搜索一边搭Markdown或JSON表格,推理准确率会掉15%到25%,相当于交了一笔格式化税。
解法是严格拆成两轮。第一轮只负责提取原始事实和联网核实,别的什么都不干。等这些事实干干净净躺在对话历史里了,第二轮再把打分或总结表格的指令贴进去。
第二个坑:在同一个对话里让模型修图
模型生成一张图或一段视频,细节错了,车的方向反了,背景多了一个人。你在同一个对话框里让它改,它经常吐出一模一样的图。原因是后台路由被最小阻力路径和Token优化推着走最便宜的计算路径,同时上下文锚定死死咬住已有的视觉种子不放。
不要在同一线程里跟一张有问题的图较劲。开一个全新的对话窗口,把视觉种子从上下文里清掉。然后用正面描述从头讲清楚最终想要的场景,别提之前那个错误,并且明确禁止使用缓存的渲染结果。
跟帖里有人问为什么第一次效果很好,第二次只是提了个更简单的修正请求,结果反而崩了。Dean的解释是:聊天模型在中间当了一层隐形的翻译。你第一次输入提示词时,它在后台悄悄扩写成一段均衡、详细的描述再交给图像生成器。第二轮你只提一个小修改时,要么上下文锚定锁住第一张图的种子不动,要么指令显著性偏见发作,中间层把你的小修正放得太大,把原本的构图、光线、风格全扔了。还有一点,如果你用否定句式说把帽子去掉或不要眼镜,扩散模型处理否定词的能力很差,最后可能画出一顶更大的帽子。
他给的做法是:第一张图满意但只需微调时,先别走。让聊天模型把发给图像工具的那段完整扩写描述打印出来,或者让它详细描述第一张图的光线、机位和风格。复制那段文字,手动把要改的细节替换掉,注意用正面表述,然后把整块内容贴进新对话的第一轮。这样模型会把你的调整当成一次均衡首轮生成的一部分,而不是惊慌失措地应付一个修正指令。
第三个坑:过早总结和等等/N/A逃生口
让模型连续审查15个项目,前5个拿到深度分析,第6到第10个变成一句话带过,第11到第15个被合并成等等或者直接标N/A。输出token消耗的服务器算力大概是输入token的3到4倍,所以随着回答变长,RLHF的长度惩罚和尾部项目忽视会越来越严重。
阻止它的办法很直接:明确禁用N/A、等等、以及类似情况这些字符串,给1到15每个项目设一个最低字数或数据点下限,或者干脆把整批拆成每5个一组来跑。
Dean还提到完整清单里包括多模态OCR行错位、多智能体角色崩坏、BPE分词陷阱这些,做成了一套55页的讲解幻灯片。他在评论区放链接。
帖子最后他问了一句:最近哪个模型的偷懒习惯最消耗你的工作流?
发布时间: 2026-11-15 21:11