模型答错，让它多想一会儿：8种推理增强方法及其账单

推理时扩展（test-time compute）这两年从论文角落走到工程一线。训练侧 scaling law 的曲线变平之后，大家开始盯上另一条路：模型参数不动，推理时多给点算力，能不能把答案质量抬上去。

Daily Dose of Data Science 发了一条推文，列了8种在推理阶段提升 LLM 推理能力的方法，配了一段视频：

先说清楚这8种方法各自解决什么问题。它们不在同一层级，有的是一句提示词，有的是一整套搜索框架。

1. 思维链（Chain-of-Thought）
Wei 等人在 2022 年提出，让模型把中间步骤写出来再给答案。数学题、逻辑题上提升明显。代价是输出变长，而且错误会沿着链条往下传，前面一步错，后面全歪。

2. 自一致性（Self-Consistency）
Wang 等人 2023 年的做法：同一道题采样多条推理路径，对最终答案投票。它赌的是正确答案比错误答案更容易被多条路径撞上。成本是 N 倍推理开销，N 通常取 5 到 40。

3. 思维树（Tree of Thoughts）
Yao 等人把推理拆成树节点，允许在一个步骤上生成多个候选、评估、回溯。适合需要试错的题，比如规划、谜题。工程上要自己写搜索循环，复杂度不低。

4. 由简到繁（Least-to-Most）
Zhou 等人的提示策略：先让模型把大问题拆成子问题，再从最简单的子问题开始逐个解。组合型题目上比直接问有效。

5. 自我反思（Reflexion）
Shinn 等人的框架，让模型检查自己的输出，写下失败原因，下一轮带着这些反思重试。对代码、有单元测试的任务效果不错；开放题上模型容易自我感觉良好，改半天还是错。

6. ReAct
Yao 等人 2022 年的工作，把推理和行动交替起来：想一步，调一次工具（检索、计算器、代码执行），再看结果继续想。本质是把模型的弱项外包给外部系统。

7. Best-of-N 加验证器
采样 N 个候选答案，用一个奖励模型、单元测试或者规则打分，挑最高的那个。数学和代码场景里，这类方法性价比最高，因为验证器相对可靠。没有验证器，这招就退化成随机抽奖。

8. 过程奖励模型引导的搜索（MCTS / PRM）
在推理的每一步做搜索，用过程奖励模型（PRM）给中间步骤打分，再用蒙特卡洛树搜索之类的方法找路径。AlphaCode 用过类似的搜索思路；OpenAI 的 o1 系列也把推理时算力当成卖点。算力开销大，且强依赖 PRM 的训练质量。

把这8种摊开看，会发现一个不太浪漫的事实：稳定见效的几类，靠的都是外部信号。投票需要答案可比较，验证器需要能判对错，工具调用需要环境可用。纯粹的“让模型多想一会儿”，在没有验证器的情况下，常常只是让模型更自信地重复自己的错误。

另一个容易被忽略的是账单。自一致性采样 40 条路径，延迟和成本就是 40 倍；MCTS 在步骤级别展开，开销更高。线上服务里，用户等 3 秒和等 30 秒是两回事。论文里的准确率提升，折算成单位成本的收益之后，排名会变。

那条推文的视频演示了这些方法的效果对比，链接在这里：https://x.com/DailyDoseOfDS_/status/2118637028393021896

如果只挑一个上手，从分步提示加采样验证开始，工程改动最小，收益也最容易度量。