AI 回答之前，先问清楚：一个苏格拉底式提示生成器的实验

Reddit 用户 OwnDay4560 在 r/PromptEngineering 发了一个叫 Socratic AI Project 的实验。灵感来自苏格拉底和《银河系漫游指南》：书里说终极答案是 42，但没人知道问题是什么。作者由此提出一个假设，优化答案之前，先优化问题。

大多数 AI 助手被设计成回答用户输入的任何问题。可人的提问常带隐藏假设、模糊定义、前后矛盾，甚至错误前提。作者想做一个 question-first AI，先识别模糊术语并要求澄清，用反例挑战假设，检测陈述间的矛盾，跟踪未解决的问题和定义，还要知道什么时候停止追问，直接给答案。

架构上，作者设计了状态机：问题选择器、会话记忆、基于饱和度的停止条件，以及一个给不想被追问的用户的逃生通道。初始版本是一个苏格拉底式提示生成器，通过采访用户生成定制系统提示。帖子里留的 GitHub 地址还是占位符。

这个方向有吸引力，也有明显摩擦。问答产品默认用户想快速拿结果，连续反问会把澄清成本转给用户。逃生通道因此必要，饱和停止条件也得定义清楚，否则容易从追问变成审讯。状态机可控、可解释，适合早期验证；对话分支一多，纯状态机可能变僵硬，规则加模型混合更实际。

更难的是评测。好问题很难量化。可以看下游任务准确率、澄清轮次、错误前提发现率、用户完成率，甚至用户是否觉得自己被理解了。高风险决策里，问题优先可能有价值；低风险快问快答里，用户多半只想少说两句。

作者在帖子里问了三个问题：这能否改善 LLM 的问题表述和推理；状态机是不是合适基础；如何拿 question-first AI 和 answer-first AI 做 benchmark。中心假设值得测试，但产品化时要记住，提问是成本，回答才是用户感知到的价值。

原帖：链接