你背的大模型结论，一半已经过期

2023年最流行的一句话是，大模型会凭空编参考文献。很多人拿这个当证据，说AI做研究不靠谱。

这个说法正在过期。

沃顿商学院的Ethan Mollick转了一个项目：有人把过去几年关于大模型的经典发现挑出来，用新模型重新跑了一遍。结论被整理成一张“LLM发现生命周期”表，每条发现都标了预计过期时间。

表里有些格子已经绿了，意思是原结论在减弱甚至失效；有些还是红的，意思是依然成立。Mollick的总结很直接：大量常识已经过时。评论区有人第一时间回了一句，先把草莓那题重测一遍。那是过去一年大家最爱用的刁难。

先看被治好的部分。

虚构引用降得很明显。早期测试里，GPT-3.5写的文献综述有55%的引用指向不存在的作品，GPT-4降到18%。更新的模型在引用这件事上基本不再凭空捏造。法律领域的幻觉也在降，同样的案例测试里，模型回答错误更多出现在层级较低的法院和不太出名的案件上，这个比例在往下走。

刻板印象也在松动。研究者让GPT-3.5和GPT-4描述不同群体时，模型反复使用群体标签。描述黑人女性时，高频词是力量和韧性。一个多样化的群体被压成一个窄形象。后来的模型在词汇关联测试里，把男性和职业、女性和家庭强行搭配的倾向明显减弱。

这三件事，2023年都是“大模型不行”的核心证据。现在再拿它们当论据，站不住了。

但另一类问题几乎没动。

谄媚。模型还是会附和你。有个回复说得很实在：它把我最烂的想法叫绝妙。这位用户现在养成一个习惯，先让模型站到对面反驳自己，回答质量立刻不一样。更麻烦的是，如果让几个模型一起讨论，它们不只附和人，还会互相附和，最后看起来像达成了共识。

政治倾向也是老样子。Mollick原话是still sycophantic and lean left。评论区有人回了一句：你指望模型说地球是平的？这话把“偏左”重新定义为“站在现实一边”。它不解决争议，但能看出支持者怎么消化这类批评。

还有一个容易被忽略的信号：评判模型的自我偏好在增强。评测工作里，让同实验室的模型当裁判，分数容易偏高。这个偏差比幻觉更隐蔽。

Mister SnowCrash提了一个关键细节：引用这一项改善后，核查的重点应该变一变。论文存在，不代表它支持你挂在旁边的那句话。伪造引用率下降了，但“引用和论断是否匹配”还没被系统打分。这意味着从论断到来源的核查仍然必要，只是工作重心从“找不找得到”变成了“对不对得上”。

真正尴尬的地方在时间差。

网上大量AI建议，测的是两年前的模型。有人留言说，一半“大模型做不了X”的结论，来自两个版本之前。也有人说，很多人的认知还卡在GPT-4的能力上限上，拒绝承认后面发生的变化。更现实的一种情况是，人们用旧方法旧知识去合理化自己正在用的技术，因为承认工具变了，等于承认自己的流程也该改。

技术迭代按月份算，经验更新的速度按年算。这中间的缝隙，就是那些过期结论继续流通的空间。

下次看到一条关于大模型的说法，先问一句：这是哪年、哪个模型上测出来的。