剑桥的一项新研究，声称通过校准的奖励信号带来更可靠的模型。它究竟证明了什么——以及对今天的开发者意味着什么。
先给出简短答案：没有。但 MIT 在 Beyond Binary Rewards: Training LMs to Reason about Their Uncertainty 中真正展示的东西，比这个标题更有意思。Damani、Puri、Slocum、Shenfeld、Choshen、Kim 和 Andreas 证明了：我们当下训练推理模型的方式，不仅仅是允许幻觉——它在主动制造幻觉。而且他们对这个问题的某一类，给出了一个修复方案。
每个开发者都熟悉的模式
任何认真用过 Claude、GPT 或 DeepSeek-R1 的人都见过这一幕：模型带着十足的自信作答——却完全错了。Andrej Karpathy 在多篇文章里都描述过这种行为，而我近期对一份获得 25,000 星的 CLAUDE.md 的分析，本质上就是一套针对这一模式的行为规则合集。
这篇 MIT 论文如今在训练层面给出了解释。一句话概括其论点：使用二元正确性信号的强化学习——也就是今天 o1、DeepSeek-R1 或 Qwen 推理系列等推理模型的标准做法——对"猜"的奖励，和对"知道"的奖励完全一样。弃权作答受到的惩罚，与答错完全相同。结果就是：模型学会了自信地虚张声势。
作者在引言中直言不讳：经过 RL 后的推理模型表现出"相较基础模型更差的校准与更高的幻觉率"。那个让模型更擅长解决难题的训练步骤，同时也让它在承认自己不知道时变得更不可靠。
为什么二元奖励会把模型训练成爱猜的
问题的关键可以浓缩进一张图。左边：标准做法。右边：作者的提案。
左图：在标准奖励下，模型的置信度无关紧要——一个自信地答错的输出，和一个犹豫地答对的输出，价值完全相同。右图：校准奖励会惩罚自信答错的回答，并奖励校准良好的置信度。改编自 Damani et al. 2025，图 2。
在左图中，奖励是一个阶跃函数：答对得 1，答错得 0。置信度变量 q 在奖励里根本没有出现。模型没有任何动机去诚实地表达不确定性——它只能靠猜来取胜。作者把这一点形式化为真正的训练目标：最大化正确率，忽略其他一切。
在右图中，奖励本身变成了置信度的函数。在 q=1.0 时答对，获得满额奖励。在 q=0.3 时答对，只获得部分奖励——模型答对了，却不知道自己答对了。在 q=0.9 时答错，将受到重罚——模型自信地撒了谎。在 q=0.1 时答错（"我只是随便猜的"），只受到轻微的惩罚。
修复方案：一段话讲清 RLCR
作者把他们的方法称为 RLCR（Reinforcement Learning with Calibration Rewards，带校准奖励的强化学习）。奖励函数如下：
R = correctness + (1 − (q − correctness)²)
末尾那一项就是 Brier 分数，一条数十年来用于天气预报、评估校准概率的规则。论文的定理 1 证明了其核心性质：这个奖励函数能同时最大化准确率与校准——且不存在权衡取舍。模型学到的不是偏好不确定而非确定，而是输出一个与其真实答对概率相匹配的置信度。
在实践中，输出看起来是这样的（对论文图 1a 的简化）：
<answer> "Boom Bang-a-Bang" </answer>
<analysis> 不确定性很高：Lulu 确实在 1969 年代表英国参赛，但具体是哪首歌并不广为人知 […] </analysis>
<confidence> 0.3 </confidence>
四个结构化字段：推理、答案、对不确定性的自我分析，以及一个数值化的置信度。模型经过训练，使这个置信度不是随意给出的，而是在统计意义上贴合现实。
真正重要的数字
在 HotpotQA——一组基于维基百科的多跳问题——上，期望校准误差（Expected Calibration Error）从 0.37 降到了 0.03。翻译一下：一个经过 RLVR 训练、以 0.9 置信度作答的模型，平均只有 53% 的时候是对的。而同样置信度下的 RLCR 模型，几乎精确地贴合它真实的成功率。在数学测试集（GSM8K、MATH500、Big-Math）上，ECE 从 0.26 降到 0.10。准确率则基本保持不变。
最引人注目的结果藏在分布外（out-of-distribution）测试里。当把训练好的模型放到全新的数据集（TriviaQA、SimpleQA、GPQA、CommonsenseQA）上评估时，令人不安的一幕出现了：标准 RL 不只是没能改善校准——它反而让校准比未经训练的基础模型更差。RLCR 是这次对比中唯一能把校准收益迁移到新任务上的方法。
作为额外收获，作者还展示了口头置信度可用于测试时扩展（test-time scaling）：按置信度加权的多数投票，胜过普通的多数投票，也胜过纯粹的最大置信度选择。如果你已经在用自一致性（self-consistency）或 best-of-N，那么同一套训练配方能免费给你一个更好的投票信号。
那么，MIT 解决幻觉了吗？（说点实在的）
有三件事得一口气说清楚：
它解决了什么
在具备可验证标准答案的任务上的校准——问答、数学、结构化推理。以这种方式训练出来的模型，能可靠地知道自己什么时候是在猜。
它没有解决什么
在没有标准答案的领域里，那些开放式的事实性幻觉。RL 需要一个正确性信号。"总结我的代码库"或"给 X 写营销文案"都不是可验证的任务——这个方法在这里帮不上直接的忙。
规模上的警示
训练用的是 Qwen2.5-7B。这些效果能否在前沿规模上依然成立，是一个实实在在的未知数。其理论性质（定理 1）与模型规模无关地成立；但经验性的泛化效果不一定。
更深层的要点埋在底下：二元奖励信号对校准是主动有害的。这是整个后训练（post-training）领域都需要认真消化的一个发现——包括那些我们今天在生产环境里跑着其模型的实验室。与其说这项研究堵上了一个洞，不如说它揭出了当前训练范式中的一个系统性缺陷。
今天开发者能做什么
RLCR 要在前沿模型里出现，还得等上几个月到几年——如果它真的会出现的话。但这项研究所诊断出的失败模式，至少可以在应用层面被部分缓解：
- 在提示词里要求给出置信度。这些模型并没有完美校准，但强制它们输出一个置信度数值，能给下游逻辑一个可依据的东西。设一个阈值，把低置信度的输出路由去做验证。
- 在智能体系统中对低置信度输出做路由。在多步骤的智能体里，那些自评置信度较低的关键决策，应该被交给验证步骤或人工审核。
- 带置信度加权的自一致性。如果你用 best-of-N 或多数投票，就按模型报告的置信度给投票加权。这正是论文所展示的、胜过普通多数投票的那套投票方案。
- 用 CLAUDE.md 规则来对抗虚张声势。Karpathy 在他的编码观察中提出的"含糊时就发问"规则，回过头看，恰恰是对本文在 RL 侧所诊断出的那个训练层面问题的一次行为层面的补丁。这两种做法从不同方向，处理的是同一个底层病因。
真正的结论
MIT 并没有解决 AI 幻觉。他们证明的是：我们训练模型的方式会系统性地制造幻觉——而对奖励信号做一处小小的改动，就能在数学上可证明地得到一批同时更准确、也对自身局限更诚实的模型。
这比那个标题更有分量。标题承诺的是问题的终结。而这项研究给出的是另一种诊断：问题就内建在训练本身之中。一旦你理解了这一点，你作为用户也就知道该如何识破它——以及在提示词和系统层面能对它做些什么，远在下一个前沿模型把修复方案写进其架构之前。
来源：
正在搭建那种模型置信度与幻觉风险至关重要的 AI 系统？我们聊聊。我帮客户设计把不确定性当作信号来对待、而非把它藏起来的智能体架构。