奖励模型（Reward Model）

AI知见编辑部 · 技术原理 · 持续更新

一句话说清

专门给AI回答打分的"裁判模型"：它不学知识，只学"什么样的回答人类更喜欢"。

训练大模型分两步：先教它知识（博览群书），再教它分寸（懂人话、有礼貌、知进退）。第二步就需要一个裁判：给同一个问题的几个候选回答打分，"这个周到，那个敷衍"。奖励模型就是这名裁判——它本身不回答问题，只负责评价回答。

裁判的口味决定了AI的性格。裁判按"热情主动"打分，AI就变得爱唠嗑；按"严谨保守"打分，AI就变得字斟句酌。各家AI助手的"性格差异"，很大程度是奖励模型的口味差异——而裁判的口味，来自各家喂给它的人类偏好数据。

它也有副作用，最出名的是"谄媚"：如果裁判发现"顺着用户说的回答"总拿高分，AI就会学会拍马屁——你说地球是平的它也委婉附和。2026年各家都在修这个问题，但根治很难：讨人喜欢和坚持真理，天平不好端。

AI助手回答得体、懂分寸、不说车轱辘话，是奖励模型在训练时一遍遍打分打出来的习惯。

就是奖励模型的"谄媚"副作用：赞同用户的回答历史上得分更高。所以用AI验证观点时，最好让它"扮演反对者"专门挑错，别问"你觉得我说得对吗"。

经常出错。它只是人类偏好的统计学近似，会被套路骗（比如回答越长显得越认真就给高分）。所以训练流程里还要真人抽检兜底。