DPO直接偏好优化（DPO）

AI知见编辑部 · 技术原理 · 持续更新

一句话说清

教AI"什么样的回答更招人喜欢"的训练方法：直接拿"好答案vs差答案"对比学习，比上一代方法简单又稳定。

训练AI说话得体，像教小孩餐桌礼仪。上一代方法（RLHF）是请个严厉的礼仪教练住家里，随时打分随时纠正——有效但折腾，教练自己还可能偏心。DPO换了个思路：不请教练，直接给孩子看对比示范——"这个回答好，那个回答差，为什么差自己体会"。孩子从对比里自己悟。

技术上它把复杂的三阶段流程（训练奖励模型、强化学习优化）简化成一次直接学习，训练更稳、更便宜。2023年提出后迅速普及，现在大多数开源模型的"调教"环节都在用它或它的变种。

它解释了为什么不同AI"性格"不同：字节给豆包喂的偏好数据偏向热情健谈，月之暗面给Kimi喂的偏向严谨克制。你感觉到的"AI脾气"，就是各家偏好数据的口味。

你的AI助手说话越来越像人、越来越懂分寸，很大程度是DPO这类方法的功劳。

各有胜负。DPO简单稳定成本低，RLHF上限更高但难伺候。2026年的现实是：大厂两条路都在走，开源社区偏爱DPO系。

直接影响没有，但它帮你理解一件事：AI的"风格"不是天生的，是被偏好数据喂出来的。所以同一个问题，换个AI问往往有惊喜。