人类反馈强化学习（RLHF）

AI知见编辑部 · 技术原理 · 持续更新

一句话说清

让AI照着人类喜好学规矩，像老师批改作业一样调教它。

想象你教小孩说话：他乱说时你皱眉，说得好时你点头。AI也是这样，先让它乱试，再让人类打分——好的点赞，差的踩。AI就慢慢学会哪些话讨人喜欢，哪些话招人烦。这个过程就叫人类反馈强化学习，简称RLHF。

它分三步：先让AI瞎聊，再找一群人给回答排序（比如“这个比那个好”），最后AI根据排序调整自己的行为。就像厨师做菜，顾客说“太咸了”，下次就少放盐。普通人不用懂技术，但知道这个原理，就能理解为什么AI有时像“读心术”，有时又固执己见。

常见误解是“AI自己变聪明了”。其实RLHF就像给AI戴了个“人类喜好滤镜”，它本身不会思考，只是学会了迎合。另外，这滤镜也有偏差——打分的人觉得好，不代表所有人都觉得好，所以AI有时会显得“政治正确”或“老好人”。

你用的聊天机器人、推荐内容，背后都有它调教，让回答更合你心意。

普通训练是让AI学知识，RLHF是教它学规矩。就像学生学课本（普通），再学礼貌（RLHF）。

不用懂技术，但知道它能让AI更贴心，也会带着人类的偏见，用起来心里有数。