模型蒸馏（Distillation）

AI知见编辑部 · 技术原理 · 持续更新

一句话说清

让小模型"拜师"大模型学本事，体积变小、速度变快、成本变低。

大白话详解

想象一下，一位特级教师教了三十年书，脑子里全是解题套路。现在要把他的经验传给新老师，但新老师不可能马上教三十年书，怎么办？就让特级教师把典型题目和标准答案整理成一本精华讲义，新老师照着讲义反复练，很快也能教得像模像样。模型蒸馏就是这个道理：大模型（老师）先回答海量问题，把答案和思路变成‘讲义’（数据），小模型（学生）专门学这些数据，最后小模型的本事能接近大模型，但体积小、跑得快。

为什么要这么麻烦？因为大模型太‘重’了，像要一间机房才能运行的超级电脑。可你手机里装不下机房，只能装小模型。蒸馏就是让小模型‘偷师’，把大模型的聪明劲儿学走七八成，但只占十分之一的‘体重’。比如你手机里打字预测、语音转文字，都是小模型在干活，它们就是被大模型‘教’出来的。

有人以为蒸馏是直接复制大模型，其实不是。大模型就像一本百科全书，小模型是背过重点的考生——它只记关键结论，不记所有细节。所以蒸馏后的小模型可能答不出特别冷门的问题，但常见问题基本能应付。也别担心它会‘教坏’学生——老师自己也会出错，所以小模型偶尔犯傻，多半是老师教的时候就有偏差，这倒是没法完全避免的。

跟你有什么关系

这就是为什么AI越来越便宜——你用的免费额度背后，多半是蒸馏过的轻量模型。

大家常问

蒸馏和剪枝有什么区别？

剪枝是给大模型‘减肥’，砍掉不重要的部分；蒸馏是‘拜师学艺’，让小模型从头学大模型的本事。一个动刀，一个重教。

普通人需要懂蒸馏吗？

不用懂细节。你只需要知道：手机里的AI能又快又省电，多亏了蒸馏。哪天你离线用语音助手，心里默默感谢一下这技术就行。

下一步做什么

看一篇实战教程 · 去提示词库抄一条直接用 · 去AI实验室亲手验证