预训练（Pre-training）

AI知见编辑部 · 技术原理 · 持续更新

一句话说清

预训练就是让AI先读海量资料打基础，好比上学前先学认字，之后学新东西更快。

预训练就像教小孩读书前先让他看很多书。AI先被喂进大量文章、对话、网页，自己琢磨出词语怎么搭配、句子怎么组织。这个过程不教具体答案，就是让它混个脸熟，形成语感。比如它见过无数遍“猫”和“抓老鼠”连在一起，以后你问它猫爱干嘛，它就能顺口答出来。

打个比方：你学做菜，先看遍菜谱视频，记住火候、调料常识，这叫预训练。之后你学做新菜，上手就快。AI也一样，先通过海量文本学会语言规律，再被调教去干具体任务，比如写诗、客服。没有预训练，它就像没上过学的人，啥都得从零教，笨得不行。

常见误解是预训练让AI“懂”了世界。其实它只是统计词语搭配，像鹦鹉学舌，不懂背后意思。所以它可能一本正经胡说八道。另外，预训练数据里若有偏见，它也会学来，比如性别刻板印象。所以用AI时，别把它的输出当权威，要自己判断。

你用的聊天机器人、翻译软件都靠它。它让AI更懂人话，但也会学坏，所以别全信它说的。

预训练是让AI读海量书打底子，微调是拿少量专门资料教它做特定活。好比先上通识课，再上专业选修课。

不用懂细节，但知道它能让AI更聪明，也可能学坏。用它时留个心眼，别全信，尤其涉及健康、钱的事。