分词器（Tokenizer）

AI知见编辑部 · 技术原理 · 持续更新

一句话说清

AI读你输入之前的"切菜工"：把一句话切成它能处理的小块，切法直接影响理解力和账单。

AI不认识字，只认识编号。分词器的工作就是把"今天天气不错"翻译成一串编号——先按规则切成"今天/天气/不错"这样的小块，每块查表换成数字。怎么切是分词器自己学的：高频组合切成大块（"人工智能"一块），生僻组合切成小碎块（一个生僻字可能碎成三四块）。

切法差异带来真实的经济后果：对中文优化好的分词器，一个汉字平均不到一个Token；优化差的，一个汉字可能要两三个Token。同样是一篇万字文档，在不同模型上的计费量能差出百分之几十。国产模型在中文分词上普遍有主场优势。

它还解释了一些AI的"智障时刻"：数不对单词里有几个字母（因为字母被切碎了它看不见整体）、处理特殊符号出错、超长数字算错——都是切菜的锅。遇到这类问题，把内容换成引号包起来、或让AI逐个字符处理，往往能救回来。

同一个句子，不同AI切出的Token数能差20%——这就是为什么各家API"同样一千万Token"实际耐用程度不同。

因为分词器把它切成了碎片，AI看到的是几个编号而不是一个个字母。让它先把单词拆成字母再数，就能数对了。

中文经验值：1个汉字约0.5到1个Token（国产模型偏下限）。英文约4个字符一个Token。精确值用各家官方提供的计算工具。