模型推理（Inference）

AI知见编辑部 · 技术原理 · 持续更新

一句话说清

模型训练完成后"实际干活"的阶段——你每次提问，它都在做推理。

训练是一次性的"学习"过程（烧掉几千万美元算力），推理是之后每次使用的"思考"过程。一个模型训练一次，推理亿次。所以你用AI的每一笔开销，本质都是推理成本：GPU时间+电费。

这也解释了行业趋势：各家拼命把推理成本打下来（模型蒸馏、量化、MoE架构都是为此），所以API价格两年降了90%以上。AI会越来越便宜，这是推理优化的直接红利。

你感觉到AI"变慢了"，就是推理算力紧张；API按token计费，付的其实就是推理的钱。训练和推理是两回事，别搞混。