注意力机制（Attention）

AI知见编辑部 · 技术原理 · 持续更新

一句话说清

让AI读长句时知道"哪个词跟哪个词关系最大"的技术，2017年发明后改写了整个AI史。

大白话详解

读这句话："小明的狗咬了小红的猫，它现在很害怕。"你立刻知道"它"是猫不是狗——因为你会自动给句子里每个词分配注意力，掂量谁和谁有关系。2017年Google的论文《Attention Is All You Need》让AI学会了这一招：处理每个词时，都给其他所有词算一个"相关度得分"，重点关注得分高的。

这个机制有多重要？之前AI读长文的水平约等于金鱼——读到结尾忘了开头。有了注意力，AI才能写出前后呼应的长文、翻译时指代不混乱、聊天时记得你三分钟前说过的事。今天所有主流大模型，底层都是注意力机制堆起来的。

它也有代价：文章越长，每个词要计算的"相关度"就呈平方级暴涨——长度翻倍，算力翻四倍。这就是为什么超长上下文又贵又慢，也是各家研究"稀疏注意力"（只看重点词，不全都看）的原因。

跟你有什么关系

你问AI"我和朋友去的那家店怎么样"，它知道"那家店"指的是上文提过的餐厅——靠的就是注意力。

相关入口：Transformer · 大语言模型

大家常问

注意力机制是AI在"专心"吗？

只是数学上的加权计算，跟人的专心完全不同。它没有意识，只是在算"哪些词对理解当前词最有用"的概率。

我需要懂这个吗？

不用懂原理，但它解释了一个现象：为什么AI处理超长文档又贵又慢。下次丢百页PDF给AI转圈圈时，你知道它在疯狂算注意力。

下一步做什么

看一篇实战教程 · 去提示词库抄一条直接用 · 去AI实验室亲手验证