Transformer在大模型领域取得巨大成功其核心在于强大的注意力模块。本文深入解析注意力分数计算原理通过实例说明Query、Key、Value矩阵如何捕捉单词间关系并解释点积如何反映单词相似度。文章旨在帮助初学者理解Transformer为何如此强大适合对深度学习和自然语言处理感兴趣的小白和程序员。这篇文章主要是讲解注意力分数计算是如何捕捉序列中单词之间关系的。过去几年里Transformer 席卷了整个自然语言处理NLP和大语言模型领域并且取得了成功。Transformer 的强大能力源自注意力模块。它之所以能如此出色是因为能够捕捉序列中每个单词与其他所有单词之间的关系。但最关键的问题是它究竟是如何做到这一点的在本文中我将尝试回答这个问题并理解它为什么要进行这样的计算。我的 Transformer 系列还有另外几篇文章。在那些文章里我们学习了 Transformer 架构并一步步梳理了它们在训练和推理阶段的运行过程。我们还深入底层详细理解了它们的具体工作原理。[通俗易懂的 Transformer 入门文章第一部分功能概述][通俗易懂的 Transformer 入门文章第二部分工作原理分步拆解][通俗易懂的 Transformer 入门文章第三部分多头注意力深度剖析]我们的目标是不仅弄懂一个东西如何运行更要明白它为什么这样运行。系列文章概览功能概览Transformer 的使用方式、为何优于 RNN、架构组成以及在训练和推理中的表现工作原理端到端内部运行机制数据如何流动、执行哪些计算包含矩阵表示多头注意力Transformer 中注意力模块的内部细节要理解 Transformer 的核心原理我们必须聚焦于注意力机制。我们先从它的输入开始再看它如何处理这些输入。输入序列如何进入注意力模块注意力模块既存在于编码器栈的每一个编码器中也存在于解码器栈的每一个解码器中。我们首先聚焦编码器的注意力。举个例子假设我们要做英语到西班牙语的翻译任务其中一个样本的源序列是“The ball is blue”这个球是蓝色的。对应的目标序列是“La bola es azul”。源序列首先会经过嵌入层Embedding和位置编码层Position Encoding为序列中的每个单词生成嵌入向量。这些嵌入向量会被送入编码器首先到达注意力模块。在注意力模块内部嵌入后的序列会经过三个线性层生成三个独立的矩阵 —— 也就是我们所说的查询Query、键Key和值Value。这三个矩阵被用来计算注意力分数。需要重点记住的是这些矩阵中的每一行都对应源序列中的一个单词。每一行输入都对应序列中的一个单词想要理解注意力机制的原理我们可以从源序列里的单个单词出发跟随它在 Transformer 中的流动路径来学习。特别地我会把重点放在注意力模块内部到底发生了什么。这能帮我们清晰地看到源序列和目标序列里的每个单词是如何与其他单词产生交互的。所以在接下来的讲解中请把注意力放在每个单词上执行了什么操作以及每个向量如何对应回原始输入单词。我们暂时不用关心其他细节比如矩阵形状、具体数值计算、多头注意力等 —— 只要这些细节和单个单词的流向没有直接关系就可以先放一放。为了简化讲解和可视化我们先忽略嵌入维度只跟踪每个单词对应的行。每个单词都会经过一系列可学习的变换每一行都由其对应的源单词通过一系列变换生成 —— 包括嵌入、位置编码和线性层。所有这些变换都是可训练的操作。这意味着这些操作中使用的权重不是预先设定的而是由模型自主学习得到的从而使其能够生成预期的输出预测。关键问题在于Transformer 是如何找到能带来最佳效果的权重组合的你可以先把这个问题记在心里我们稍后会再回到这里。注意力分数 —— 查询词与键词之间的点积注意力机制会执行多个步骤但在这里我们只关注线性层和注意力分数。从公式中可以看到注意力机制的第一步是对 QueryQ矩阵 与 KeyK矩阵的转置 做矩阵乘法也就是点积。我们来观察每个单词会发生什么变化。我们会得到一个中间矩阵可以称它为 “关联因子” 矩阵矩阵中的每个元素都来自两个单词向量之间的矩阵乘法。例如第四行中的每一列都对应着 第四个查询词Query word与每一个键词Key word之间的点积。注意力分数 —— 查询 - 键与值词之间的点积下一步是将这个中间的 “因子” 矩阵与值V矩阵进行矩阵乘法从而得到注意力模块输出的注意力分数。在这里我们可以看到第四行对应着第四个查询词与其他所有键词和值词相乘后的结果。这就生成了由注意力模块输出的注意力分数向量Z。我们可以这样理解输出的分数对于每个单词而言它是值Value矩阵中所有单词的编码信息再通过关联因子factor矩阵进行加权后得到的结果。而这个关联因子矩阵正是当前单词的查询Query向量与所有单词的键Key向量之间的点积。Query查询、Key键和 Value值分别起到什么作用我们可以这样理解Query查询词代表我们正在为其计算注意力的那个单词。Key键和 Value值词代表我们正在关注的单词也就是判断这个单词与查询词的相关程度有多高。例如对于句子 “The ball is blue”单词 “blue” 所在的行会包含 “blue” 与其他所有单词之间的注意力分数。在这里“blue” 是 Query查询词而其他单词则是 Key/Value键 / 值。过程中还会执行其他操作比如除法和 Softmax但在本文中我们可以忽略它们。这些操作只会改变矩阵中的数值大小不会影响矩阵中每个单词所在行的位置也不涉及任何单词之间的交互关系。点积反映单词之间的相似度我们已经看到注意力分数通过点积计算再进行加权求和捕捉了某个单词与句子中其他所有单词之间的关联。但矩阵乘法究竟是如何帮助 Transformer 判断两个单词之间的相关程度的要理解这一点只需记住Query、Key、Value 对应的行实际上都是具有嵌入维度的向量。我们来仔细看看这些向量之间的矩阵乘法是如何计算的。当我们对两个向量做点积时我们把对应位置的数字两两相乘然后把结果相加。如果一对数字比如上面的 a 和 d同为正或同为负乘积就是正数会让最终的总和变大。如果一个为正、一个为负乘积就是负数会让最终的总和变小。如果乘积为正两个数字越大对总和的贡献就越大。这意味着如果两个向量中对应位置的符号方向一致最终的和就会更大。Transformer 是如何学习单词之间的相关性的点积的这个性质同样适用于注意力分数。两个单词的向量方向越一致注意力分数就越高。那么我们希望 Transformer 表现出什么样的行为我们希望句子中彼此相关的两个词注意力分数高。彼此不相关的两个词注意力分数低。例如对于句子The black cat drank the milk那只黑猫喝了牛奶milk牛奶 和 drank喝 非常相关和 cat猫 相关性稍弱和 black黑色 几乎无关我们希望milk 和 drank 得到很高的注意力分数milk 和 cat 得到稍低的分数milk 和 black 得到几乎可以忽略的分数这就是我们希望模型学会输出的结果。要实现这一点milk 和 drank 的向量必须方向一致milk 和 cat 的向量会略有差异milk 和 black 的向量会差异很大回到我们之前放在心里的那个问题Transformer 是如何找到能带来最佳效果的权重的单词向量是基于词嵌入和线性层权重生成的。因此Transformer 可以学习这些嵌入和权重从而生成符合上面要求的单词向量。换句话说它会这样学习如果句子中两个词相关就让它们的向量方向一致从而得到更高的注意力分数。如果两个词不相关就让它们的向量方向不一致从而得到更低的注意力分数。因此milk 和 drank 的向量会非常一致分数很高milk 和 cat 的向量略有差异分数稍低milk 和 black 的向量差异很大分数很低这就是注意力模块背后的核心原理。总结 —— 是什么让 Transformer 如此强大Query 和 Key 之间的点积计算出每一对单词之间的相关程度。这个相关程度被当作一个权重因子用来对所有 Value 单词做加权求和。这个加权和就是输出的注意力分数。Transformer 会学习词嵌入等参数让相关的单词向量方向更一致。这也是引入三个线性层、把输入序列变成 Query、Key、Value 三种形式的原因之一给注意力模块更多可学习的参数用来精细调整单词向量的生成。Transformer 中的编码器自注意力注意力机制在 Transformer 中有三处使用编码器自注意力—— 源序列关注自身解码器自注意力 —— 目标序列关注自身解码器中的编码器 - 解码器注意力 —— 目标序列关注源序列在编码器自注意力中我们计算源句子中每个单词与源句子中其他所有单词的相关程度。这一过程会在编码器层叠中的所有编码器里执行。Transformer 中的解码器自注意力我们刚才在编码器自注意力中看到的大部分原理同样适用于解码器中的注意力只有少量但非常关键的区别。在解码器自注意力中我们计算目标句子里每个单词与目标句子中其他所有单词之间的相关程度。Transformer 中的编码器‑解码器注意力在编码器‑解码器注意力中查询Query 来自目标句子键 / 值Key/Value来自源句子因此它计算的是目标句子中的每个单词与源句子中的每个单词之间的相关程度。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取