注意力机制（Attention Mechanism）

注意力机制是深度学习中的一种技术最早在2014-2015年提出后因2017年论文《Attention Is All You Need》Transformer架构而广为人知。 核心思想让模型学会关注真正重要的部分。就像人类阅读时会重点关注某些词一样注意力机制让神经网络能够自动判断输入的各个部分有多重要并据此分配不同的权重。 简单类比假设翻译一句话The cat sat on the mat传统方法一次性看完整个句子再翻译。注意力机制翻译每个词时动态地看一眼最相关的词。比如翻译 sat 时模型会特别关注 cat谁坐和 mat坐在哪。 工作原理计算相关性对当前位置的输出计算与所有输入位置的相关性分数Query-Key匹配Softmax 归一化把分数转成0-1之间的概率权重加权求和用这些权重对所有位置的值Value进行加权平均 为什么重要传统问题注意力机制解决长序列难捕捉依赖直接建立任意位置的联系信息被稀释重要信息获得更高权重难以并行大幅提升并行计算效率 应用场景自然语言处理机器翻译、文本生成、问答系统计算机视觉图像描述、目标检测、图像分割多模态图文匹配、视觉问答语音识别声学模型推荐系统用户行为序列建模 一句话总结注意力机制让模型能够有选择性地关注输入中最相关的信息而不是平等地处理所有内容。