前面我们讲解了从宏观到具体场景落地一个情感聊天机器人但是如果你希望在大模型时代成为系统架构师而非“工具使用者”的开发者仅仅停留在会用的阶段是远远不够的。当你面对生成内容偏离预期、响应速度缓慢、上下文理解混乱等问题时你是只能反复调整提示词碰运气还是能够深入分析其背后的原因——是模型注意力机制未能捕捉关键信息是位置编码导致长文本失效还是解码策略引入了不必要的随机性走进其最核心的神经网络架构——Transformer并揭示它如何实现令人惊叹的文本生成能力。从RNN到Transformer循环神经网络在Transformer诞生之前业界主流的语言模型主要是RNN循环神经网络RNN的核心思想是通过循环连接建模序列数据的时序依赖。RNN在每个时间步接收当前输入与前一时间步的隐状态经计算后输出当前隐状态与结果。其中隐状态本质是对历史信息的编码向量用于捕捉序列中的时间上下文关联。在Transformer出现之前处理语言任务的主流模型是循环神经网络RNN及其变体LSTM/GRU。它们像一位逐字阅读的学生每读一个词更新一次记忆理论上可以记住前面所有内容。编解码架构RNN循环神经网络的问题顺序依赖必须按顺序处理每个词无法并行计算训练极慢。长程遗忘超过几十个词后早期信息几乎完全丢失。难以捕捉远距离依赖比如句子开头的主语和结尾的谓语之间关系微弱。编码-解码包括一个编码器Encoder和一个解码器Decoder用于将源语言编码为固定长度的向量表示包含语义和上下文信息并从该向量表示解码成目标语言。2017年Google提出了Transformer架构彻底改变了这一局面。它的核心思想是抛弃循环结构完全依靠“注意力机制”来建模词与词之间的关系。其面临一个关键问题如何捕捉序列中的位置信息。为解决这一问题Transformer在嵌入层之后引入了位置编码。编码器与解码器的核心组件是多头自注意力机制Multi-Head Self-Attention。其中自注意力机制让序列中每个位置的表示都能够直接聚焦于其他所有位置的信息极大提升了信息交互效率。而多头注意力机制更进一步通过并行运算多个注意力头每个头独立计算各自的注意力输出得以捕捉输入序列中不同位置间丰富多样的依赖关系从而全面且深入地挖掘序列数据中的关键信息。并行化训练所有词可同时输入极大提升训练效率。全局依赖建模任意两个词之间都能直接建立联系无论相隔多远。可扩展性强易于堆叠多层支撑千亿参数模型。Transformer编码器-解码器架构解析输入表示词是如何被数字化的第一步Tokenization分词首先将句子切分成基本单元token。例如“我喜欢学习AI。”→ 分词结果[“我”, “喜欢”, “学习”, “AI”, “。”]每个token会被映射到一个唯一的ID如“AI”→1024。第二步词嵌入Word Embedding每个token ID通过查表转换为一个高维向量如768维这个向量蕴含语义信息。例如“国王”和“王后”的向量距离较近。第三步位置编码Positional Encoding由于Transformer没有顺序处理机制必须显式告诉模型“这个词在第几位”。于是引入位置编码——一种基于正弦函数的固定模式加到词向量上使模型能感知词序。核心引擎自注意机制自注意力机制Self-Attention是一种让每个词根据上下文来动态调整它的自身表示即向量的机制。即对于每个词会根据与上下文其他词的相关性来重新计算以得到新的向量表示。这样能帮助神经网络模型更好地捕捉到词与词之间的动态紧密关系从而实现更准确的预测输出。简单说就是让句子中的每个词去关注其他所有词并根据相关性分配“注意力权重”。生成Q、K、V向量。每个词的向量分别乘以三个不同的权重矩阵得到Query查询我想找什么Key键我代表什么Value值我提供什么信息计算注意力分数。用Query与所有Key做点积得到匹配度分数再通过Softmax归一化为概率分布。加权求和Value。用上述权重对所有Value加权求和得到该词的新表示——这个新向量融合了上下文中最相关的信息。在每个注意力层之后还有一个前馈神经网络FFN负责进一步非线性变换增强模型表达能力。残差网络简称ResNet是深度学习模型中的一种于2015年由微软的何凯明提出。如图4-8所示其核心在于让网络的每一层不直接学习预期的输出而是学习与输入之间的残差关系这一设计使得拥有几十上百层的深度学习模型更加容易训练增加模型深度的同时还能保持甚至提高准确度。此外Transformer大量使用残差连接Residual Connection 和层归一化Layer Normalization防止深层网络训练崩溃。在自注意力机制中掩码Mask的作用是确保模型在处理序列数据时只关注到当前位置之前的元素而不能看到当前位置之后的元素。这种机制对于保持模型的合理性和预测的准确性至关重要。解码器也有自注意力层但它必须遵守一个规则在生成第t个词时只能看到前t-1个词不能偷看未来。为此Transformer在解码器的自注意力中加入了掩码Masking——将未来的词屏蔽掉确保生成过程是自回归的。同时解码器还有一个“编码器-解码器注意力”层用于关注输入句子的关键信息在对话模型中作用较小。文本生成机制从概率到连贯语言生成流程大语言模型的生成机制可以概括为以下流程输入 (Prompt) → Tokenization (词元化) → Embeddings (向量化) → [循环处理块Self-Attention (上下文理解) Feed-Forward Network (信息处理)] → 输出一个概率分布 → Decoding/Sampling (选择一个词) → 将新词加入输入序列 → 重复循环。解码策略决定生成风格的关键为了让生成内容更有创造性和多样性我们可以在概率分布中引入随机性。这里介绍两种采样策略。先来看Top-K 采样。在所有词元中只考虑概率最高的 K 个然后在这 K 个词元中按照它们的相对概率进行随机采样。优点是限制了采样范围避免了选中那些非常不靠谱的低概率词元。另一种策略是Top-P (Nucleus) 采样这是一种更动态的策略。从概率最高的词元开始不断累加它们的概率直到总和超过一个预设的阈值 P例如 0.95。然后模型只从这个概率总和超过 P 的核心词元集合Nucleus中进行采样。它的优点是采样集合的大小是动态的。当模型非常确定下一个词时例如“I love”之后很可能是“you”这个集合会很小当模型不确定时在一个开放式问题的开头集合会很大允许更多探索。这通常被认为是效果最好的采样策略之一。a温度温度 (Temperature) 采样是一个调节参数。高温1 会让原始概率分布变得更平缓使得低概率词元更容易被选中结果更具创造性、随机性但也可能出现更多错误和胡言乱语。低温1 则让概率分布更尖锐高概率词元更容易被选中结果更接近贪心搜索更保守、确定。Temperature0 就等同于贪心搜索。温度参数控制了输出的“随机性”程度。低温如0.1模型更保守倾向于选择最高概率词 → 输出稳定但呆板高温如1.5模型更大胆低概率词也有机会被选中 → 输出有创意但可能出错开发者如何利用这些知识优化提示词工程优化提示工程的首要原则是清晰、具体并提供上下文。应使用明确的动作动词直接表达需求避免模糊指令并详细说明输出的内容、结构、格式和质量要求。同时解释任务的目的、受众或限制原因有助于模型更准确地理解意图生成贴合实际需要的响应。进阶技巧包括使用示例、授权不确定性、引导推理过程和设定角色。通过提供一个或多个输出范例one-shot/few-shot可以高效传达风格或格式要求允许模型在信息不足时承认“不知道”可减少幻觉加入“请一步步思考”等链式思维提示能提升复杂任务的表现而指定角色如“作为心理咨询师”则可调整语气与专业深度。对于复杂任务应采用多步骤拆解与结构化输出策略。将大目标分解为若干小步骤依次执行并明确要求返回如 JSON、表格等机器可读格式不仅提高结果质量也便于后续处理。同时清晰设定边界——说明哪些内容不应出现——与说明目标同样重要。最后提示工程是一个持续迭代的过程需避免常见陷阱如过度复杂、隐含假设或矛盾指令。建议从简单提示开始通过评估结果不断优化建立有效提示库并结合具体领域如代码、内容、数据分析调整策略从而系统性提升 AI 协作效率与输出质量。合理管理上下文在构建基于大语言模型的智能体或对话系统时上下文管理已成为决定性能与可靠性的关键环节。尽管现代模型支持数十万甚至百万 token 的上下文窗口但“注意力预算”有限、长上下文检索能力衰减、计算成本高昂等问题依然存在。因此如何在有限资源下高效组织和利用上下文信息成为上下文工程Context Engineering的核心课题。上下文裁剪当对话历史或输入文本逼近模型 token 上限时最直接的方法是裁剪Truncation。然而简单地截断开头或结尾往往会导致关键信息丢失。优化做法包括以下几种。优先保留最近几轮交互通常包含最新意图。识别并保留包含任务目标、约束条件或用户身份的关键语句。避免删除工具调用结果或错误反馈等对后续决策至关重要的内容。滑动窗口滑动窗口策略通过维护一个固定长度的上下文“窗口”随对话推进不断更新内容。这种方法特别适用于实时对话场景。典型实现仅保留最近 N 轮对话如最后5轮。结合时间戳或对话轮次编号确保逻辑连贯性。局限与应对可能丢失早期设定的目标如“帮我写一篇关于气候变化的科普文章”。建议将初始任务描述单独缓存并在每轮提示中显式重申。滑动窗口虽简单但需辅以任务锚点机制防止“记忆漂移”。摘要压缩当上下文过长时可引入摘要压缩Summarization技术将多轮对话或长文档提炼为简洁语义表示。应用场景示例如下。将10轮客服对话总结为“用户反馈订单#12345未收到要求加急处理偏好电话联系。”在代码 Agent 中将之前的调试过程压缩为“已尝试方案A失败错误为Timeout当前聚焦于优化数据库连接池。”实施建议使用专门的压缩提示词要求模型保留决策依据、未解决问题和关键结论。先追求高召回率不漏信息再迭代提升准确性去冗余。压缩后的新上下文应作为“记忆锚点”与最新交互共同构成完整状态。摘要压缩本质上是一种有损但可控的信息编码是突破上下文窗口限制的第一道防线。关键信息提取相比全文保留更高效的方式是从上下文中提取结构化关键信息如实体、意图、偏好、状态变量等。实现路径包括这样几种。利用命名实体识别NER或小模型抽取时间、地点、人物、金额等。将用户偏好如“只看经济舱”“避免周末出行”存入外部状态变量。在每次调用 LLM 前将这些结构化数据注入系统提示词。这样做的优势是极大节省 token 消耗提升模型对约束条件的理解一致性而且容易与业务系统集成如 CRM、订单系统。这种“语义蒸馏”策略让上下文从“文本堆砌”走向“知识驱动”。分层记忆机制短期记忆当前会话的上下文直接放入 prompt。长期记忆通过向量数据库或文件系统持久化存储的历史笔记、用户画像、项目进展等。典型模式Agent 定期生成 NOTES.md 文件记录待办事项、架构决策或实验结果。下次启动时通过检索相关笔记重新加载上下文。支持“渐进式信息披露”——Agent 按需查询记忆而非一次性加载全部。调优生成参数客服机器人通过低温度 贪婪搜索 确保准确性和一致性。创意助手利用高温度 Top-p采样组合来激发灵感。教育陪练利用中等温度 Beam Search的组合平衡规范与引导。诊断生成问题输出重复注意力分散或解码策略不当当模型生成的文本出现连续重复的短语、句子甚至段落时通常反映出以下两种潜在原因。第一注意力机制失效或分散。在长序列生成过程中模型可能未能有效聚焦于关键上下文信息导致反复回溯并复述已有内容。第二解码策略参数设置不合理。例如在使用采样sampling方法时若“温度”temperature参数过低模型倾向于选择高概率词缺乏探索能力若同时缺乏重复惩罚机制就容易在局部高概率路径上反复循环导致输出重复。优化建议降低温度参数将 temperature 值调低如从 1.0 降至 0.7 或更低可使模型输出更加确定性和连贯减少随机跳跃带来的重复。启用重复惩罚机制大多数现代推理框架支持如 repetition_penalty 或 no_repeat_ngram_size 等参数。启用这些功能可有效阻止模型重复生成相同 n-gram 片段。结合束搜索beam search与惩罚策略在需要高质量输出的场景中可采用带重复惩罚的束搜索平衡多样性与一致性。内容偏离主题上下文过载或关键信息未被关注当生成内容逐渐偏离原始话题甚至引入无关信息时往往说明模型未能准确捕捉用户意图或上下文重点。常见诱因包括输入上下文过长随着上下文长度增加模型注意力可能被稀释难以识别核心指令或关键实体。提示结构不清晰模糊、冗长或缺乏明确目标的提示prompt会使模型难以聚焦从而自由发挥导致跑题。优化建议重构提示语采用“角色任务约束”结构化提示方式例如“你是一位科技记者请用300字总结量子计算的最新进展避免提及历史背景。”缩短或分段输入对于超长对话或文档摘要任务可将上下文切分为逻辑段落分步引导模型生成避免一次性输入过多信息。显式强调关键信息在提示中使用加粗、引号或重复关键词等方式突出核心主题帮助模型锚定焦点。