目录核心心智模型分词Tokenization与 Embedding位置编码RoPESelf-AttentionTransformer 的核心机制Causal Attention生成能力从哪里来多头注意力及其变体Transformer Block模型的基础积木前馈网络与 SwiGLU训练从数据到智能微调与对齐把模型塑形成产品参数高效微调更省资源地训练量化让模型真正可部署推理系统真正跑起来的地方解码策略推理模型为什么更会“想”训练工具与实战技术栈工程师该用什么真正重要的工程洞察最终心智模型结语核心心智模型先说核心LLM 说白了就做一件事——根据前文预测下一个 token其他一切都是围绕让这个预测更准、更快、更有用来设计的。流程是这样的文本 → Token → Embedding → Transformer → 概率 → Token分词Tokenization与 Embedding在内容进入模型之前文本首先被转换为 token。Token 是用整数 ID 表示的子词或字符。Token 再被映射为 embedding即稠密向量。这些向量承载语义信息是模型的真实输入。从工程角度看Token 数量直接影响成本和延迟更好的分词方式能提升代码和推理任务的表现位置编码RoPETransformer 默认不理解顺序。如果打乱词语顺序模型没有位置信息的话会一视同仁。RoPE旋转位置编码Rotary Positional Encoding通过在向量空间中旋转来编码相对位置解决了这个问题。它不是把位置作为单独信号添加进去而是让 embedding 向量根据位置发生旋转。为什么这很重要能够捕捉 token 之间的距离关系对长上下文有更好的泛化能力被 LLaMA 等现代模型采用**工程洞察**RoPE 让模型理解的是 token 有多远而不只是它们的绝对位置。Self-AttentionTransformer 的核心机制每个 token 都会查看其他所有 token然后决定哪些是重要的。数学上Attention 计算 token 之间的相似度并用这个相似度来聚合信息。直观的理解**Query查询**问一个问题**Key键**每个 token 包含什么信息**Value值**实际要用的信息模型计算每个 token 应该关注其他 token 多少然后聚合相关信息。Causal Attention生成能力从哪里来在生成任务中模型不应该看到未来的内容。Causal Attention因果注意力确保每个 token 只能看到之前的 token。这使得模型成为自回归的即一次生成一个 token。没有因果掩码的话模型会作弊偷看后面的内容。多头注意力及其变体不用单一注意力机制Transformer 用的是多头注意力。多头注意力MHAMulti Head Attention每个头学习不同的关系——句法、语义、长距离依赖。这提升了表示能力。多查询注意力MQAMulti Query Attention所有头共享 Keys 和 Values。好处是减少内存使用、加快推理。分组查询注意力GQAGrouped Query Attention头被分组每组共享 Keys 和 Values。在性能和效率之间取得平衡。从工程角度看MHA 强大但重量级MQA 和 GQA 是为生产优化的Transformer Block模型的基础积木Transformer 由多个 Block 堆叠而成。每个 Block 包含Attention 层前馈网络FFN残差连接层归一化流程输入 → Attention → 残差 → Norm → FFN → 残差 → Norm**残差连接**把层的输入加到输出上。这稳定了训练允许网络更深。**层归一化**把激活值归一化保持训练稳定。前馈网络与 SwiGLUAttention 之后每个 token 经过前馈网络。这里是每个 token 独立进行计算的地方。现代模型用 SwiGLU 激活函数替代 ReLU。为什么 SwiGLU 重要更好的梯度流动更好的表现更具表达力的变换从工程角度看Attention 负责收集信息FFN 负责处理信息。训练从数据到智能训练从预训练开始。预训练目标是预测下一个 token在海量数据集上用交叉熵损失来做。模型学到的是语言结构、事实、模式、基本推理。训练挑战包括分布式系统、GPU 利用率、数据质量、内存限制。更好的数据往往比更大的模型更重要。微调与对齐把模型塑形成产品预训练之后需要对模型进行塑形。监督微调SFTSupervised Fine Tuning在指令-响应对上训练。教的是格式、风格、行为。指令微调Instruction Tuning让模型接触多种任务提升泛化能力。对齐方法**RLHF**使用人类反馈和强化学习**DPO**直接学习偏好响应 vs 拒绝响应**GRPO**通过比较组内多个输出来学习核心观点对齐塑造行为不塑造知识。参数高效微调更省资源地训练全量微调成本很高。LoRA在冻结基础模型的同时添加小的可训练矩阵。好处低内存使用、快速训练。QLoRA结合 LoRA 和量化在小硬件上训练大模型。量化让模型真正可部署量化把精度降低来节省内存。格式有 FP16、INT8、INT4。好处是更低的内存占用、更快的推理。代价是轻微的精度损失。常用方法GPTQ、AWQ、QLoRA。量化对生产系统至关重要。推理系统真正跑起来的地方推理是所有东西跑起来的地方。循环输入 → 预测 token → 追加 → 重复KV Cache存储中间值以避免重复计算。减少计算但增加内存使用。FlashAttention通过减少内存移动来优化注意力计算。PagedAttention用固定大小的内存块管理 KV Cache。防止碎片化提升效率。连续批处理Continuous Batching动态处理请求最大化 GPU 利用率。投机解码Speculative Decoding用小模型来加速生成。解码策略模型输出概率解码策略把它们转换为 token。选项Greedy、Sampling、Top k、Top p、Temperature。这些控制创造性和确定性。推理模型为什么更会“想”推理模型生成中间步骤。技术思维链Chain of Thought、自洽性Self Consistency、工具使用Tool Use。权衡更好的准确性更高的成本和延迟。训练工具与实战技术栈工程师该用什么要作为工程师工作你需要工具。**Hugging Face**模型加载、训练 pipeline、数据集**Unsloth**更快的 LoRA 和 QLoRA 训练、更低的内存使用、优化内核**vLLM**高性能 LLM 推理、PagedAttention 高效管理 KV Cache、连续批处理更好吞吐、优化 GPU 利用率用于生产典型工作流加载基础模型应用 LoRA用 Unsloth 训练评估导出用于推理用 vLLM 部署真正重要的工程洞察构建 LLM 系统必须理解权衡准确性 vs 延迟内存 vs 速度成本 vs 质量大多数实际工作都是关于平衡这些。最终心智模型LLM 系统由多层组成模型层Attention、Transformer Block训练层预训练、微调、对齐系统层KV Cache、FlashAttention、PagedAttention、批处理优化层LoRA、量化作为工程师学习 LLM意味着超越理论。你需要理解Attention 如何工作模型如何训练行为如何对齐系统如何优化结语我最近在学习微调 LLM、分布式训练、推理模型和推理工程直到部署。后续文章会更多关于 LLM 工程和推理。我打算设计一个完整的 LLM 推理 pipeline 并在 公众号上更新。也许也不需要过于“神话”训练和推理过程也有ms-swift/VeRL这些套件就像Spring之于Java开发一样易用回头来发现最麻烦的其实是数据GPU可以租数据可租不来更买不了。2026年AI行业最大的机会毫无疑问就在应用层字节跳动已有7个团队全速布局Agent大模型岗位暴增69%年薪破百万腾讯、京东、百度开放招聘技术岗80%与AI相关……如今超过60%的企业都在推进AI产品落地而真正能交付项目的大模型应用开发工程师****却极度稀缺落地AI应用绝对不是写几个prompt调几个API就能搞定的企业真正需要的是能搞定这三项核心能力的人✅RAG融入外部信息修正模型输出给模型装靠谱大脑✅Agent智能体让AI自主干活通过工具调用Tools环境交互多步推理完成复杂任务。比如做智能客服等等……✅微调针对特定任务优化让模型适配业务目前脉脉上有超过1000家企业发布大模型相关岗位人工智能岗平均月薪7.8w实习生日薪高达4000远超其他行业收入水平技术的稀缺性才是你「值钱」的关键具备AI能力的程序员比传统开发高出不止一截有的人早就转行AI方向拿到百万年薪AI浪潮正在重构程序员的核心竞争力现在入场仍是最佳时机我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】⭐️从大模型微调到AI Agent智能体搭建剖析AI技术的应用场景用实战经验落地AI技术。从GPT到最火的开源模型让你从容面对AI技术革新大模型微调掌握主流大模型如DeepSeek、Qwen等的微调技术针对特定场景优化模型性能。学习如何利用领域数据如制造、医药、金融等进行模型定制提升任务准确性和效率。RAG应用开发深入理解检索增强生成Retrieval-Augmented Generation, RAG技术构建高效的知识检索与生成系统。应用于垂类场景如法律文档分析、医疗诊断辅助、金融报告生成等实现精准信息提取与内容生成。AI Agent智能体搭建学习如何设计和开发AI Agent实现多任务协同、自主决策和复杂问题解决。构建垂类场景下的智能助手如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等。如果你也有以下诉求快速链接产品/业务团队参与前沿项目构建技术壁垒从竞争者中脱颖而出避开35岁裁员危险期顺利拿下高薪岗迭代技术水平延长未来20年的新职业发展……那这节课你一定要来听因为留给普通程序员的时间真的不多了立即扫码即可免费预约「AI技术原理 实战应用 职业发展」「大模型应用开发实战公开课」还有靠谱的内推机会直聘权益完课后赠送大模型应用案例集、AI商业落地白皮书