模型跑通只是拿到了“准考证”真正的考试是性能对比。在“只做推理”的场景下性能优化本质上是一场关于资源调度的极致博弈。作为 FAE当你面对客户质疑“为什么国产卡跑得比 A100 慢”时你得拿出这三板斧。一、 算力 Gap别让芯片“空转”痛点国产芯片的峰值算力TFLOPS可能不差但由于算子发射开销大或利用率低导致实际推理速度慢。极致算子融合 (Kernel Fusion)NVIDIA 的生态极其成熟算子自动合并做得很好。在国产卡上我们需要手动或通过编译器指令把Add、ReLU、LayerNorm等碎片算子揉成一个大 Kernel。FAE 经验减少 Kernel Launch 的次数能显著降低推理延迟。低比特量化 (Quantization)既然不涉及训练我们要果断推行I N T 8 INT8INT8或F P 8 FP8FP8量化。我们要向客户证明通过平滑量化SmoothQuant等技术我们可以用极小的精度损失换取近 2 倍的吞吐量提升。二、 显存 Gap小池子里怎么游大鱼痛点显存容量虽大但如果显存分配机制Memory Management低效Batch Size 就开不起来。PagedAttention 移植这是目前大模型推理的“神技”。如果芯片自研框架原生支持不佳FAE 需要协助客户在推理引擎层实现类似 vLLM 的物理内存分页管理。核心目标将显存利用率从 60% 强行拉升到 90% 以上消灭显存碎片让 KV Cache 能够容纳更多的并发请求。显存带宽压榨推理是典型的“访存密集型”任务。检查模型权重在显存中的布局确保满足合并访问Coalesced Access的要求减少总线读取次数。三、 带宽 Gap打破集群通信的“肠梗阻”痛点单卡很强多卡联调就拉胯。国产卡往往没有 NVLink 那种恐怖的互联带宽卡间通信P2P成了瓶颈。通信与计算重叠 (Overlap)这是 FAE 的高级技巧。通过修改调度逻辑让下一层的计算在这一层的通信还没完全结束时就开始启动把通信时间“藏”进计算时间里。张量并行 (TP) 的优化策略如果机间带宽网卡慢就尽量增加机内张量并行如果机内互联也一般尝试调整为流水线并行 (PP)减少每一步传输的数据量。拓扑感知调度别乱插卡根据芯片厂商提供的 HCCS 或 PCIe 拓扑结构重新分配进程 Rank确保数据走的是最短路径。四、 性能调优的“金字塔”法则在现场调优时FAE 遵循的优先级顺序通信瓶颈解了它性能可能直接翻倍。访存瓶颈解决显存带宽利用率性能提升 30%-50%。计算瓶颈最难啃的硬骨头通常通过算子深度优化获得 10%-20% 的收益。 FAE 手记“性能优化是一场平衡的艺术。”客户总是想要“全都要”但 FAE 的职责是告诉他在国产芯片目前的阶段我们是通过牺牲一点显存换取带宽还是牺牲一点精度换取延迟。记住最好的优化是让客户在实际业务感知中察觉不到他在用哪家的卡。只要 Batch Size 够大响应够稳客户就不会再盯着那点 TFLOPS 的差距。下一篇预告《国产替代实战系列四交付节奏——这段时间大概会做什么》。我们将聊聊如何管理客户的耐心以及那个神秘的“最佳交付时间”。