1. 大语言模型解码的瓶颈与挑战大语言模型(LLM)的解码阶段占整个推理过程96%以上的时间消耗这个阶段的性能优化直接决定了实际应用中的用户体验和硬件利用率。传统串行解码方式需要逐token生成输出每次迭代都要重新加载庞大的权重矩阵和KV缓存导致严重的内存墙问题。1.1 计算与内存的跷跷板效应在解码过程中全连接层(FC)和注意力层的计算特性呈现明显差异全连接层计算模式为矩阵-向量乘法(GEMV)当批处理大小(batch size)增加时算术强度(arithmetic intensity)线性增长可能从内存密集型转变为计算密集型注意力层无论批处理大小如何变化其算术强度保持相对稳定始终是内存密集型操作这种动态特性使得静态资源分配方案陷入两难境地。以GPT-3 175B模型为例当批处理大小为4时FC层的算术强度仅为31.7 FLOPs/Byte属于典型的内存密集型但当批处理增大到32时其算术强度跃升至253.6 FLOPs/Byte转变为计算密集型。1.2 并行解码的动态特性现代LLM服务系统采用两种主要并行技术来加速解码批处理(batching)同时处理多个用户请求实现请求级并行(RLP)推测解码(speculative decoding)通过小模型预生成多个候选token实现token级并行(TLP)这些技术在实际运行中会动态变化服务质量(SLO)限制低延迟要求可能迫使批处理大小从854骤减至22内存容量限制输出长度2048的请求相比长度128的请求KV缓存占用内存增加16倍动态批处理系统会根据请求到达情况实时调整批处理规模自适应推测长度系统可能根据当前负载动态调整并行解码的token数量这种动态性使得解码过程的计算/内存需求不断变化传统静态调度方案无法实现最优资源利用。2. PAPI架构设计原理2.1 异构计算资源池PAPI构建了一个三层计算资源体系graph TD A[Host CPU] -- B[高性能处理器] A -- C[FC-PIM单元] A -- D[Attn-PIM单元] B --|包含| E[GPU Tensor Core] B --|包含| F[硬件调度器]2.1.1 混合PIM单元设计FC-PIM针对全连接层优化每个存储体(bank)集成多个处理核心提供较高计算吞吐采用4P1B架构(4核心/存储体)计算能力1.28 TFLOPS 1GHz内存带宽512 GB/sAttn-PIM针对注意力层优化强调大内存容量采用1P1B架构(1核心/存储体)计算能力320 GFLOPS 1GHz内存带宽1.5 TB/s这种差异化设计解决了传统PIM架构的一刀切问题。实测显示在批处理大小4的场景下专用Attn-PIM比通用PIM单元处理注意力层快3.2倍。2.2 动态调度机制2.2.1 在线瓶颈预测PAPI通过轻量级公式实时估算FC层的算术强度AI ≈ RLP × TLP其中RLP(请求级并行度)通过统计 token数量动态获取TLP(token级并行度)存储在专用寄存器中。这个近似公式与实测值的误差小于5%却能节省90%以上的特征分析开销。2.2.2 阈值调度策略设置动态阈值α进行硬件分配当RLP×TLP α判定为计算密集型分配至GPU当RLP×TLP ≤ α判定为内存密集型分配至FC-PIM阈值α通过离线校准确定以GPT-3 66B为例最优α值为24。这意味着批处理8 推测长度3 → GPU执行批处理4 推测长度6 → FC-PIM执行3. 关键技术实现细节3.1 FC-PIM的能效优化传统PIM设计(1P1B)存在严重的能效瓶颈pie title 1P1B架构能耗分布 DRAM访问 : 96.7 数据传输 : 2.1 计算 : 1.2PAPI采用4P1B架构后通过核心共享DRAM行缓冲将访问能耗占比降至58.3%计算能耗占比提升至39.5%整体能效提升2.8倍3.2 零拷贝数据通路为避免PIM与GPU间的数据搬运开销PAPI设计了统一内存空间权重矩阵永久驻留在FC-PIM内存中当GPU执行FC层时直接通过高带宽互连(800GB/s)访问KV缓存独占Attn-PIM内存空间这种设计使得上下文切换延迟从传统方案的15μs降至1.2μs。3.3 硬件调度器实现调度器采用两级流水设计1. 监控阶段 - 每个解码周期采样RLP/TLP - 计算AI估计值 2. 决策阶段 - 比较AI与阈值α - 触发硬件上下文切换整个决策过程仅增加0.3%的硬件开销却能带来平均1.8倍的性能提升。4. 实际部署考量4.1 资源分配比例针对不同规模LLM的推荐配置模型参数规模FC-PIM占比Attn-PIM占比GPU算力需求7B30%50%20%65B40%40%20%175B50%30%20%4.2 典型性能数据在LLaMA-65B上的实测结果场景批处理大小推测长度加速比(vs GPU)低并行度485.2x中等并行度1642.1x高并行度6421.1x4.3 故障恢复机制PAPI设计了checkpoint机制每100个解码周期备份调度状态使用ECC保护关键寄存器异常时可在10ms内恢复至最近检查点5. 应用场景扩展5.1 多模态推理对于视觉-语言模型PAPI可扩展为视觉编码器GPU执行跨模态注意力Attn-PIM执行语言解码器动态分配5.2 边缘设备适配通过调整PIM单元规模可应用于移动端1-2个PIM堆栈边缘服务器4-8个PIM堆栈数据中心完整架构在部署实践中我们发现将调度决策粒度从请求级调整为token级可进一步提升系统吞吐量约15%。这需要更精细化的负载监控但带来的性能收益非常可观。未来随着LLM输出长度的持续增长这种动态资源管理方式的价值将更加凸显。