改进提出了一种原则性和有效性兼备的单步生成建模框架名为MeanFlow。该框架的核心思想是用平均速度来描述流动场这与Flow Matching方法中建模的瞬时速度形成对比。核心方法1. 平均速度的定义平均速度定义为时间步和之间的位移通过积分获得除以时间间隔即​​​​​​​其中表示瞬时速度。平均速度是瞬时速度的函数不依赖于任何神经网络。2. MeanFlow Identity通过对平均速度的定义公式进行数学推导得到平均速度和瞬时速度之间的内在关系称为“MeanFlow Identity”​​​​​​​ ​​​​​​​其中表示对时间的总导数可以通过链式法则展开为偏导数的形式。这个公式是指导神经网络训练的理论基础。3. 对时间的偏微分计算在计算时需要用到对的偏微分这涉及到计算Jacobian-vector product (JVP)论文指出通过使用现代库如 PyTorch 中的 torch.func.jvp 或 JAX 中的 jax.jvp可以高效地计算 JVP。4.网络训练训练一个神经网络来直接建模平均速度场。损失函数鼓励网络满足 MeanFlow Identity​​​​​​​ ​​​​​​​其中​​​​​​​ ​​​​​​​sg 表示停止梯度(stop gradient操作以避免高阶优化。5.采样使用训练好的 MeanFlow 模型进行采样时只需将时间积分替换为平均速度​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​对于单步采样只需一步计算​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​其中5.Classifier-Free Guidance (CFG)该框架可以自然地将 classifier-free guidance (CFG) 融入到目标场中而无需在采样时产生额外的计算成本。核心优势理论基础扎实 MeanFlow Identity 从平均速度的定义出发推导了瞬时速度和平均速度之间的关系为网络训练提供了坚实的理论基础。单步生成效果好 MeanFlow 模型在单步生成任务中表现出色显著优于以往的单步扩散/流动模型。无需预训练或课程学习 MeanFlow 模型可以从头开始训练不需要预训练、知识蒸馏或课程学习等技巧。支持 CFG MeanFlow 框架可以自然地支持 classifier-free guidance并在采样时保持单步特性。实验结果在 ImageNet 256×256 上MeanFlow 模型使用 1-NFE 生成达到了 3.43 的 FID显著优于以前的单步方法。消融实验验证了 MeanFlow Identity 的有效性并探讨了不同的时间采样策略和损失函数选择对模型性能的影响。通过扩大模型尺寸和增加训练时间MeanFlow 模型展现出良好的可扩展性。总而言之MeanFlow 是一种很有前途的单步生成建模框架它在理论上更加完备在实践中更加有效有望推动生成建模领域的发展。