1. 项目概述与核心价值如果你关注过近两年的气象AI研究会发现一个明显的趋势大家不再满足于仅仅用AI模型去替代传统数值天气预报NWP中的预报模块而是开始将目光投向更上游、更核心的环节——数据同化。这就像我们造一辆车之前大家热衷于研发更高效的“发动机”预报模型但发动机再好如果“燃料”初始场不纯、不准车子也跑不快、跑不远。FengWu-Adas这个项目就是一次雄心勃勃的尝试它不仅要造一个顶级的AI发动机FengWu还要打造一个与之完美匹配的AI“燃料精炼厂”Adas从而构建一个从观测数据直接到天气预报的、完全由AI驱动的端到端系统。传统的数据同化可以理解为一个复杂的“拼图”过程。我们手头有两份信息一份是基于昨天天气图、用物理方程推算出来的今天天气的“猜想图”背景场另一份是今天全球各地气象站、卫星、雷达实际测量到的、但分布稀疏且可能带有误差的“碎片信息”观测数据。数据同化的任务就是把这些“碎片”精准地镶嵌到“猜想图”上修正错误得到一张最接近真实天气的“完整拼图”分析场作为明天预报的起点。这个过程在数学上对应一个复杂的优化问题计算量巨大是传统NWP系统中最耗时的环节之一。FengWu-Adas的核心突破在于它用深度学习模型Adas重新定义了这个“拼图”的规则。它不再依赖繁重的物理方程和迭代优化而是通过学习海量的历史数据如ERA5再分析资料让神经网络自己学会如何最合理、最高效地融合背景场和观测数据。更关键的是它通过一种名为“循环训练”的策略让Adas模型能够理解和建模预报误差在长时间序列中的动态演变与平衡从而具备了长期稳定运行的能力。当这个AI同化器与已经证明其强大预报能力的FengWu模型结合时一个从观测到预报的闭环就形成了FengWu做出6小时预报作为背景场Adas融合实时观测对其进行修正得到分析场这个分析场又作为FengWu下一个6小时预报的起点如此循环往复。这套系统的价值是显而易见的。首先效率是数量级的提升。论文中提到Adas在一次同化推理上仅需约0.6秒在A100 GPU上而传统方法可能需要数十分钟甚至数小时。这意味着更快的同化周期理论上可以实现更高频的预报更新。其次它展示了纯数据驱动方法构建完整业务预报系统的可行性。虽然目前仍依赖ERA5作为训练标签且同化的观测类型以常规观测为主但它证明了AI不仅能在单一任务上媲美物理模型还能在系统级任务中稳定工作。最后它为处理日益增长的、多源异构的观测数据如新型卫星、物联网设备数据提供了一种灵活框架。Adas中引入的“置信度矩阵”概念可以优雅地处理不同质量、不同可靠度的观测信息这是传统方法中需要复杂调参才能实现的。2. 系统架构与核心组件拆解要理解FengWu-Adas如何工作我们需要像拆解一台精密仪器一样看看它的两个核心部件——FengWu预报模型和Adas同化模型——是如何连接并协同工作的。2.1 FengWu高性能AI预报引擎FengWu本身是一个已经过验证的先进全球中期天气预报模型。你可以把它想象成一个拥有“气象直觉”的超级学生它通过分析过去40多年ERA5数据全球每小时的天气演变“录像”学会了大气运动的深层规律。它的架构基于Transformer擅长捕捉气象场中复杂的空间依赖关系。在这个端到端系统中FengWu扮演着“背景场生成器”的角色。在每一个循环步骤中例如从时间t开始FengWu接收当前的分析场初始状态向前进行单步例如6小时预报。这个预报结果就是我们之前提到的“猜想图”即背景场x_b(tΔt)。这个背景场将作为Adas模型的一个关键输入。需要特别注意的是在训练FengWu-Adas系统时FengWu模型的参数是冻结Frozen的。这意味着我们只训练Adas模型而把FengWu当作一个已经训练好的、固定的“物理规律模拟器”来使用。这样做有两个好处一是避免了联合训练两个巨大模型带来的超大规模计算和优化难题二是体现了系统的模块化和“即插即用”特性——理论上你可以把FengWu替换成其他任何先进的AI预报模型如GraphCast、Pangu-Weather而Adas无需重新训练就能与之配合。注意背景场的质量至关重要。Adas模型修正误差的能力是有限的。如果FengWu产生的背景场偏差过大超出了Adas在训练中见过的误差范围同化效果就会下降。因此一个强大的预报模型是端到端系统成功的基石。在FengWu-Adas的实验中他们使用了基于ERA5的96小时预报作为背景场这本身已经是一个质量很高的起点了。2.2 Adas数据驱动的智能同化器Adas是整个系统的创新灵魂。它的任务是在给定背景场和稀疏观测的情况下输出一个最优的分析场。其网络结构设计充分考虑了气象数据的特性和同化任务的特殊需求。2.2.1 输入处理与特征嵌入Adas的输入有三个背景场、观测场、置信度矩阵。观测数据如来自GDAS的温、压、湿、风在空间上是稀疏且不规则的。Adas首先通过最近邻插值将这些离散的观测点映射到一个规则的经纬度网格上如0.25°分辨率没有观测的格点用0填充。同时根据每个观测数据的质量标识、时间偏移和插值距离生成一个相同网格大小的置信度矩阵值在0到1之间0代表该格点无有效观测即填充值1代表观测质量最高。这个矩阵是Adas的“导航图”告诉模型哪些信息是可靠的哪些是需要谨慎对待的。接下来背景场和观测场连同置信度矩阵会分别通过一个Patch Embedding模块。这个模块将数据从原始空间例如水平分辨率721x1440通道数C0代表变量数转换到一个隐空间Latent Space。具体做法是使用3D卷积对高空变量和2D卷积对地面变量将局部区域如6x6的格点块的信息压缩成一个高维特征向量。这样做的好处是1) 大幅降低后续计算量2) 让模型能够从局部区域中提取更有意义的特征而不是孤立地看待每一个格点。2.2.2 双编码器与门控交互Adas的核心是一个**双编码器Dual Encoder结构由多个双门控交互块Dual Gated Interaction Block**堆叠而成。这个设计非常巧妙两个独立的编码路径一条路径处理背景场另一条路径处理观测场。这允许模型分别学习背景场和观测场的多尺度特征。门控卷积Gated Convolution在处理观测场的路径中Adas没有使用标准卷积而是使用了门控卷积。标准卷积会平等地对待所有输入值但对于观测场那些由0填充的格点无观测是无效噪声。门控卷积利用置信度矩阵作为“门控信号”动态地调节卷积操作对于高置信度的观测区域特征被充分激活和传递对于低置信度或无观测区域特征则被抑制。这相当于让模型学会了“忽略”缺失数据专注于有效信息。门控交叉注意力Gated Cross-Attention这是实现“信息融合”的关键模块。它的目标是将观测信息有选择地注入到背景场特征中。过程是以观测特征作为QueryQ背景场特征作为KeyK和ValueV计算交叉注意力。但这里同样引入了置信度矩阵作为门控。高置信度的观测点会更多地“询问”和“修改”对应的背景场区域而低置信度的观测点则对背景场影响很小。同时背景场的信息也会反向影响观测场路径用于修正那些质量不高的观测值。这种双向的、带权重的信息交换正是对传统同化中“根据误差协方差调整背景与观测权重”这一核心思想的神经网络实现。2.2.3 特征解码与输出经过多个尺度的特征提取和交互后两条路径的特征会在一个特征融合块中合并。融合后的特征再经过一系列Transformer块进行深层整合以捕捉长程的空间依赖性例如西伯利亚的冷空气如何影响中国的天气。最后通过一个Patch Recovery模块可以理解为Patch Embedding的逆过程将隐空间的高维特征映射回原始的数据空间输出最终的分析场。2.3 循环训练实现稳态平衡的秘诀如果说网络结构是Adas的“身体”那么循环训练Cyclic Training就是它的“灵魂”和“训练方法”。这是FengWu-Adas区别于以往单步同化模型的最关键创新。传统的AI同化模型训练通常是“单步”的给定一个固定的背景场比如直接从ERA5中取一个状态和对应的模拟观测让模型去学习输出一个接近ERA5分析场的结果。这存在一个严重问题在真实的预报-同化循环中背景场不是固定的它来自于上一步预报而预报是有误差的。这些误差会累积和演变。用固定背景场训练出的模型可能无法处理这种动态变化的、带有累积误差的背景场。FengWu-Adas的循环训练模拟了真实的业务循环从某个初始状态开始用FengWu做一个单步预报得到背景场。对这个背景场施加一个模拟的观测掩码从ERA5中采样得到“模拟观测”。将背景场和模拟观测输入Adas得到分析场。将这个分析场作为新的初始状态跳回第1步继续预报和同化。在整个循环序列上让Adas输出的每一个分析场都尽可能接近对应时刻的ERA5“真值”。这个过程迫使Adas模型去学习一个更本质的东西在预报误差不断增长的同化循环中如何始终保持分析误差处于一个较低的“稳态”。它不再仅仅是学习一次最优融合而是学习一种动态平衡策略——建模稳态的背景误差协方差。论文中的实验也证实这种循环训练得到的模型比单步训练模型在长期循环中表现更稳定稳态误差更低并且对背景场质量的波动甚至是从随机噪声开始的极端情况具有更强的鲁棒性。3. 实操要点与模型实现细节理解了原理我们来看看如果要复现或深入理解这项工作有哪些关键的实操细节和“坑”需要注意。这里我结合论文和自身经验梳理出几个核心环节。3.1 数据准备与预处理高质量的数据是AI模型的基石。FengWu-Adas的训练主要依赖两大数据源ERA5再分析资料和GDAS实时观测数据。3.1.1 ERA5数据用于训练与仿真实验变量选择论文中使用了69个变量。包括5个高空变量位势高度z、温度t、比湿q、纬向风u、经向风v在13个气压层从1000hPa到50hPa以及4个地面变量10米纬向风u10、10米经向风v10、2米温度t2m、平均海平面气压msl。这个选择覆盖了描述大气状态的核心动力和热力变量。分辨率与处理数据水平分辨率为0.25°约25公里时间分辨率为1小时。对于训练通常需要将其重采样到模型需要的步长如6小时。归一化Normalization是必须的不同变量量级差异巨大如位势高度的单位是m²/s²温度是K需要分别进行减均值、除标准差的操作使其分布接近标准正态。模拟观测生成在理想实验中观测数据是通过对ERA5“真值场”进行随机采样得到的。这里的关键是生成置信度矩阵。论文中采用了一种简化方式对每个变量独立地按一定比例如10%随机采样格点被采样的格点置信度设为1未被采样的设为0。在训练时这个采样掩码每一步都随机生成以增强模型对观测位置变化的鲁棒性而在测试时掩码是固定的以公平评估。3.1.2 GDAS真实观测数据用于真实场景验证数据解析GDAS的观测数据以BUFR格式存储结构复杂。需要解析出观测类型如ADPUPA探空、AIRCFT飞机报、ADPSFC地面站等、经纬度、气压层、观测值和质量码。这是整个流程中最繁琐的工程环节之一。网格化与置信度构建将稀疏的观测点通过最近邻插值映射到与ERA5相同的0.25°网格上。这里的一个关键细节是如何将观测的质量信息quality marker、时间与分析时间的偏移、以及插值距离转化为0到1之间的置信度论文没有给出精确公式但这是一个需要精心设计的部分。一个合理的实践是质量码最好的观测给与置信度1质量可疑的按等级降低如0.7 0.4时间偏移越大置信度越低插值距离越远即该格点周围观测越稀疏置信度也越低。这个置信度矩阵是同化效果的“调节阀”设计得好坏直接影响模型对真实观测数据的利用效率。数据划分由于2018年后GDAS数据缺失严重论文使用2017年全年数据作为测试集2012-2016年数据用于训练/微调Adas模型。这符合时间序列预测的常规做法避免未来信息泄露。3.2 模型训练策略与损失函数3.2.1 损失函数设计模型使用平均绝对误差MAE L1损失作为损失函数即让预测的分析场与ERA5分析场之间的绝对误差最小化。L1损失相比L2损失均方误差对异常值不那么敏感在回归任务中通常能产生更稳健的结果。一个极其重要但容易被忽视的细节是多变量损失的平衡。69个变量的数值范围差异巨大例如位势高度z500的值在50000左右而温度t2m在300左右。如果直接求和作为总损失模型优化会完全被量级大的变量如z主导而忽略小量级变量如q。FengWu-Adas采用了一种自动加权策略在计算总损失前对每个变量的损失进行缩放使得所有变量的损失在训练初期具有大致相同的量级。这可以通过计算每个变量损失的滑动平均并以其倒数作为权重来实现。这种做法比手动设置固定权重更自适应、更有效。3.2.2 优化器与学习率调度优化器使用AdamW。AdamW是Adam的改进版它解耦了权重衰减正则化通常能带来更好的泛化性能。学习率调度采用OneCycleLR策略。这是一种非常有效的策略学习率从一个很小的值1e-6开始在预热的10个epoch内线性上升到峰值1e-4然后在剩余的40个epoch内余弦衰减到一个极小的值1e-10。这种“先增后减”的策略有助于模型快速收敛并找到更平坦的极小值提升泛化能力。训练流程首先在大量的ERA5仿真数据上训练50个epoch让模型学会基本的同化能力。然后在GDAS真实观测数据上基于预训练模型进行微调Fine-tuning50个epoch。这种迁移学习策略至关重要因为它让模型从“理想实验室环境”过渡到“嘈杂的真实世界”。3.3 评估指标与结果分析如何判断一个同化系统的好坏论文中主要使用了纬度加权均方根误差RMSE。3.3.1 纬度加权RMSE由于地球是球体低纬度地区一个经纬度格点代表的实际面积比高纬度地区大。如果不加权高纬度格点面积小的误差在全局平均中会被过度代表。纬度加权通过乘以每个格点所在纬度的余弦值cos(lat)来修正这一点使得评估更符合实际的地理意义。计算公式如论文中所示核心思想是让每个格点的误差贡献与其代表的实际面积成比例。3.3.2 分析场评估对ERA5在理想实验中这是最直接的评估看分析场是否逼近“真相”。对保留观测站在真实实验中从GDAS数据中预留出一部分观测站如200个不参与同化用作独立的验证集。用同化后的分析场在这些站点的插值与真实观测值比较。这是检验同化系统是否“消化”了观测信息的关键。论文图4显示Adas的分析场在这些站点上的误差与IFS业务分析场和ERA5再分析场处于相当的水平这是一个非常有力的结果。3.3.3 预报技能评估端到端系统的终极考验是预报能力。评估方法是运行完整的FengWu-Adas循环同化预报得到未来1到10天的预报场然后与ERA5、GDAS高质量站点、IGRA探空资料进行对比。论文图6揭示了一个有趣的现象在预报前期1-3天FengWu-Adas的误差略高于IFS-HRES但在预报后期7-10天其误差反而低于IFS。这说明了两个问题初始场精度仍有差距由于Adas同化的观测数据远少于IFS使用的全球综合观测系统缺少卫星资料其分析场初始场的绝对精度可能略逊一筹导致短期预报起点稍差。AI模型的误差增长更慢FengWu作为AI预报模型其误差随预报时效增长的速度比IFS这样的物理模型更慢。因此尽管起步稍慢但后劲更足在中期预报上展现出优势。这凸显了AI模型在减少模式误差方面的潜力。4. 优势、局限与未来展望经过上面的拆解我们可以看到FengWu-Adas确实代表了一条充满希望的技术路径。但作为一名从业者我们必须冷静地看待它的优势与当前的局限。4.1 核心优势与创新点端到端AI范式的成功验证这是首个公开的、在真实观测数据上验证的、能长期稳定运行的AI端到端天气预报系统研究之一。它证明了不依赖传统同化框架完全用数据驱动模型构建预报循环是可行的。效率的颠覆性提升同化耗时从传统方法的“分钟-小时”级降至“秒”级这为未来实现“分钟级”快速更新循环预报Rapid Refresh提供了可能。灵活的“即插即用”架构Adas与FengWu是松耦合的。Adas被设计成一个通用的同化模块理论上可以与任何预报模型结合无需重新训练。这大大增加了其应用潜力。对观测信息的不确定性建模引入“置信度矩阵”是一个优雅的设计。它让神经网络能够以可微分的方式处理观测数据的不完整性和质量差异这是传统同化中“观测误差协方差矩阵”的神经版本但表达和优化方式更加灵活。循环训练策略这是确保系统长期稳定的关键技术。它让模型学习的是动态平衡态下的同化策略而非静态的最优解极大地增强了系统的鲁棒性。4.2 当前局限与挑战尽管成果显著但论文作者也坦诚地指出了几个关键局限这也是未来研究需要攻克的方向卫星与雷达观测的缺失这是目前最大的短板。现代业务预报的精度飞跃很大程度上得益于卫星资料的同化它们提供了覆盖全球、特别是海洋和沙漠地区的宝贵信息。FengWu-Adas目前只同化了常规观测地面站、探空、飞机、船舶等这相当于放弃了现代气象观测中信息量最大的一块。如何将卫星辐射率、雷达反射率等间接观测融入这个AI框架是一个巨大的挑战。论文提到神经网络天生适合处理这种从观测信号到气象变量的反演问题但这需要设计更复杂的多模态输入处理网络。对再分析资料的依赖Adas模型的训练目标是逼近ERA5分析场。而ERA5本身也是通过复杂的传统数据同化系统4D-Var生成的它融合了包括卫星在内的所有观测。这意味着Adas模型的性能上限被ERA5的精度所限定。我们训练的本质上是一个“ERA5模拟器”。真正的突破在于开发出能够产生优于任何现有分析产品的分析和预报的系统这可能需要全新的训练范式或结合物理约束。格点化带来的信息损失将原始的、非规则分布的观测点通过最近邻插值强行放到规则网格上会引入误差。近年来基于连续空间建模如神经场、图神经网络的方法兴起它们可以直接处理不规则分布的观测点这是一个很有前景的改进方向。继承预报模型的缺陷由于FengWu的参数被冻结端到端系统自然也继承了AI预报模型的一些固有缺点比如预报场的“过度平滑”问题小尺度细节模糊。这需要预报模型本身的进步来带动。4.3 未来发展方向基于这些局限我认为后续工作可能会围绕以下几个方向展开多模态数据同化扩展Adas的输入使其能够直接处理卫星传感器的原始辐射数据、雷达基数据等。这可能需要设计专门的编码器分支来提取不同模态数据的特征并在隐空间进行融合。四维变分同化4D-Var的神经化当前Adas本质上是三维同化3D-Var只同化一个时刻的观测。业务上先进的4D-Var能同化一个时间窗口内的观测。可以探索循环神经网络RNN或Transformer来建模观测随时间变化的影响实现4D神经同化。观测系统模拟实验OSSE利用这个高效的AI系统可以低成本地模拟未来新型观测设备如大量小型卫星星座、无人机对预报技能的提升效果为观测网络规划提供决策支持。与物理约束的结合纯粹的数据驱动模型可能违反物理定律如质量不守恒。未来可以考虑在损失函数中加入物理约束项如通过神经网络求解简化物理方程产生的惩罚项或采用“物理信息神经网络PINN”的思路引导模型学习更符合物理规律的同化映射。不确定性量化目前的系统输出是确定性的分析场。业务预报需要概率信息。可以探索让Adas输出分析场的概率分布如均值与方差或者与集合预报Ensemble Forecasting结合生成概率性的初始场扰动。在我个人看来FengWu-Adas最大的启示在于它展示了一种“系统级AI”的思维。过去我们太多地专注于用AI去替代某个孤立的组件并追求在单一指标上超越传统方法。而FengWu-Adas告诉我们或许更应该思考如何用AI重新设计整个工作流让各个AI模块在闭环中协同、进化最终形成一个更高效、更智能的新系统。这条路虽然漫长但第一步已经迈得相当扎实。对于从事气象AI或科学智能的研究者和工程师来说深入理解这个系统的每一个细节并思考如何在其基础上进行改进和拓展将是未来几年一个非常值得投入的方向。