01文献学习今天分享的文献是由四川省肿瘤医院等团队于2026年1月19日在《npj Digital Medicine》中科院1区topIF15.1上发表的研究”UroFusion-X: a unified multimodal deep learning framework for robust diagnosis, subtyping, and prognosis of urological cancers“即UroFusion-X一种用于泌尿系统癌症稳健诊断、分型和预后预测的统一多模态深度学习框架该研究提出了一种名为UroFusion-X的统一多模态深度学习框架用于整合影像学、病理学、基因组学和实验室数据实现对膀胱癌、肾癌和前列腺癌的诊断、分子分型和生存预测。该框架具有对缺失模态的鲁棒性能在临床数据不全的情况下保持高性能并通过多中心验证展示了良好的泛化能力与临床效用。创新点①提出统一多模态框架集成影像、病理、组学与实验室数据通过门控产品专家融合机制实现对缺失模态的鲁棒性处理。②引入跨模态协同注意力与解剖-病理一致性约束增强模型可解释性实现影像与病理区域的空间对齐。③采用多任务学习架构联合优化诊断、分型与预后任务提升模型泛化能力与跨中心稳定性。临床价值①提高泌尿肿瘤诊断一致性减少不必要的检查辅助临床决策尤其适用于多模态数据不全的实际场景。②提供优于传统评分系统如CAPRA-S、SSIGN的个性化预后预测助力精准治疗与风险分层。③通过决策曲线分析显示更高净临床效益可降低过度治疗风险提升临床决策质量与患者结局。图 5多模态数据获取与预处理流程数据模态输入涵盖四大模态3D医学影像CT/MRI/超声、全切片病理图像WSI、组学数据基因组/转录组、临床实验室变量。各模态预处理步骤影像DICOM格式标准化→各向同性重采样1.0mm³→ROI半自动化分割→CT/HU值归一化/MRIz-score归一化。病理40× magnification下256×256像素切片→Macenko染色归一化→背景/artifact过滤。组学DESeq2方差稳定变换→方差过滤移除底部10%变异基因→互信息特征选择。临床数据MICE缺失值填充→z-score标准化→类别变量嵌入。融合机制流程第一步跨模态共注意力机制token级信息对齐第二步门控PoE融合自适应加权缺失模态掩码最终输出融合表征供三大任务头调用。02研究背景及目的研究背景泌尿系统癌症包括膀胱癌、肾细胞癌和前列腺癌构成全球重大疾病负担其临床决策依赖多模态数据的整合如影像学、病理学、基因组学和实验室检测。然而在常规临床实践中这些多模态数据往往处于碎片化状态导致诊断、分型和预后评估的不一致限制了精准肿瘤学的实施。当前深度学习虽在单模态任务中表现优异如基于CNN/Transformer的影像分析、多实例学习的病理图像分类、以及基于基因组学的生存预测但单模态方法无法充分挖掘跨模态的互补信息影响模型的泛化能力与临床转化价值。尽管多模态融合方法已显示出潜力但现有系统多采用简单的早期或晚期融合策略未能充分利用细粒度跨模态依赖关系且在真实临床场景中常面临模态缺失的严峻挑战——由于患者个体化诊疗流程与数据采集异质性部分模态数据可能无法获取导致模型推理性能显著下降。此外现有方法在可解释性方面仍较薄弱缺乏明确的解剖-病理一致性约束与跨模态对齐机制降低了临床医生对高风险决策的信任度。因此亟需构建一个能够统一整合多模态数据、具备模态缺失鲁棒性、且兼具可解释性的深度学习框架以支持泌尿系统癌症的全周期管理。研究目的本研究旨在提出并验证UroFusion-X——一个统一的多模态深度学习框架用于实现泌尿系统癌症膀胱癌、肾癌、前列腺癌的集成诊断、分子分型与预后预测并重点解决真实临床环境中模态缺失的挑战。该框架通过设计跨模态共注意力机制与门控专家乘积融合策略实现异构数据影像、病理、基因组、实验室变量的有效表征对齐与自适应加权融合确保在部分模态缺失时仍能保持稳定的预测性能。此外研究引入解剖-病理一致性约束与患者级对比学习以增强模型的可解释性与分布外泛化能力并通过多任务学习架构同步优化诊断、分型与生存预测任务提升表征共享与任务协同效能。最终研究通过多中心真实世界队列的外部验证与留一中心测试系统评估框架在诊断准确性、分子分型效能、生存分层及临床决策支持方面的表现验证其在模态缺失下的鲁棒性、跨机构泛化能力及净临床收益以推动该框架在未来临床工作流程中的实际应用提升泌尿肿瘤精准诊疗的决策一致性与效率。03数据和方法研究数据数据来源公共数据库TCGA、TCIA数据类型影像学CT、MRI病理学全切片数字病理图像WSI基因组学基因表达、突变数据实验室数据临床指标与生物标志物癌症类型膀胱尿路上皮癌BLCA、肾透明细胞癌KIRC、前列腺腺癌PRAD数据划分70%-15%-15%训练/验证/测试采用“留一中心出”LOCO策略进行外部验证图 6数据集概述与队列特征技术方法1框架架构模态特异性编码器影像编码器3D Swin-UNETR基于Transformer的3D医学影像编码器经掩码自编码器预训练病理编码器基于Transformer的多实例学习MIL框架处理全切片图像并聚合patch级特征组学编码器图神经网络GNN基于KEGG/Reactome通路构建基因关联图捕捉通路级调控信息临床数据编码器TabTransformer处理结构化实验室/临床变量捕捉特征间复杂依赖。融合机制跨模态共注意力机制实现不同模态间token级信息对齐门控专家乘积PoE融合自适应加权各模态贡献自然处理缺失模态通过二进制掩码标记模态可用性。正则化策略解剖-病理一致性约束对齐影像感兴趣区ROI与病理注意力图患者级对比学习提升跨模态表征对齐和分布外泛化性模态dropout训练时随机屏蔽模态增强对缺失模态的鲁棒性。任务头诊断/分型头全连接层softmax输出癌症类型/分子亚型概率预后头并行集成DeepSurvCox比例风险模型和DeepHit离散时间生存模型预测个体化风险和生存分布。2训练与评估策略训练流程两阶段训练模态特异性预训练→联合微调采用AdamW优化器、余弦退火学习率调度器损失函数复合损失诊断交叉熵损失分型焦点损失生存Cox/DeepHit损失对比对齐损失一致性损失L2正则化评估指标诊断/分型AUROC、F1分数、预期校准误差ECE预后一致性指数C-index、时间依赖AUROC、集成Brier分数IBS临床效用决策曲线分析DCA鲁棒性模态缺失模拟、留一中心交叉验证LOCO。04实验结果诊断性能AUROC 分别为膀胱癌0.92、肾癌0.90、前列腺癌0.88显著优于单模态与简单融合基线。缺失模态鲁棒性在单个模态缺失时性能下降仅2–4%仍保持 90% 的全模态性能。多中心泛化LOCO验证中性能下降仅2–6%显示良好跨机构适应性。临床效用决策曲线分析显示净临床效益提升约2倍假阳性率从22–25%降至12%。生存预测C-index 提升10–15个百分点生存分层显著log-rank p0.001图 1多任务学习性能综合分析图 2关键架构组件消融分析图 3缺失模态鲁棒性分析图 4Kaplan-Meier生存分层图图 7模型性能综合评估05研究结论本研究提出的UroFusion-X是一个统一的、具有模态鲁棒性的多模态深度学习框架用于泌尿系统癌症膀胱癌、肾细胞癌、前列腺癌的整合诊断、分子分型和预后预测。研究表明该框架在多项任务上显著优于单模态及传统多模态融合基线其诊断AUROC达到0.88–0.92比影像单模态基线平均提升6–10个百分点比标准多模态融合提升4–6个百分点。框架在应对现实中常见的模态缺失问题时表现出强鲁棒性在单一模态缺失时平均性能仅下降2.8%远优于简单特征拼接方法的8.5%下降且在多中心留一验证中仅出现2–6%的AUROC下降展现出良好的跨机构泛化能力。此外通过多任务学习机制该框架在诊断、分型和生存预测任务上实现协同提升诊断准确性提高3–5%分子分型F1值提升2–4%生存预测C指数提升0.03–0.05。临床决策曲线分析进一步证实其具有更高的净临床收益50%风险阈值下净收益为0.18是传统临床评分系统的约两倍且能将假阳性率从22–25%降低至12%有助于减少不必要的侵入性治疗。尽管存在计算复杂度高、对极端数据稀疏敏感等局限UroFusion-X仍为泌尿肿瘤精准医疗提供了一个性能稳健、临床可用且支持模态缺失的统一多模态AI决策支持框架。参考文献Xiao Y, Yang S, He M, Chen L, Wu Y, Zhong L. UroFusion-X: a unified multimodal deep learning framework for robust diagnosis, subtyping, and prognosis of urological cancers. NPJ Digit Med. 2026 Jan 19. doi: 10.1038/s41746-025-02295-6. Epub ahead of print.