目录1、题目2、文献信息3、动机4、主要工作1提出全新网络架构2设计混合损失函数3广泛验证和拓展应用场景5、核心创新点1无监督的端到端架构2网络架构创新3训练策略创新4应用扩展创新6、网络结构1方法流程图2网络结构a、基础特征提取网络(BFEnet)b、聚合残差密集块(RXDBs)c、全局特征融合(GFF)d、重建块网络(RBnet)7、损失函数1总损失函数a、结构损失(Lstructure)b、强度损失(Lintensity):c、正参数2损失函数的两种计算策略a、像素级策略b、特征级策略8、应用1RGB图像应用2不同分辨率的图像应用1、题目“RXDNFuse: A aggregated residual dense network for infrared and visible image fusion”《RXDNFuse:一种用于红外与可见光图像融合的聚合残差密集网络》2、文献信息作者YongzhiLong,HaitaoJia∗, Yida Zhong,YadongJiang,YumingJia出处Information Fusion , 69( 2021) : 128-141IF:15.5 JCR分区Q1新锐分区计算机科学1区链接RXDNFuse: A aggregated residual dense network for infrared and visible image fusion - ScienceDirect3、动机传统方法人工设计规则复杂且易引入伪影现有CNN方法特征利用不充分损失大量有用信息且计算复杂度高4、主要工作1提出全新网络架构提出了一种名为RXDNFuse的无监督端到端网络该网络主要由基础特征提取网络、聚合残差密集块、全局特征融合和重建块网络四部分组成可自动提取层次化特征2设计混合损失函数针对融合图像缺乏“真值”的问题设计了包含像素级策略和特征级策略的混合损失函数以指导网络训练3广泛验证和拓展应用场景在多个数据集上验证并与5种最先进的方法比较证明了该方法在视觉效果和客观指标上的优越性。将RXDNFuse成功推广到了RGB彩色尺度图像的融合和不同空间分辨率的图像融合任务5、核心创新点1无监督的端到端架构靠深度学习网络自动完成信息的评估、特征提取与融合2网络架构创新提出聚合残差密集块RXDB结合ResNeXt的多分支结构与DenseNet的密集连接在降低计算量的同时实现了层次化特征的充分复用。3训练策略创新设计像素级与特征级相结合的混合损失函数引入VGG-19深层特征约束有效解决了无监督训练下纹理细节保留不足的问题。4应用扩展创新RGB和补贴分辨率应用证明该方法具备广泛的适用场景与鲁棒性。6、网络结构1方法流程图2网络结构a、基础特征提取网络(BFEnet)从拼接的红外与可见光输入图像中提取浅层基础特征特征通道数依次为128和64b、聚合残差密集块(RXDBs)负责提取多层级深层特征整体网络级联了6个通道数为64的RXDB模块单个RXDB采用多分支结构内部结合了密集连接与残差连接特征在各分支处理后进行拼接再通过1×1卷积处理并引入局部残差连接输出c、全局特征融合(GFF)整合所有提取到的多尺度特征首先将6个RXDB的输出进行拼接C操作通道数增至64×6并降维至64通道然后将BFEnet提取的浅层特征与深层特征进行全局残差相加操作d、重建块网络(RBnet)从融合后的全局特征中重建输出最终的融合图像If,通道数依次为64、32和17、损失函数1总损失函数a、结构损失(Lstructure)用于保持Ir和Iv与If之间的结构相似性目的是保留源图像中丰富的纹理细节b、强度损失(Lintensity):用于约束融合图像使其保持与源图像相似的像素强度分布(即亮度信息特别是红外图像中的热辐射目标)c、正参数控制这两种损失之间的权重平衡2损失函数的两种计算策略a、像素级策略提供像素级别的粗略信息损失结构损失计算采用结构相似性指数(SSIM)来衡量强度损失计算采用Frobenius范数(矩阵的F范数)来计算图像像素值之间的直接差异像素级策略的示意图b、特征级策略引入了一个预训练的VGG-19网络作为特征提取器在深度特征空间中约束图像相似性(即感知损失)网络的输入与特征提取:将Ir、Iv和If复制为三通道并输入到归一化的VGG-19中选取最大池化层之前的卷积层特征图进行损失计算浅层特征保留纹理和形状细节深层特征保留内容和空间结构结构损失计算结构相似性约束问题被转化为梯度信息的维护问题。利用梯度算子计算特征图的梯度差异强度损失计算:直接计算VGG-19提取出的各层特征图Feature Maps之间的Frobenius范数差异特征级策略的示意图作者通过消融实验设置了多组不同的策略组合实验结果表明将像素级策略与特征级策略结合使用能够获得最佳的融合性能表明同时在原始像素空间和深层感知特征空间进行约束能最有效地提升融合图像的质量。针对低分辨率红外与高分辨率可见光图像的融合作者对损失函数进行了微调在计算红外相关的损失时通过引入下采样操作将融合图像If调整至与红外图像同尺寸以此避免上采样红外图像所带来的额外噪声问题。8、应用1RGB图像应用通道分离处理将RGB的每一个颜色通道红、绿、蓝单独视为一张普通的灰度图像来进行处理构建高维输入特征将RGB图像的三个通道按顺序进行拼接组合由此构建出一个包含6个通道的图像容器并以此作为RXDNFuse网络的输入输出与通道重组RXDNFuse会输出三个独立的融合通道将这三个融合通道重新组合在一起2不同分辨率的图像应用输入对齐网络首先使用Meta-SR超分辨率技术将低分辨率的红外图像上采样使其与可见光图像分辨率一致然后再输入RXDNFuse进行处理损失函数重新设计为避免直接上采样红外图像来计算损失会引入额外噪声作者修改了结构损失和强度损失函数对生成的融合图像引入了下采样操作。即将融合图像下采样至与原始低分辨率红外图像相同的尺寸后再计算二者之间的误差