文章概述近日浙江大学机械工程学院李樵风课题组联合西安光机所在Advanced Intelligent Systems上发表了题为NIRGB-GS: Near-Infrared Assisted Low-Light Scene Reconstruction and Enhancement via Gaussian Splatting的研究论文。该工作提出了一种全新的多模态融合3D高斯溅射3DGS框架突破了传统方法在极暗环境下3D重建精度低、细节丢失严重的核心瓶颈为低光场景的高保真三维重建与新视角合成提供了全新解决方案。图文导读图1.NIRGB-GS及对比方法重建效果示意图在暗光环境下RGB图像往往亮度极低、噪声显著。传统基于图像的三维重建方法严重依赖高质量输入图像来估计相机位姿和初始化场景几何在暗光条件下往往因无法提取有效特征而直接失败即使勉强运行也易重建出充满噪点和漂浮伪影的昏暗场景。与可见光不同近红外光NIR是人眼不可见的电磁波消费级相机传感器对近红外光天然敏感只需移除红外截止滤波片、加装近红外补光灯便可在全黑环境中获取高亮度、高信噪比的清晰图像且不会对环境中的任何人产生视觉干扰。如图1所示当暗光RGB图像几乎看不清任何细节时同一视角的NIR图像却拥有清晰的对比度和完整结构。现有暗光3DGS领域的SOTA方法如Luminance-GS和LLGS尝试从暗光RGB数据中恢复场景但在极暗区域无法恢复细节重建结果常出现模糊、失真甚至结构完全缺失。这表明仅凭暗光的RGB模态难以实现极暗环境下的高保真三维重建。图2.NIRGB-GS整体框架为解决上述挑战研究团队提出了一种基于3DGS的近红外辅助暗光场景重建与增强方法NIRGB-GS该方法的整体流程如图2所示。其核心思想是利用高信噪比的NIR图像主导场景几何重建同时从暗光RGB图像中恢复色彩信息。该框架首先解决位姿估计难题NIR图像凭借高亮度和清晰结构特征能鲁棒地恢复精确的相机位姿与稀疏点云随后被直接赋予配对的暗光RGB图像为重建提供可靠初始化结果。在模型架构上NIRGB-GS让两种模态共享高斯椭球的几何参数并分别拥有独立的颜色表征参数以及不透明度参数。这种设计使得RGB模态在学习自身颜色信息的同时其几何重建受到NIR模态的约束从而提升暗光下场景几何重建的准确性。为解决因NIR补光灯随相机移动导致的帧间亮度不一致以及暗光RGB图像白平衡漂移问题框架为两种模态分别引入了外观编码模块。该模块为每张图像赋予外观嵌入向量为每个高斯椭球赋予外观特征向量二者拼接后输入MLP输出球谐函数系数从优化过程中学习并补偿视角特定的光照与色彩偏差有效消除了因多视角不一致导致的重建伪影。在色彩恢复方面框架提出了逆直方图均衡化IHE策略通过统计低光数据集的像素分布将渲染出的正常光照图像线性映射到低光强度范围在仅有低光真值的情况下指导模型学习正确的色彩与亮度信息。整个框架通过三项损失函数联合优化将IHE变换后得到的暗光渲染图像与暗光真值图计算逐像素损失来监督色彩恢复正常光照渲染图像与NIR真值计算跨模态SSIM损失利用NIR结构信息指导极暗区域几何重建NIR渲染图像与NIR真值的SSIM损失保障NIR模态高保真重建并间接优化共享几何。此外框架采用NIR模态主导的密度控制策略当某高斯椭球的NIR不透明度低于阈值时即被移除位置梯度超阈值的区域则触发分裂或克隆以增加细节。这种让NIR主导重建几何特征的策略极大减少了因RGB噪声产生的漂浮伪影提升了重建几何的稳定性与准确性。图3.NIRGB-GS与对比方法在室内、室外场景新视角合成效果对比实验结果表明NIRGB-GS在多个极具挑战性的室内、室外暗光场景中均显著优于SOTA方法。在视觉质量上NIRGB-GS是唯一能在极暗区域成功重建纹理结构的方法对于暗光RGB图像中几乎全黑、其他方法完全无法恢复的区域NIRGB-GS仍能清晰还原其中的纹理与细节。NIR主导的密度控制策略使重建结果几乎没有漂浮伪影几何结构清晰干净。在客观指标上NIRGB-GS在所有七个测试场景中均取得了最高的新可见边缘比和可见边梯度比验证了其在细节增强和结构清晰度上的绝对优势。在面向下游感知任务的ORB特征匹配测试中NIRGB-GS同样在所有场景下均获得了数量远超其他方法的高质量匹配点充分证明了其在SLAM、障碍物检测等机器人应用中的巨大潜力。消融实验也证实去除外观编码模块会导致场景出现严重伪影去除跨模态SSIM损失则使极暗区域无法被正确重建关键设计的有效性获得了充分验证。综上所述NIRGB-GS成功开辟了一条融合低成本近红外信息攻克暗光3D重建难题的新路径。该框架充分利用NIR的高信噪比几何优势与RGB的色彩信息通过全新多模态3DGS框架、外观编码模块、逆直方图均衡化及NIR主导的密度控制策略实现了对暗光场景的高保真重建与增强。论文信息NIRGB-GS: Near-Infrared Assisted Low-Light Scene Reconstruction and Enhancement via Gaussian SplattingChengyun Yang, Yi Zhang, Yu Lei, Qiaofeng Li*Advanced Intelligent SystemsDOI:10.1002/aisy.202501258原文链接https://doi.org/10.1002/aisy.202501258期刊介绍Advanced Intelligent Systems是Wiley旗下智能系统领域开放获取旗舰刊。期刊收录关于具有刺激或指令响应智能的人造装置系统的研究包括机器人、自动化、人工智能、机器学习、人机交互、智能传感和程序化自组装等前沿应用。欢迎关注