154、Real-ESRGAN实战:基于退化模型的高保真真实图像超分训练与调优
154、Real-ESRGAN实战:基于退化模型的高保真真实图像超分训练与调优从一次翻车现场说起去年有个项目,甲方给了一堆监控截图,要求把模糊的人脸恢复到能看清车牌的程度。我第一反应是拿ESRGAN直接怼上去,结果跑出来的结果惨不忍睹——人脸是清晰了,但全是伪影,车牌上的数字扭曲得像抽象画。后来才意识到,真实世界的退化远比我们想象中复杂:模糊、噪声、压缩伪影、运动模糊,这些因素叠加在一起,ESRGAN那套简单的下采样退化模型根本扛不住。这就是Real-ESRGAN要解决的问题。它不假设退化是简单的双三次下采样,而是用一套更贴近真实世界的退化模拟策略。今天这篇笔记,我会把训练和调优过程中踩过的坑、试过的方案、以及最终沉淀下来的经验,一股脑倒出来。退化模型:别再用双三次下采样糊弄自己了Real-ESRGAN的核心创新在于它的退化模型。传统方法假设高分辨率图像经过双三次下采样得到低分辨率图像,这在真实场景中几乎不存在。Real-ESRGAN的退化流水线包含两个阶段:第一阶段是模糊+下采样。模糊核不是固定的高斯核,而是从各向异性高斯核池中随机采样,旋转角度、尺度、长宽比都在变化。代码里我习惯这样写:# 这里踩过坑:kernel_size必须为奇数,否则中心点偏移kernel_size