高效图像去雨方法：基于雨混合增强的高效深度去雨网络

背景介绍

降雨会对计算机视觉系统捕获的图像和视频质量产生显著影响，如雨滴和雨线会导致图像清晰度下降，进而影响行人检测、目标跟踪和语义分割等任务。为实现全天候视觉系统，图像去雨成为一个关键需求。然而，现有去雨方法通常基于雨模型的启发式假设，这种方法需要复杂的优化或迭代求解，从而导致计算开销大、实时性差。此外，这些假设往往无法涵盖真实雨景复杂多样的模式，制约了去雨质量。

为解决上述问题，本文提出了一种高效的图像去雨方法 EfficientDeRain+，通过将去雨问题建模为预测滤波问题，并设计了一系列创新技术，包括不确定性感知级联预测滤波、多尺度扩张滤波，以及数据增强方法 RainMix，显著提升了图像去雨的效率和质量。

论文来源

本文由来自新加坡、高性能计算研究所（IHPC）与人工智能前沿研究中心（CFAR）、日本九州大学、美国纽约大学、加拿大阿尔伯塔大学、中国天津大学以及深圳大学的研究人员合作完成，发表于《International Journal of Computer Vision》。

研究方法与创新点

研究流程

本文研究从以下几个方面展开：

1. 基于空间变异预测滤波的基础方法：去雨问题被建模为预测滤波，其中每个像素的清晰值通过邻域像素的加权和来重构，权重由深度网络预测。通过卷积加速实现滤波操作，显著提升效率。

2. 不确定性感知级联预测滤波（UC-PFILT）：为解决滤波残留问题，UC-PFILT 在第一阶段去雨的基础上生成不确定性图，指导第二阶段的进一步去雨操作。实验表明该方法能有效去除残留雨痕。

3. 权重共享的多尺度扩张滤波（WS-MS-DFILT）：为处理不同尺度的雨线问题，本文设计了一种无需增加参数的多尺度扩张滤波，既能提高去雨效果，又能保持高效。

4. 数据增强技术 RainMix：针对现有数据集的雨模式多样性不足问题，RainMix 分别增强雨层和背景层，并合成新雨景，显著提高了模型的泛化能力。

实验设计

本文在多个公开数据集上进行了广泛的实验，包括 Rain100H、Rain1400、Rain800 和 RainCityscapes 等合成数据集，以及 SPA 和 Raindrop 等真实雨景数据集。此外，还验证了方法在视频去雨中的性能。

数据分析与结果

• 单图去雨：

  • 在 Rain100H 数据集上，EfficientDeRain+ 的 PSNR 和 SSIM 分别达到了 34.57 和 0.9513，超越现有最优方法 RCDNet，同时计算速度提高了 74 倍。
  • 在 Rain1400 和 Rain800 数据集上，本方法同样取得最高去雨质量，分别在 PSNR 和 SSIM 上显著领先。

• 视频去雨：

  • 在 NTURain 数据集上，本方法的 SSIM 达到 0.9713，明显优于对比方法，并能在每帧平均 7ms 内完成处理，展示了其在实时应用中的潜力。

模块贡献分析

通过对去雨网络的消融实验，研究发现： - UC-PFILT 的加入显著改善了去雨残留问题。 - WS-MS-DFILT 在多尺度场景中保持了高效与精确的去雨能力。 - RainMix 提升了模型对多样化雨模式的泛化能力，是关键创新点之一。

研究价值与意义

1. 科学价值：

   • 提出了一种高效的去雨建模框架，为低级视觉任务提供了新思路。
   • 引入预测滤波、多尺度扩张滤波和数据增强的创新方法，丰富了去雨领域的技术手段。

2. 应用价值：

   • 本方法在多种场景下均展现了卓越的去雨能力和实时性，适用于自动驾驶、视频监控等实时性要求高的应用领域。

3. 研究亮点：

   • 创新性：无需依赖复杂雨模型，通过深度网络的预测能力实现高效去雨。
   • 性能优越：兼具去雨质量和计算效率，领先当前方法。
   • 鲁棒性：通过 RainMix 增强，模型在真实雨景中展现出良好的泛化能力。

总结

EfficientDeRain+ 提供了一种面向实际应用场景的高效去雨解决方案，其多项创新技术可拓展至其他低级视觉任务。未来研究可尝试结合更广泛的天气条件及更复杂的场景，以进一步验证其实用性与扩展能力。