基于启发式可逆网络的水下感知增强方法

海洋工程 计算机科学 信息科学 人工智能 工程学
水下图像增强 深度学习 颜色相关性 目标检测 语义协作学习 可逆网络 启发式先验

学术背景与问题提出

水下图像在海洋探测、水下机器人、海洋生物识别等领域具有重要应用价值。然而，由于水对光的折射和吸收作用，水下图像通常存在对比度低、颜色失真等问题，严重影响了后续的感知任务（如目标检测、语义分割等）的准确性。现有的水下图像增强方法主要关注视觉质量的提升，而忽略了增强图像在后续任务中的实际应用效果。因此，如何在视觉质量提升和实际应用之间找到平衡，成为了当前研究的一个重要挑战。

为了解决这一问题，本文提出了一种基于启发式可逆网络的水下感知增强方法（HUPE）。该方法不仅能够提升水下图像的视觉质量，还能通过语义协作学习模块提取任务导向的语义特征，从而更好地服务于后续的感知任务。

论文来源与作者信息

本文由Zengxi Zhang、Zhiying Jiang、Long Ma、Jinyuan Liu、Xin Fan和Risheng Liu共同撰写，分别来自大连理工大学软件工程学院、大连海事大学信息科学与技术学院以及琶洲实验室（黄埔）。论文于2024年11月26日被接受，并发表在《International Journal of Computer Vision》期刊上。

研究流程与方法

1. 启发式可逆网络（Heuristic Invertible Network, HIN）

本文的核心创新之一是引入了启发式可逆网络，通过构建水下图像与其清晰图像之间的双向映射，实现了信息保留的增强过程。具体来说，网络通过前向映射将水下图像转换为增强图像，而反向映射则通过约束条件减少伪影并防止信息丢失。此外，网络还引入了启发式先验信息（如深度和梯度信息），以增强网络对复杂水下环境的适应能力。

1.1 混合可逆块（Hybrid Invertible Block, HIB）

混合可逆块是启发式可逆网络的核心组件，负责在增强过程中嵌入启发式先验信息。每个HIB由多个操作组成，包括ActNorm、1×1可逆卷积、启发式先验注入器、频率感知仿射耦合层以及特征扩展/压缩操作。通过这些操作，网络能够在空间域和频率域中同时表征水下图像与其清晰图像之间的内在关系。

1.2 频率感知仿射耦合层（Frequency-Aware Affine Coupling）

为了增强网络的变换能力，本文提出了频率感知仿射耦合层。该层通过傅里叶变换将输入图像从空间域转换到频率域，分别处理相位和振幅信息，从而更好地捕捉图像的语义和风格特征。

2. 语义协作学习模块（Semantic Collaborative Learning Module, SCL）

为了缩小视觉增强任务与下游任务之间的特征差距，本文引入了语义协作学习模块。该模块通过在增强网络和下游任务网络之间嵌入元特征生成器和特征转换块，实现了特征级别的协作学习。通过这种方式，增强网络不仅能够生成视觉上令人满意的图像，还能进一步提取图像中的高层语义信息。

2.1 元特征生成器（Meta-Feature Generator, MFG）

元特征生成器从任务感知特征和增强特征中生成元特征，用于指导增强网络提取更多的语义信息。

2.2 特征转换块（Feature Transition Block, FTB）

特征转换块将元特征转换为增强特征，通过生成特征桥接，进一步优化增强网络的输出。

3. 损失函数

本文在训练过程中使用了多种损失函数，包括引导损失（Guide Loss, Lg）、增强损失（Enhancement Loss, Le）和任务损失（Task Loss, Lt）。引导损失用于衡量元特征对增强网络的指导效果，增强损失则通过对比学习、频率损失和双边约束来确保增强图像与参考图像之间的相似性。任务损失则用于优化特定感知任务（如目标检测和语义分割）的性能。

实验结果与分析

1. 水下图像增强效果

本文在多个公开数据集（如UIEBD、UCCS、U45和EUVP）上进行了广泛的实验，验证了HUPE方法的有效性。实验结果表明，HUPE在视觉质量和定量指标（如PSNR、SSIM、UCIQE、UIQM和CEIQ）上均优于现有的最先进方法。特别是在颜色校正和对比度恢复方面，HUPE表现出色，能够有效减少水下图像中的颜色失真和伪影。

2. 下游感知任务性能

为了验证HUPE在后续感知任务中的适用性，本文在目标检测和语义分割任务上进行了实验。实验结果表明，HUPE生成的增强图像在目标检测和语义分割任务中均表现出色，显著提高了检测精度和分割准确性。特别是在复杂水下环境中，HUPE能够有效提取语义信息，从而更好地服务于后续任务。

结论与意义

本文提出了一种基于启发式可逆网络的水下感知增强方法（HUPE），通过引入信息保留的可逆变换和语义协作学习模块，实现了视觉质量提升与任务导向语义特征提取的双重目标。实验结果表明，HUPE不仅在视觉增强效果上优于现有方法，还能显著提高后续感知任务的性能。该方法的提出为水下图像处理领域提供了新的思路，具有重要的科学价值和应用前景。

研究亮点

  1. 信息保留的可逆网络：通过构建水下图像与其清晰图像之间的双向映射，HUPE能够在增强过程中保留关键信息，减少伪影和信息丢失。
  2. 启发式先验信息：通过嵌入深度和梯度信息，HUPE能够更好地适应复杂的水下环境，增强网络的鲁棒性。
  3. 语义协作学习模块：通过特征级别的协作学习，HUPE不仅能够生成视觉上令人满意的图像，还能提取任务导向的语义信息，从而更好地服务于后续感知任务。
  4. 广泛的实验验证：HUPE在多个公开数据集上进行了广泛的实验，验证了其在视觉增强和后续感知任务中的优越性。