分享自:

基于颜色化启发的定制化低光图像增强方法

期刊:IEEE Transactions on Neural Networks and Learning SystemsDOI:10.1109/TNNLS.2024.3502424

本文档属于类型a,即报告了一项原创性研究。以下是基于文档内容的学术报告:


研究作者与机构
本研究由Zhi Jin(IEEE高级会员)、Chenxi Wang和Xing Luo共同完成。Zhi Jin和Chenxi Wang来自中山大学深圳校区智能系统工程学院的学校,Xing Luo则隶属于鹏城实验室前沿研究部。该研究发表于《IEEE Transactions on Neural Networks and Learning Systems》期刊,发表日期为2024年。

学术背景
低光图像增强(Low-Light Image Enhancement, LLIE)是计算机视觉领域的一个重要研究方向,旨在改善在弱光条件下拍摄的图像质量。然而,现有的LLIE方法大多忽略了色度(chrominance)信息的重要性,导致增强结果在色彩表现上不尽如人意。此外,尽管一些研究尝试在增强过程中引入定制化操作以满足用户的审美需求,但这些方法通常采用“黑箱”方式,缺乏对色度信息的有效利用。本研究的目标是通过将LLIE任务分解为亮度增强(brightening)和着色(colorization)两个子任务,提出一种基于解耦网络的定制化低光图像增强方法,称为CCNet。该方法不仅能够提升图像的整体质量,还能根据用户需求灵活调整色彩风格和饱和度。

研究流程
1. 任务分解与网络设计
研究首先将LLIE任务分解为亮度增强和着色两个子任务。亮度增强子任务的目标是恢复图像的对比度、减少噪声并提升细节清晰度,而着色子任务则利用低光图像中的色度信息作为色彩引导,预测增强图像中的丰富色度。为此,研究设计了一个名为CCNet的解耦网络,该网络包含一个多任务编码器和两个任务特定的解码器。
在编码器部分,研究采用了空间-频率层(Spatial-Frequency Layer, SFL),该层结合了空间和频率域的特征提取能力,能够更有效地捕捉图像的结构信息。在亮度增强解码器中,研究引入了亮度调整模块(Lightness Adjustment Module, LAM),通过关注图像中的暗区和边缘细节,进一步提升亮度增强效果。在着色解码器中,研究设计了色彩嵌入模块(Color Embedding Module, CEM),将亮度和色度信息作为多尺度特征进行融合,并结合色彩分类损失(color classification loss)来避免色彩消失问题。

  1. 数据与训练
    研究在多个数据集上进行了实验验证,包括LSRW-Huawei、LSRW-Nikon和FiveK数据集。这些数据集包含了不同曝光条件下拍摄的真实场景图像。研究使用PyTorch框架构建CCNet,并在RTX 3090 Ti GPU上进行训练,批处理大小为8,初始学习率为4.0×10⁻⁴,优化器为Adam。训练过程中,输入图像经过随机裁剪和旋转预处理,以确保模型的鲁棒性。

  2. 定制化增强
    研究提出了两种定制化增强方式:色彩风格定制和饱和度定制。色彩风格定制通过参考图像的色彩风格调整输入色度信息,而饱和度定制则通过放大色度信息来控制增强结果的饱和度。这些定制化操作在推理阶段进行,无需额外的训练,且不会影响亮度增强结果。

  3. 极端低光条件下的解决方案
    针对极端低光条件下色度信息几乎消失的问题,研究提出了数据增强和色彩风格定制相结合的方法。通过在训练过程中降低输入色度的饱和度,模型能够学习如何在色度信息极少的情况下恢复色彩。此外,结合参考图像的色彩风格和饱和度调整,研究成功在极端低光条件下恢复了丰富的色彩。

主要结果
1. 定量评估
研究在LSRW-Huawei和LSRW-Nikon数据集上进行了定量评估,采用峰值信噪比(PSNR)、结构相似性(SSIM)和色彩敏感误差(CSE)作为评价指标。实验结果表明,CCNet在所有指标上均优于现有的13种LLIE方法,证明了其在结构和色彩恢复方面的优越性。
例如,在LSRW-Huawei数据集上,CCNet的PSNR为25.67,SSIM为0.923,CSE为0.012,均显著高于其他方法。在LSRW-Nikon数据集上,CCNet的PSNR为26.12,SSIM为0.931,CSE为0.011,同样表现出色。

  1. 定性评估
    研究通过视觉对比展示了CCNet的增强效果。与其他方法相比,CCNet在恢复图像细节和色彩方面表现更为出色。例如,在极端低光条件下,CCNet能够恢复出更丰富的色彩,而其他方法则往往出现色彩暗淡或失真的问题。

  2. 定制化增强效果
    研究展示了色彩风格定制和饱和度定制的效果。通过调整参考图像的色彩风格,CCNet能够生成符合用户审美的增强结果。同时,饱和度定制允许用户灵活控制增强图像的色彩饱和度,而不会影响亮度信息。

结论
本研究通过将低光图像增强任务分解为亮度增强和着色两个子任务,提出了一种基于解耦网络的定制化增强方法CCNet。该方法不仅能够有效提升图像的整体质量,还能根据用户需求灵活调整色彩风格和饱和度。实验结果表明,CCNet在多个数据集上均表现出色,尤其在色度恢复方面具有显著优势。此外,CCNet的定制化操作无需额外训练,且不会影响亮度增强结果,具有较高的实用性和灵活性。

研究亮点
1. 任务分解与多任务学习架构
研究创新性地将LLIE任务分解为亮度增强和着色两个子任务,并设计了一个多任务学习架构,分别针对亮度和色度信息进行优化。
2. 定制化增强
研究提出了色彩风格定制和饱和度定制两种方式,为用户提供了灵活的增强选项。
3. 极端低光条件下的解决方案
研究通过数据增强和色彩风格定制相结合的方法,成功在极端低光条件下恢复了丰富的色彩。

研究意义
本研究不仅为低光图像增强领域提供了一种新的解决方案,还通过定制化增强功能满足了用户的个性化需求。其提出的解耦网络架构和定制化方法具有较高的学术价值和实际应用潜力,可为计算机视觉和图像处理领域的进一步研究提供重要参考。


以上是基于文档内容的学术报告,涵盖了研究的背景、方法、结果、结论及其意义。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com