基于事件相机的自监督快门复原方法

电气工程 人工智能 计算机科学 电子信息 工程学 信息科学
滚动快门校正 事件相机 自监督学习 连续时间全局快门 视频恢复

基于事件相机的自监督快门展开方法

研究背景与问题提出

在计算机视觉领域，从滚动快门（Rolling Shutter, RS）图像中恢复无失真的全局快门（Global Shutter, GS）视频一直是一个极具挑战性的问题。RS 相机由于逐行曝光机制，在动态场景中容易产生空间扭曲（如抖动和倾斜），这在高速运动场景中尤为明显。尽管现有的方法可以通过人工假设或特定数据集的特性来纠正 RS 效应，但这些方法往往在复杂非线性运动的真实场景中表现不佳。此外，许多方法依赖于合成数据集进行训练，导致在真实场景中性能下降，即所谓的“合成到真实”差距。

为了解决这些问题，本文作者提出了一种基于事件相机的自监督学习框架——SelfUnroll，旨在通过利用事件相机的高时间分辨率信息，实现从 RS 图像到连续时间 GS 视频的高质量重建。这一研究不仅解决了传统方法在复杂运动场景中的局限性，还避免了对昂贵高速相机的依赖，从而降低了数据采集成本。

论文来源与作者介绍

这篇论文题为《Self-Supervised Shutter Unrolling with Events》，由 Mingyuan Lin 和 Yangguang Wang 等人共同撰写，其中 Mingyuan Lin 和 Yangguang Wang 为共同第一作者。作者分别来自武汉大学电子与信息学院、小米公司北京分公司、苏黎世联邦理工学院计算机科学系、北京大学计算机科学学院以及武汉大学人工智能学院。论文发表于国际顶级期刊《International Journal of Computer Vision》（IJCV），并于 2025 年 1 月正式接受。

研究流程与实验设计

a) 研究流程与方法

1. 事件驱动的帧间补偿器（E-IC）

研究的核心是提出了一种名为事件驱动帧间补偿器（Event-based Inter/Intra-frame Compensator, E-IC）的模块。E-IC 的设计目标是通过结合空间和时间信息，实现 RS 和 GS 图像之间的灵活转换。具体而言，E-IC 可以处理三种模式的转换：RS 到 GS（RS2GS）、GS 到 RS（GS2RS）以及 RS 到 RS（RS2RS）。其核心思想是利用事件流提供的高时间分辨率信息，预测任意时间间隔内的像素级动态变化。

E-IC 包含两个子模块： - E-ICT：用于时间亮度过渡，采用残差密集网络（Residual Dense Network, RDN）实现。 - E-ICS：用于空间像素平移，基于 U-Net 架构实现。

最终，E-IC 将两种补偿结果融合，形成统一的输出。

2. 自监督学习框架

为了适应真实场景的数据分布，作者设计了一个完全自监督的学习框架，包含以下三个约束： - 潜在一致性（Latent Consistency, LLC）：通过将两幅连续的 RS 图像映射到同一潜在 GS 图像，确保重建结构的一致性。 - 循环一致性（Cycle Consistency, LCC）：通过 RS 到 GS 再回到 RS 的循环过程，确保亮度稳定性。 - 时间一致性（Temporal Consistency, LTC）：利用相邻 RS 帧之间的事件信息，提供鲁棒的时间域监督。

3. 多帧融合模块（MOA）

为了应对前景遮挡和噪声事件的影响，作者进一步提出了运动与遮挡感知模块（Motion and Occlusion Aware Module, MOA）。MOA 模块通过融合两幅连续 RS 图像生成的 GS 结果，提高了重建的稳定性和准确性。

b) 主要结果

1. 合成数据集上的表现

在 Fastec-RS 和 GEV-RS-Sharp 数据集上，SelfUnroll 在单帧重建和视频序列重建任务中均表现出色。例如，在 GEV-RS-Sharp 数据集上，SelfUnroll-M 的 PSNR 达到 32.71 dB，SSIM 达到 0.934，显著优于现有方法。此外，SelfUnroll 在处理复杂非线性运动时表现出更高的鲁棒性。

2. 真实数据集上的表现

在 GEV-RS-Real 和 DAVIS-RS-Event（DRE）数据集上，SelfUnroll 展现了强大的泛化能力。与依赖合成数据集的方法相比，SelfUnroll 通过自监督学习直接适配真实场景的数据分布，有效减少了“合成到真实”差距。

3. 遮挡处理能力

MOA 模块在处理遮挡问题时表现出色。例如，在恢复被前景物体遮挡的区域时，SelfUnroll-M 能够自适应地融合多帧信息，避免了颜色失真和纹理错误。

研究结论与意义

c) 研究结论

SelfUnroll 方法通过结合事件相机的高时间分辨率信息和自监督学习框架，成功实现了从 RS 图像到连续时间 GS 视频的高质量重建。实验结果表明，SelfUnroll 不仅在合成数据集上表现优异，还能在真实场景中保持高性能。

d) 科学价值与应用价值

这项研究具有重要的科学价值和应用潜力： - 科学价值：提出了一种新颖的事件驱动帧间补偿器（E-IC）和自监督学习框架，为解决 RS 校正问题提供了新思路。 - 应用价值：SelfUnroll 方法可以广泛应用于高速成像、运动分析和视频增强等领域，特别是在需要低成本解决方案的场景中。

e) 研究亮点

  • 提出了统一的 RS 和 GS 图像转换方法，适用于任意时间戳的 GS 帧重建。
  • 首次将自监督学习应用于基于事件相机的 RS 校正任务。
  • 设计了 MOA 模块，有效解决了遮挡和噪声事件带来的挑战。

总结

SelfUnroll 是一种创新性的方法，通过结合事件相机和自监督学习，成功解决了 RS 图像校正和连续时间 GS 视频重建的难题。其提出的 E-IC 模块和 MOA 模块为未来的研究提供了重要的参考方向，同时也为实际应用场景提供了高效的解决方案。