基于图聚类的特征匹配研究：局部仿射一致性的实现与应用

学术背景与研究动机

特征匹配是计算机视觉中的基础问题，在三维重建、图像检索、图像配准、SLAM（Simultaneous Localization and Mapping）等众多任务中扮演着重要角色。然而，在实际应用中，特征匹配经常受到噪声、外点（outliers）和多样图像变换的影响，使得构建准确的特征对应变得极为困难。当前基于图模型的特征匹配方法因其强大的结构表述能力在一定程度上缓解了这一问题，但仍然面临以下主要挑战： 1. 图匹配问题通常是NP难（NP-hard）问题，求解复杂度高。 2. 如何构建具有几何意义的图以描述特征点之间的关系仍然存在困难。

为了解决上述问题，本文提出了一种名为 GC-LAC（Graph Clustering with Local Affine Consensus） 的方法，将特征匹配问题转化为图聚类问题，通过局部仿射策略和鲁棒图聚类算法实现高效、通用的特征匹配。

论文来源与作者信息

本文由 Wuhan University 的 Yifan Lu 和 Jiayi Ma 撰写，发表于 International Journal of Computer Vision，文章 DOI 为 10.1007/s11263-024-02291-5。论文于 2022 年 9 月 9 日投稿，并于 2024 年 10 月 28 日接受。

方法论与研究流程

研究方法概述

GC-LAC 方法包括两个核心部分： 1. 图的鲁棒构建：通过局部仿射一致性策略，构建能够准确反映特征点几何关系的稀疏图。 2. 鲁棒图聚类：提出了一种新的密度驱动的图聚类算法 D2SCAN，用于从外点污染数据中提取可靠的特征对应。

研究工作流

1. 图的构建

• 几何一致性编码：每个特征匹配被视为图的一个节点，节点间的边权重根据特征点对之间的几何一致性计算。
• 局部仿射策略：假设图像变换可用多个局部仿射变换近似，划分图像空间为多个局部区域，每个区域通过滑动窗口定义。
• 稀疏图结构：通过运动一致性先验（Motion Coherence Prior），构建相对稀疏的图以减少计算复杂度。

2. 图聚类

• D2SCAN 算法：基于主导集聚类（Dominant Set Clustering）与密度聚类（DBSCAN）的结合，提出了一种新算法：
  • 定义密度可达性（Density-Reachable）的新标准。
  • 使用复制动态（Replicator Dynamics）优化聚类目标函数。
  • 提供线性时间复杂度，适合大规模实时任务。

核心创新点

1. 将特征匹配任务转化为密度驱动的鲁棒图聚类问题，同时过滤外点并自动发现多视觉模式。
2. 提出局部几何一致性策略和运动一致性驱动的几何求解器（MCDG），适用于多种图像变换类型。
3. 提出鲁棒图聚类算法 D2SCAN，克服了传统聚类方法对外点的敏感性，显著提高了聚类效率和效果。

实验与结果分析

实验设置

实验包括多种场景的特征匹配任务，以及在几何估计、相对位姿估计、环路检测等视觉任务中的应用。测试数据涵盖不同类型的图像变换（刚性变换、非刚性变换、多模型运动等）。

数据集与评价指标

• 数据集：AdelaideRMF、VGG40、Nonrigid 等公共数据集。
• 指标：特征匹配精度、召回率、F1 分数，以及几何估计的对称几何距离（SGD）。

实验结果

特征匹配

• 定性分析：在多种复杂场景下（例如，非刚性变形、多运动模式），GC-LAC 能够生成准确、鲁棒的特征对应。
• 定量比较：在 VGG40 和 AdelaideRMF 数据集中，GC-LAC 在精度、召回率和计算效率上均优于当前最先进方法。

几何估计

• 使用 GC-LAC 输出的特征匹配集，结合鲁棒估计器（例如 RANSAC），在基于 EVD 数据集的单应性估计和基于 TUM 数据集的基本矩阵估计中表现优异。

相对位姿估计

• 在 YFCC100M 数据集上，与深度学习方法 SuperGlue 和传统方法相比，GC-LAC 表现出更强的泛化能力，尤其是在未见场景下的表现显著。

算法复杂度

GC-LAC 的计算复杂度约为线性级别，相较于传统图匹配方法显著降低，适合大规模或实时应用。

研究意义与价值

本文提出的 GC-LAC 方法不仅解决了特征匹配中外点过滤和多视觉模式发现的难题，还为复杂场景下的特征匹配提供了一种高效、通用的解决方案。其稀疏图构建与鲁棒聚类策略在多个任务中展现出强大的性能，具有重要的科学价值和实际应用潜力。