改进的3D指纹特征识别方法：基于可泛化的神经渲染
基于FingerNeRF的3D手指生物识别研究综述
背景与研究意义
随着生物识别技术的发展，三维(3D)生物识别因其更高的准确性、更强的抗伪装能力以及对拍摄角度变化的鲁棒性，逐渐成为主流研究方向之一。其中，3D手指生物识别技术因其生物特征（如指纹、指静脉、指关节等）易于获取且广泛使用，在学术界和工业界备受关注。然而，现有的3D生物识别方法普遍依赖显式的3D重建技术，这些方法在实际应用中面临两大挑战：
- 信息丢失：显式重建过程中不可避免地会丢失部分细节信息，直接影响后续识别任务的性能。
- 硬件与算法的紧耦合性：重建算法往往与特定硬件设备绑定，缺乏通用性，难以适应不同模态的数据或设备。
为解决上述问题，研究者提出了一种基于隐式神经辐射场（Neural Radiance Fields, NeRF）的FingerNeRF方法，旨在无需显式重建3D模型，直接通过可学习的神经网络完成3D特征提取与识别任务。
论文来源
本文题为“Improving 3D Finger Traits Recognition via Generalizable Neural Rendering”，由Hongbin Xu等来自South China University of Technology的研究人员完成，并发表于“International Journal of Computer Vision”。论文于2023年9月15日提交，2024年9月14日接收。
研究方法与工作流程
研究团队提出了一种创新性的隐式NeRF方法，即FingerNeRF，用于处理3D手指生物识别问题。其主要技术特点与流程如下：
1. 问题建模
传统显式方法需依赖3D模型的重建，进而提取特征，但FingerNeRF通过隐式建模，直接从图像中捕获3D特征。这一过程使用神经渲染技术，规避了3D重建过程中的信息丢失问题。
2. 网络结构与关键模块
FingerNeRF在神经渲染过程中设计了以下关键模块： - 特征指导变换器（Trait Guided Transformer, TGT）： 用于通过指纹或静脉等特征指导多视图特征的匹配，提升跨视角的特征一致性。 - 深度蒸馏损失（Depth Distillation Loss, DD-Loss）： 从大规模单目深度估计模型（如MiDaS）中蒸馏粗几何先验，用于约束神经网络输出的深度图。 - 特征引导渲染损失（Trait Guided Rendering Loss, TG-Loss）： 利用指纹或指静脉的特征图对渲染损失进行加权，增强对关键区域的监督。
3. 数据集采集与处理
研究团队采集了两个新数据集： - SCUT-Finger-3D：包含多视图指纹图像。 - SCUT-FingerVein-3D：基于红外光捕获的多视图指静脉图像。 此外，还使用公开数据集UNSW-3D进行实验。
实验结果与发现
1. 与显式3D方法的对比
相比传统显式重建方法（如基于COLMAP的点云重建），FingerNeRF展示了以下优势： - 仅需少量视图输入即可实现高质量3D特征提取。 - 凭借端到端的可学习神经网络，在识别任务中显著提高了性能。例如，在SCUT-Finger-3D数据集上的等错误率（EER）从显式方法的35%-40%降至22.60%。
2. 对不同模态数据的适应性
FingerNeRF在不同模态（指纹与指静脉）下均表现优异。在SCUT-FingerVein-3D数据集上，FingerNeRF的EER为16.98%，相比显式方法提高了13.37%。
3. 通用性与泛化能力
在通用性测试中，FingerNeRF在多个数据集（包括SCUT-Finger-3D、SCUT-FingerVein-3D和UNSW-3D）上均表现出色，PSNR、SSIM和LPIPS等指标均优于现有方法。
方法亮点与贡献
- 方法创新：首次将隐式NeRF引入3D手指生物识别，规避了显式重建过程中的信息丢失问题。
- 多模态支持：在指纹与指静脉等不同模态下均取得了良好的性能。
- 新数据集发布：提供了两个新的多视图3D手指生物特征数据集，填补了相关领域的研究空白。
- 端到端框架：通过神经渲染实现了从多视图输入到3D特征提取的端到端学习。
研究价值与展望
FingerNeRF为3D手指生物识别提供了一种新思路，不仅在性能上超越了显式方法，还展示了隐式建模在生物识别中的潜力。未来，该方法可推广至更多生物特征（如虹膜、面部）的3D识别领域。此外，通过优化训练流程与增加训练数据的多样性，FingerNeRF的性能与适用范围有望进一步提升。