基于伪平面正则化符号距离场的神经室内场景重建

学术背景

室内场景的三维重建是计算机视觉领域中的一个重要任务，具有广泛的应用前景，如计算机图形学、虚拟现实等。传统的三维重建方法通常依赖于昂贵的三维地面真值数据，而近年来，基于神经辐射场（NeRF）的隐式神经表示方法在仅使用多张图像的情况下，展示了强大的三维表面重建能力。然而，由于NeRF主要基于颜色的体渲染进行优化，其在低纹理区域（如地板、墙壁等）的重建效果通常较差。这些低纹理区域在室内场景中普遍存在，且通常对应于平面结构。因此，如何在不引入额外监督信号或对房间布局做出额外假设的情况下，提升低纹理区域的重建质量，成为了一个亟待解决的问题。

本文提出了一种基于伪平面正则化符号距离场（PPlaneSDF）的室内场景重建方法。该方法通过将颜色相似的相邻像素视为同一伪平面，并在训练过程中动态估计平面参数，进而对平面上的点进行符号距离场的正则化。此外，本文还提出了一种关键点引导的光线采样策略，以提升训练效率并改善重建效果。

论文来源

本文由Jing Li、Jinpeng Yu、Ruoyu Wang和Shenghua Gao共同撰写，分别来自ShanghaiTech University、Xiaohongshu Technology Incorporated Company和The University of Hong Kong。论文于2024年发表在International Journal of Computer Vision期刊上。

研究流程与结果

1. 研究流程

1.1 伪平面生成

本文首先通过超像素分割（super-pixel segmentation）将颜色相似的相邻像素聚类为伪平面。这些伪平面不仅包括大面积的墙壁和地板，还包括物体上的小平面区域（如椅子和钢琴的外表面）。通过这种方式，生成了无监督的平面分割结果。

1.2 伪平面参数估计

为了在训练过程中动态估计平面参数，本文提出了一种高效的两步策略： - 第一步：粗略平面参数估计
在渲染过程中，每个平面分割区域采样少量点，并通过体渲染获取其深度。通过最小二乘法拟合这些点的三维坐标，得到粗略的平面参数。由于采样点数量有限，估计的平面参数存在噪声且不准确。

• 第二步：修正平面参数估计
  在粗略估计的平面上重新采样更多的点，并通过查询多层感知机（MLP）直接获取这些点的符号距离和法线方向。假设这些点足够接近真实平面，通过符号距离和法线方向进行修正，得到更准确的平面参数。

1.3 伪平面正则化

在得到修正的平面参数后，本文对采样点的符号距离进行正则化，使其与平面的距离一致。通过这种方式，平面区域的重建效果得到了显著提升。

1.4 平面分割融合与权重分配

由于无监督的平面分割结果通常存在噪声和不准确性，本文提出了一种基于多视角平面分割融合的权重分配策略。通过融合不同视角的分割结果，为采样点分配不同的权重，从而在平面估计和正则化过程中减少噪声的影响。

1.5 关键点引导的光线采样策略

为了避免在平面区域进行冗余的光线采样，本文提出了一种关键点引导的光线采样策略。通过提取图像中的关键点，并增加这些关键点周围区域的光线采样概率，使得网络能够更关注纹理丰富的区域，从而提升重建效果。

2. 研究结果

本文在ScanNet和7-Scenes数据集上进行了广泛的实验，验证了所提出方法的有效性和泛化能力。实验结果表明，PPlaneSDF不仅在曼哈顿场景中取得了具有竞争力的重建效果，还能够很好地泛化到非曼哈顿场景中。

• 曼哈顿场景：在曼哈顿场景中，PPlaneSDF在墙壁、地板等大面积平面区域的重建效果显著优于现有方法，尤其是在小平面区域（如家具表面）的重建细节上表现更为出色。

• 非曼哈顿场景：在非曼哈顿场景中，PPlaneSDF同样表现出色，能够处理具有多个主导方向的复杂场景，而现有方法（如Manhattan-SDF）则因依赖于曼哈顿世界假设而表现不佳。

3. 结论与意义

本文提出的PPlaneSDF方法通过伪平面正则化符号距离场，显著提升了室内场景的重建质量。其主要贡献包括： 1. 提出了一种基于伪平面的正则化方法，无需引入额外的几何标注或房间布局假设。 2. 设计了一种高效的两步平面参数估计策略，能够在训练过程中动态估计平面参数。 3. 提出了一种基于多视角平面分割融合的权重分配策略，减少了噪声对重建结果的影响。 4. 提出了一种关键点引导的光线采样策略，提升了训练效率并改善了重建效果。

该方法不仅在曼哈顿场景中表现出色，还能够很好地泛化到非曼哈顿场景，展示了其在复杂室内场景重建中的广泛应用前景。

研究亮点

1. 伪平面正则化：通过将颜色相似的像素视为伪平面，并在训练过程中动态估计平面参数，显著提升了低纹理区域的重建效果。
2. 多视角平面分割融合：通过融合不同视角的平面分割结果，减少了噪声对重建结果的影响。
3. 关键点引导的光线采样：通过增加纹理丰富区域的光线采样概率，提升了训练效率并改善了重建细节。

其他有价值的信息

本文还进行了大量的消融实验，验证了各个模块的有效性。实验结果表明，伪平面正则化、多视角平面分割融合和关键点引导的光线采样策略都对最终的重建效果有显著贡献。此外，本文还展示了PPlaneSDF与现有方法（如Manhattan-SDF）的结合效果，进一步提升了重建质量。

PPlaneSDF为室内场景的三维重建提供了一种新的思路，展示了其在复杂场景中的广泛应用潜力。