基于三维生成对抗网络的一次性生成域适应

信息科学 电子信息 人工智能 计算机科学
三维图像生成 生成对抗网络 一次性域适应 跨域一致性 多视图一致性

One-shot Generative Domain Adaptation in 3D GANs

近年来，生成式对抗网络（Generative Adversarial Networks, GANs）在图像生成领域取得了显著进展。传统的二维生成模型已经能够在多种任务中展现出极高的能力。然而，将这一技术扩展到三维领域（3D-aware image generation），以同时生成二维图像并学习三维结构，仍然面临诸多挑战。本文报道了发表在 International Journal of Computer Vision 上的一篇题为《One-shot Generative Domain Adaptation in 3D GANs》的文章。该研究由 Ziqiang Li、Yi Wu、Chaoyue Wang 等学者完成，涉及南京信息工程大学、悉尼大学和中国科学技术大学等研究机构。

研究背景与问题陈述

3D图像生成需要庞大的训练数据集，以确保生成稳定性和减少过拟合的风险。然而，在许多实际场景中，获取足够的训练数据几乎是不可能的。例如，特定风格的图像（如草图或浮世绘）往往稀缺，难以满足大规模数据训练的需求。因此，开发一种能够使用极少数据（甚至仅一张参考图像）完成三维生成器领域迁移的技术显得尤为重要。

研究者首次提出了“一次性三维生成领域适配（One-shot 3D Generative Domain Adaptation, GDA）”的任务目标，即将一个预训练的三维生成器从一个领域迁移到新领域，仅依赖一张参考图像。该任务的挑战包括高保真度、大多样性、跨领域一致性及多视图一致性。为应对这一问题，作者设计了一个名为 3D-Adapter 的方法，并取得了显著的研究进展。

研究来源与方法概述

该研究由多位学者合作完成，于 2024 年发表在 International Journal of Computer Vision。研究基于当前最流行的三维生成网络之一 EG3D，并通过限制性权重微调、设计高级损失函数和采用渐进式训练策略等方法，实现了高效的一次性三维领域适配。代码已开源于 GitHub。

研究方法详述

1. 工作流程

该研究提出的 3D-Adapter 方法由三个核心组件组成：

  1. 限制性权重集微调
    作者通过详细的消融实验，探索了预训练生成器中哪些权重组件对迁移最为关键。研究发现，直接微调整个模型会导致严重的性能退化，而选择性微调特定权重模块（如三平面解码器（Tri-plane decoder, Tri-D）和基于样式的超分辨模块（G2））能够有效提升稳定性，减轻训练过程中可能出现的问题。

  2. 高级损失函数
    为实现高保真度、多样性、跨领域一致性和多视图一致性，研究引入了四种损失函数：

    • 领域方向正则化（Domain Direction Regularization, DDR）：利用预训练的对比语言-图像模型（CLIP），确保生成器能够学习目标领域特征，同时保留生成的多样性。
    • 目标分布学习（Target Distribution Learning, TDL）：通过优化松弛的地球搬运距离（Relaxed Earth Mover’s Distance, REMD），捕捉参考图像的领域特征。
    • 图像级源结构保持（Image-level Source Structure Maintenance, ISSM）：保持适配后图像与源图像在领域无关属性（如姿势和身份）上的一致性。
    • 特征级源结构保持（Feature-level Source Structure Maintenance, FSSM）：在三维特征空间内保持一致性。

  3. 渐进式微调策略
    为克服直接微调模型时可能出现的过拟合或欠拟合问题，研究采用了两步渐进式训练策略：

    • 第一步：仅微调三平面解码器，重点优化 DDR、TDL 和结构保持损失。
    • 第二步：微调超分辨模块，进一步细化生成器。

2. 实验与数据分析

数据集

研究采用了多个目标领域数据集，包括草图（Sketches）、浮世绘（Ukiyoe）及卡通（Cartoon），并将 FFHQ 数据集作为源领域。

定量与定性分析

  • 定量评价指标：使用 FID、KID 等指标评估生成质量，同时引入身份相似性（Identity Similarity）和深度差异（Depth Difference）量化跨领域一致性和几何一致性。
  • 定性结果：对比实验表明，与其他方法（如 DIFA、DORM）相比，3D-Adapter 在保真度、多样性和一致性上均表现优异。尤其在领域适配任务中，生成器成功学习了目标领域的纹理特征，同时保持了源领域的几何和身份一致性。

用户研究

参与者通过比较参考图像、源图像及生成图像，在图像质量、风格相似性和属性一致性上给出评分。结果显示，3D-Adapter 方法在所有评价标准上均明显优于其他方法。

研究结论与意义

研究贡献： 1. 首次提出“一次性三维生成领域适配”任务，填补了该领域的研究空白。 2. 提出渐进式训练策略和四种高级损失函数，为处理小数据量三维生成提供了全新方法。 3. 在多项指标上显著优于现有方法，扩展了三维生成器在跨领域适配中的应用范围。

意义与展望： 3D-Adapter 方法为三维生成技术的跨领域适配开辟了新方向。其一张参考图像的适配能力为处理稀缺数据领域（如艺术风格转化）提供了有力工具，同时，其潜在应用场景包括虚拟现实、影视制作及数字人建模等。未来，研究者计划进一步优化生成器在跨域属性上的一致性，并探索多领域融合的可能性。

研究亮点

  1. 方法创新：提出针对三维生成任务的渐进式微调策略。
  2. 高效性：实现仅使用单张参考图像进行领域迁移。
  3. 实用性：适用于一键生成高保真、多样性的三维目标领域图像。
  4. 扩展性：方法不仅适用于一次性领域迁移，还支持零次领域迁移和潜在空间编辑等功能。

通过这一研究，作者为小样本三维生成的研究提供了重要参考，同时也为实际应用提供了先进解决方案。