有限数据下的图像合成：综述与分类法

2025-02-13 Thu
图像合成在有限数据下的研究综述研究背景与问题提出近年来，深度生成模型（Deep Generative Models）在智能创作任务中取得了前所未有的进展，特别是在图像和视频生成、音频合成等领域。然而，这些模型的成功依赖于大量的训练数据和计算资源。当训练数据有限时，生成模型容易出现过拟合（Overfitting）和记忆化（Memorization）问题，导致生成样本的质量和多样性显著下降。这种限制对许多实际应用场景构成了挑战，例如医学影像生成、工业缺陷检测以及艺术品创作等。
为了应对这些问题，研究人员致力于开发能够在有限数据条件下生成高质量、多样化图像的新模型。尽管已有许多研究尝试解决这一问题，但目前尚缺乏系统性的综述来明确以下几点：

1. 有限数据下图像合成的定义、挑战及分类；

2. 对现有文献的优缺点、局限性进行深入分析；

3. 探讨该领域潜在的应用方向和未来研究趋势。
为填补这一空白，Mengping Yang 和 Zhe Wang 撰写了题为《Image Synthesis Under Limited Data: A Survey and Taxonomy》的综述论文，旨在为初学者提供全面的介绍，并为相关领域的研究人员提供有价值的参考资源。
论文来源与作者信息这篇综述由 Mengping Yang 和 Zhe Wang 共同撰写，他们均来自华东理工大学计算机科学与工程系，以及教育部能源化工过程智能制造重点实验室。论文发表于国际权威期刊《International Journal of Computer Vision》（IJCV），并于2025年1月正式上线（DOI: 10.1007/s11263-025-02357-y）。IJCV 是计算机视觉领域的顶级期刊之一，专注于发布高质量的研究成果，因此本文具有较高的学术价值。
主要内容与讨论1. 有限数据下图像合成的主要任务分类作者首先提出了一个系统的分类框架，将有限数据条件下的图像合成任务分为四类：

1. 数据高效生成模型（Data-Efficient Generative Models）：直接从有限数据中学习分布并生成新样本；

2. 少样本生成适应（Few-Shot Generative Adaptation）：利用预训练的大规模生成模型知识迁移到目标领域；

3. 少样本图像生成（Few-Shot Image Generation）：基于少量输入条件图像生成新样本；

4. 单样本图像合成（One-Shot Image Synthesis）：仅使用一张参考图像生成多样化样本。
每一类任务都对应不同的技术挑战和解决方案。例如，在数据高效生成模型中，主要问题是如何避免过拟合和记忆化；而在少样本生成适应中，则需要处理源域和目标域之间的分布差异。
2. 数据高效生成模型的技术方法方法概述针对数据高效生成模型，作者总结了四种主要技术路径：

- 增强方法（Augmentation-Based Approaches）：通过数据增强扩展训练集，例如自适应判别器增强（ADA）、伪增强（APA）等；

- 正则化方法（Regularization-Based Approaches）：引入额外约束以稳定训练过程，如一致性正则化（CR）、平衡一致性正则化（BCR）等；

- 架构变体方法（Architecture Variants）：设计轻量级网络结构或优化现有模型参数复杂度，例如 FastGAN 和 Re-GAN；

- 现成模型方法（Off-the-Shelf Model Based Approaches）：利用预训练模型提取特征空间信息，如 ProjectedGAN 和 StyleGAN-XL。
实验结果与比较作者在多个基准数据集上评估了上述方法的性能，包括 FFHQ（人脸数据集）、AFHQ（动物面部数据集）以及一些低样本数据集（如 Animal-Faces-Cat）。实验表明，增强方法与正则化方法结合使用效果最佳。例如，在 FFHQ 数据集中，FakeCLR+ADA 在 2K 和 5K 样本上的 FID 分数分别达到 9.9 和 7.25，优于其他方法。
3. 少样本生成适应的核心策略方法概述少样本生成适应的目标是将预训练生成模型的知识迁移到目标领域。作者将其分为四类策略：

1. 微调方法（Fine-Tuning Based Approaches）：调整预训练模型的部分参数，如 TransferGAN 和 EWC；

2. 引入额外模块（Extra Branches Based Approaches）：添加辅助网络挖掘目标领域特征，如 MineGAN 和 Dorm；

3. 正则化方法（Regularization Based Approaches）：通过正则项保留源域知识，如 CDC 和 DCL；

4. 核调制方法（Kernel Modulation Based Approaches）：动态调整网络权重以适应目标领域，如 Adam 和 OKM。
实验结果与比较在从 FFHQ 迁移到 Babies、Sunglasses 和 Sketches 数据集的任务中，核调制方法表现尤为突出。例如，OKM 在 Babies 数据集上的 FID 分数为 37.57，显著优于传统微调方法（如 TransferGAN 的 104.79）。这表明核调制方法能够更有效地迁移知识，同时避免过拟合。
4. 少样本图像生成与单样本图像合成少样本图像生成少样本图像生成要求模型根据少量输入条件图像生成多样化样本。常见方法包括基于优化的方法（Optimization-Based）、基于转换的方法（Transformation-Based）以及融合方法（Fusion-Based）。实验结果显示，基于转换的方法在生成质量和多样性之间取得了较好的平衡。
单样本图像合成单样本图像合成面临的主要挑战是如何捕捉单一参考图像的内部分布。为此，研究者提出了多阶段训练和补丁级训练等策略。例如，Shaham 等人提出的 SinGAN 能够通过分层生成方式实现高质量的单样本合成。
5. 应用场景与开放问题应用场景有限数据下的图像合成技术已在多个领域展现出重要价值：

- 医学影像：生成稀缺疾病影像以辅助诊断；

- 工业检测：生成缺陷图像用于训练检测模型；

- 艺术创作：生成个性化艺术作品或修复历史画作。
开放问题尽管取得了一定进展，但仍存在诸多未解决的问题：

1. 如何进一步提高模型的数据效率？

2. 如何在保持生成质量的同时降低计算成本？

3. 如何设计更强大的正则化方法以缓解过拟合问题？
研究意义与价值本文通过对有限数据下图像合成领域的全面梳理，为读者提供了清晰的问题定义、分类体系以及最新研究成果的详细分析。其主要贡献包括：

1. 提出了统一的任务分类框架，便于理解不同研究方向的关系；

2. 对现有方法进行了全面比较，揭示了各类方法的优势与局限性；

3. 探讨了潜在应用方向和未来研究趋势，为后续研究提供了指导。
此外，作者还维护了一个及时更新的在线资源库（Awesome-Few-Shot-Generation），持续跟踪该领域的最新进展。这一综述不仅为学术界提供了宝贵的参考资料，也为工业界的实际应用奠定了理论基础。