一种用于DNN生成内容的隐形且鲁棒的保护方法

2024-05-31 Fri
深度神经网络生成内容的隐形、稳健保护方法学术背景近年来，随着深度学习模型在工程应用中的革命性发展和广泛应用，涌现出诸如ChatGPT和DALL⋅E 2等现象级应用，这些应用对人们的日常生活产生了深远的影响。同时，人们可以利用开源的深度学习技术创建各种内容，例如图像风格迁移和图像卡通化，这些技术被称为AI生成内容（AIGC）。在这样的背景下，基于AIGC的商业应用，如美图、Prisma和Adobe Lightroom等，其版权保护变得急迫且不可避免。然而，由于许多AIGC相关技术是开源的，使得技术娴熟的个人也能够创建类似的应用。因此，当版权纠纷出现时，对于商业公司及其产品来说，是一个巨大的挑战。
当前，一些常见的版权保护方法包括但不限于注册版权、声明版权、加密版权保护等。这些方法对于实体产品（如书籍、电影）在实际生活中是有效的，但对于由深度神经网络（DNN）生成的产品则不适用。而传统的版权保护技术如条形码、QR码和水印（可见和不可见）存在的缺陷在于，它们会在图像上引入可见痕迹，影响图像的完整性，进而降低用户体验。此外，传统版权保护技术的成本和效率也可能不适用于高访客量的DNN应用特点。
论文来源本文由来自浙江大学计算机科学与技术学院的Donghua Wang，以及中国军事科学院防御创新院、智能游戏与决策实验室的Wen Yao、Tingsong Jiang、Weien Zhou和Xiaoqian Chen，以及浙江经济信息中心的Lang Lin共同撰写。本文发表于2024年5月14日，刊登在《Neural Networks》期刊上。
研究流程本文提出了一种全新的不可见、稳健的DNN生成内容的版权保护方法，命名为隐形稳健版权保护方法。研究流程包括以下几个方面：
a) 研究工作流版权编码器与版权解码器的设计：
版权编码器（CP Encoder）：它将版权图像与输入图像进行融合，生成包含版权信息的不可见扰动，并将其叠加在输入图像上，生成编码图像。
版权解码器（CP Decoder）：它从编码图像中提取版权图像。
稳健性模块的引入：
设计了一种稳健性模块，增强版权解码器在社交媒体平台上应对各种失真时的解码能力。
采用微分JPEG压缩、颜色抖动、高斯模糊和文本水印，部署空间变换网络（Spatial Transformer Networks, STN）来提高解码器的抗干扰能力。
损失函数设计：
在特征空间和颜色空间中设计损失函数，确保编码图像和解码图像的质量。
b) 研究主要成果研究通过大量客观和主观实验验证了方法的有效性，并通过在社交媒体（如微博和Twitter）上发布编码图像并下载进行实际测试，以验证方法在实践中的可行性。
流程结果数据：
将版权图像与输入图像融合，生成不可见扰动，并将其叠加至输入图像，生成编码图像。然后设计版权解码器从编码图像中提取版权图像。
引入稳健性模块，采用微分JPEG压缩、颜色抖动、高斯模糊和文本水印，并部署STN来提高解码器的抗干扰能力。
通过损失函数，保证编码图像和解码图像的质量。
结论与价值：
研究提供的版权保护方法在实现了高图片质量要求场景下的不失真保护，并且通过大量实验验证了其有效性。
本方法具备作为插件即插即用的优势，可以在不修改已部署系统的情况下保护其生成的产品，有效实现跟踪和取证。
创新性与亮点：
本研究提出的不可见扰动与相关版权信息结合，将版权信息嵌入图像而使人类观察者难以察觉。
在面对复杂的社交媒体环境干扰时，研究设计的稳健性模块显著提高了解码图像的抗干扰能力。
损失函数设计覆盖特征空间与颜色空间，确保图片质量。
c) 关键环节稳健保护方法的实验评价包括三个部分：隐蔽性评价、稳健性评价和物理测试评价。
隐蔽性评价：通过定量和定性指标，以及数据隐藏分析，验证了方法在不同数据集上的隐蔽效果。
稳健性评价：考虑潜在腐蚀条件下的解码能力，开展主观测试以研究人眼对嵌入痕迹的敏感度，进行物理测试以实际验证方法的可行性。
物理测试：在微博和Twitter上发布编码图像并下载，使用版权解码器进行解码，观察实际效果。
研究的意义与价值本文提出的稳健保护方法不仅在保护版权信息上表现优异，同时具备广泛的实际应用前景。它能够弥补现有方法在高访量DNN应用中的缺陷，为AIGC产品的商业化提供了坚实的保护手段。同时，它通过对方法实施的细致设计与全面评价，确保了其在实践中的高效性和可用性，具备成为DNN生成内容保护生态系统核心组件的潜力。
其他重要内容研究还揭示了在未来应用中需要考虑的潜在因素和问题，如图片分辨率和内容的多样性，以及实际应用中潜在的多媒体版权信息统一保护框架的需求。这为进一步研究提供了有价值的方向。