报告：基于全同态加密的低内存图像加密分类研究

主要作者与研究机构

本文的主要作者是 Lorenzo Rovida 和 Alberto Leporati，隶属于意大利米兰比可卡大学（University of Milan-Bicocca）的信息学、系统与通信系（Department of Informatics, Systems and Communication）。该研究成果已发表在 International Journal of Neural Systems 期刊，DOI: 10.1142/S0129065724500254。

研究背景

近年来，深度神经网络（Deep Neural Network, DNN）在图像分类和其他任务中表现出了非常强大的能力，因而逐渐成为许多在线服务中的关键技术模块。然而，与之相伴的是用户隐私问题的挑战。许多机器学习即服务（Machine Learning as a Service, MLaaS）方案需要访问用户的明文数据，尽管目前存在诸如欧洲《通用数据保护条例》（GDPR）等法律来保护数据，但实际应用中缺乏更实用的技术性保护。

为了解决这一问题，本文探索了机器学习与密码学的交叉领域，关注一种被称为全同态加密（Fully Homomorphic Encryption, FHE）的加密技术。FHE 的特点在于，它支持对加密数据直接进行计算且无需解密。作者的目标是设计并实现一个基于全同态加密的 ResNet（残差神经网络）模型，用于对已加密图像进行分类，同时确保分类结果仅用户可见。

研究工作流程

本研究包括以下主要步骤和技术创新点：

1. 残差神经网络（ResNet20）的选择及其隐私保护实现

Residual Neural Network（残差神经网络，简称 ResNet），利用了残差连接（Residual Connections）这一技术来有效训练深度网络，从而避免梯度消失问题。本文在全同态加密框架下实现了 ResNet20，一个含有20个层的特定 ResNet 模型，用于对 CIFAR-10 数据集（包含10类32×32尺寸图像）进行分类任务。

• 模型结构：模型包含初始卷积层（Initial Layer）、多层基础块（Basic Block），以及两个下采样块（Downsampling Block）。分类在最后通过全连接层进行。
• 激活函数的替代：由于 FHE 的同态计算仅支持加法和乘法，无法直接处理 ReLU 等非线性激活函数。因此，作者使用切比雪夫多项式（Chebyshev Polynomials）对 ReLU 函数进行近似。这种方法灵活且计算精度可调。

2. 全同态加密（FHE）方案与 CKKS 算法的结合

论文采用了 Cheon-Kim-Kim-Song（CKKS）方案，这是一种支持近似加密计算的全同态加密算法，能对实数向量进行高效的加密与计算。

• CKKS 的优化：研究引入优化向量编码（Optimized Vector Encoding）技术，将卷积层和批归一化（Batch Normalization）操作合并在一个计算模块中，从而减少了计算层的深度。
• 旋转密钥减少：对于卷积操作过程，本研究通过优化密文旋转过程，将之前需要随核大小（k²）逐渐增加的旋转密钥数量减少为固定的五个。这大幅降低了内存需求。

3. 数据处理流程与实验方法

整个加密分类流程通过以下步骤实现： - 密文的初始化与嵌套：密文的设计适应了不同网络层的特定需求，例如初始层、基础块和下采样块，每个层的密文槽位数逐次减半以匹配有效计算需要。 - 多项式逼近与层级优化：为了维持结果精度，调整了 ReLU 逼近多项式的次数（最高可达200阶）。 - 引入高效的升模与模缩：为解决 FHE 中的“噪声增长问题”，文章对密文在计算过程中的噪声通过 CKKS 的 Bootstrapping 技术进行了优化。

实验结果

实验在 MacBook M1 Pro 的单核 CPU 和 16GB 内存上完成，测试使用了 1000 张来自 CIFAR-10 测试集的加密图像，并比较了四组不同参数设置下网络的性能。

性能评估参数

• 分类准确率：ResNet20 原始模型在明文状态下对 CIFAR-10 的测试集精确度为 92.60%。在加密环境中，网络在设置不同参数时的准确率最高达到 91.67%，与原始模型的差距极小。
• 计算时长：在优化后，基于 CKKS 的 ResNet20 在加密环境中对每张图像分类的时间缩短至不到 5 分钟，达到了顶尖效率。
• 内存使用：通过减少旋转密钥的数量，实现内存使用的大幅减少（仅需要 15GB，相比其他最新作品减少了超过 85%）。

精确度和鲁棒性

实验选择了四组不同的密钥、噪声、和多项式参数，结果如下： - 最佳平衡的设置能在短于5分钟的时间内完成，并以91.67%的相对准确率完成测试。 - 实验表明增加多项式的比例或密钥长度虽然可以略微提高精度，但成本会显著增加。

研究结论

本研究成功构建了一个能在加密图像上运行的高效 ResNet20 模型，能在加密环境中维持 91.67% 的高分类性能，显著减少了内存消耗和运行时间。这一研究提供了一个切实可行的隐私保护图像分类解决方案，实用性接近实际部署需求。

• 科学意义：在全同态加密与机器学习的结合领域做出了重要贡献，突破了加密推理领域在非线性激活函数处理、高深度卷积网络拓展和内存瓶颈上的关键技术难点。
• 应用价值：这一技术不仅适用于医疗、金融等对数据隐私要求极高的领域，还可能为加密计算在边缘设备上的应用铺平道路。
• 研究亮点：降低旋转密钥的内存需求（压缩至原来的5%以下）；通过拟合多项式处理非线性函数；动态 Slot 减少策略提升加密效率。

研究亮点与未来展望

本研究的主要创新在于通过优化同态加密算法和引入新的向量编码技术，解决了高内存开销和长运行时长的痛点。相比其他最新工作的内存消耗高达 100GB 或执行需 9 分钟的问题，本文提出的解决方案更高效且轻量化。

未来的研究方向可以考虑： 1. 使用硬件加速（如 FPGA 或 GPU）进一步提升加密推理速度。 2. 扩展模型适配更复杂的数据集和具有更高维数据的实际应用场景。 3. 寻求解决全同态加密中复杂引导技术（Bootstrapping）的额外优化。

整体而言，该研究确立了全同态加密在深度学习领域高效应用的重要里程碑。