本文介绍了一项由北京大学、Meta AI和蚂蚁集团的研究团队共同完成的研究，题为《CoPriv: Network/Protocol Co-Optimization for Communication-Efficient Private Inference》。该研究发表于2023年的第37届神经信息处理系统会议（NeurIPS 2023），主要作者包括Wenxuan Zeng、Meng Li、Haichuan Yang、Wen-Jie Lu、Runsheng Wang和Ru Huang。

研究背景与动机

随着深度学习在敏感数据和任务中的应用日益广泛，隐私保护成为了一个重要的问题。基于安全两方计算（Secure Two-Party Computation, 2PC）的深度神经网络（Deep Neural Network, DNN）推理能够提供密码学级别的隐私保护，但由于大量的通信开销，其延迟显著高于明文推理。现有的研究主要依赖于ReLU（Rectified Linear Unit）数量作为通信开销的代理指标，并通过减少ReLU数量来提高通信效率。然而，这些方法在最新的2PC协议中效果有限，因为它们忽略了其他线性和非线性操作对通信开销的贡献。

研究目标

CoPriv旨在通过联合优化2PC推理协议和DNN架构，显著减少推理过程中的通信开销。具体来说，CoPriv提出了一种基于Winograd变换的新2PC协议，并开发了DNN感知的优化方法，以减少推理通信。此外，CoPriv还提出了一种与所提出协议兼容的2PC感知网络优化算法，能够同时减少所有线性和非线性操作的通信开销。

研究方法与流程

CoPriv的研究流程包括以下几个步骤：

1. Winograd变换的协议优化：CoPriv首先针对广泛使用的3x3卷积提出了基于Winograd变换的优化协议。通过Winograd变换，卷积操作中的乘法次数显著减少，从而降低了通信开销。具体来说，Winograd变换将卷积操作转换为矩阵乘法，减少了乘法运算的次数，并通过批量优化进一步降低了通信复杂度。

2. DNN感知的协议优化：CoPriv提出了一种DNN感知的自适应卷积协议，根据网络层的维度选择协议初始化方，以最小化通信复杂度。实验表明，这种自适应协议能够进一步减少通信开销。

3. 可微ReLU剪枝与网络重参数化：CoPriv提出了一种可微的ReLU剪枝算法，通过引入架构参数来衡量每个ReLU的重要性，并在训练过程中联合优化模型权重和架构参数。剪枝完成后，CoPriv通过知识蒸馏（Knowledge Distillation, KD）对剪枝后的网络进行微调，以提高网络精度。此外，CoPriv还提出了网络重参数化算法，将剪枝后的网络块合并为单个密集卷积层，进一步优化通信开销。

实验结果

CoPriv在多个数据集上进行了广泛的实验，结果表明其能够显著减少2PC推理的通信开销。具体来说，CoPriv在CIFAR-100数据集上，与现有的2PC协议CryptFlow2相比，ResNet-18和ResNet-32的通信开销分别减少了2.1倍。此外，CoPriv在在线通信和总通信方面分别比现有的网络优化方法（如SNL和MetaPruning）减少了9.98倍和3.88倍，同时保持了更高的精度。

结论与意义

CoPriv提出了一种网络/协议协同优化的框架，能够同时优化2PC推理的预处理和在线通信。通过Winograd变换和DNN感知的协议优化，CoPriv显著提高了预处理阶段的效率。此外，CoPriv通过可微的通信感知ReLU剪枝和网络重参数化，进一步优化了ReLU、截断和卷积操作的通信开销。实验结果表明，CoPriv在不影响精度的情况下，显著减少了在线和总通信开销，为2PC推理的实用化提供了新的思路。

研究亮点

1. 创新性：CoPriv首次提出了网络/协议协同优化的框架，通过Winograd变换和DNN感知的协议优化，显著减少了2PC推理的通信开销。
2. 高效性：CoPriv在多个数据集上验证了其有效性，通信开销显著低于现有的2PC协议和网络优化方法。
3. 实用性：CoPriv提出的可微ReLU剪枝和网络重参数化算法，能够在不影响精度的情况下，进一步优化通信开销，为2PC推理的实际应用提供了可行的解决方案。

总结

CoPriv的研究为2PC推理的通信优化提供了新的思路和方法，具有重要的科学价值和应用前景。通过联合优化网络和协议，CoPriv显著提高了2PC推理的效率，为隐私保护下的深度学习推理提供了新的解决方案。