使用模型投影的联邦学习进行多中心疾病诊断

2024-05-31 Fri
使用模型投影的联邦学习进行多中心疾病诊断背景介绍随着医学影像技术的快速发展，基于自动化诊断方法的研究在单中心数据集上表现出良好的性能。然而，这些方法在实际应用中往往难以泛化到其他医疗机构的数据。主要原因是这些方法通常假设不同医疗中心的数据是独立同分布（IID）的，而实际上不同中心由于使用不同的扫描仪和成像参数，导致数据分布非独立同分布（Non-IID）。此外，不同中心诊断的患者数量和种类也存在较大差异。因此，多中心的数据具有异质性，无法通过集中化学习（Centralized Learning）有效解决这一问题。
近年来，联邦学习（Federated Learning，FL）作为一种去中心化框架，为多中心协同训练全球模型提供了可能，同时还保留了各中心患者数据的隐私。然而，Non-IID数据在联邦学习中的应用仍然面临两个关键问题：客户机（Clients）上的灾难性遗忘（Catastrophic Forgetting）和服务器（Server）上的无效聚合（Invalid Aggregation）。
论文来源本文由Jie Du、Wei Li、Peng Liu、Chi-Man Vong、Yongke You、Baiying Lei和Tianfu Wang联合撰写，来自深圳大学和澳门大学。论文发表在即将出版的《Neural Networks》期刊上，文稿接受日期为2024年5月23日，引用时建议参考如下：
Du, J., Li, W., Liu, P., Vong, C. M., You, Y., Lei, B., & Wang, T. (2024). Federated learning using model projection for multi-center disease diagnosis with non-iid data. Neural Networks. doi: https://doi.org/10.1016/j.neunet.2024.106409
研究流程方法概述该研究提出了一种创新的使用模型投影的联邦学习方法（FedMOP），旨在解决客户机上的灾难性遗忘和服务器上的无效聚合问题。FedMOP的核心思想在于通过模型投影（Model Projection）方法，实现以下目标：
1. 避免客户机本地训练后对全球数据的损失增加（以防止性能退化）。
2. 防止全局模型在局部数据上的损失增加（以提高收敛速度）。
客户机端的模型投影（MPC）在每次通信轮次中，客户机首先对本地数据进行多轮训练，然后执行MPC，以减少灾难性遗忘问题。该方法通过局部线性函数近似和优化约束，确保客户机模型在全球数据上的损失不会增加，从而有效保留从服务器接收到的知识。
服务器端的模型投影（MPS）服务器在接收到客户机上传的模型参数后，利用MPS方法进行聚合，以减少无效聚合问题。同样地，通过优化约束，确保全局模型在局部数据上的损失不会增加，从而加速收敛。
实验设计研究选用了三组真实的医学影像数据集，分别代表了特征分布偏斜和标签分布偏斜的非独立同分布问题。通过五种流行的联邦学习方法（包含FedAvg、FedProx、Scaffold、FedAGrac和FedReg）进行对比实验。
主要结果特征分布偏斜场景在两个客户和四个客户场景下，FedMOP均显著优于其他联邦学习方法。特别是在四客户场景下，FedMOP明显提高了准确率，比传统方法提升了3.73%。
标签分布偏斜场景在Covid-19和PBC数据集的非均匀场景和单类场景下，FedMOP表现出卓越的性能。在非均匀场景中，它的准确率至少提高了1.70%，而在单类场景中，特别是PBC数据集的单类场景，它的准确率提升了至少2.47%。
收敛速度及通信成本FedMOP不仅具有较高的收敛速度，还能有效降低通信成本。在大多数实验中，FedMOP能以最低的通信成本达到最高的准确率，这证明了它在解决Non-IID问题上的有效性和高效性。
消融实验研究通过消融实验验证了MPC和MPS的有效性。消融实验结果显示，单独去除MPC会有所下降，而去除MPS则影响更显著，这表明两种模型投影方法在提升模型性能方面均发挥了重要作用。
结论与价值本研究提出的FedMOP在面对多中心医学影像数据的非独立同分布问题时表现优异，不仅能有效保留客户机端训练得到的知识，提高全局模型在本地数据上的适应性，还能显著降低通信成本和提升收敛速度。最为重要的是，在保护数据隐私的前提下，FedMOP达到了与集中化学习相媲美甚至更高的准确率。这项研究为联邦学习在医疗数据中的应用提供了新的视角和方法，为保障数据隐私和提高模型性能开辟了新的路径。
后续研究方向未来，研究团队计划将FedMOP应用于医学图像分割任务，以进一步验证其在更复杂医学应用中的有效性。
FedMOP通过巧妙的模型投影方法，在应对非独立同分布数据时取得了显著成效，为联邦学习在医疗应用中提供了一种实用且高效的解决方案。