论文标题：A survey on federated learning: a perspective from multi-party computation

期刊：Frontiers of Computer Science

作者：Fengxia LIU , Zhiming ZHENG , Yexuan SHI , Yongxin TONG , Yi ZHANG

发表时间：15 Feb 2024

DOI：10.1007/s11704-023-3282-7

微信链接：点击此处阅读微信文章

文章信息

标 题：

A survey on federated learning: a perspective from multi-party computation

引用格式：

Fengxia LIU, Zhiming ZHENG, Yexuan SHI, Yongxin TONG, Yi ZHANG. A survey on federated learning: a perspective from multi-party computation. Front. Comput. Sci., 2024, 18(1): 181336

阅读原文：

问题概述

联邦学习（FL）已经成为一种流行的分布式机器学习范式，它允许多个数据所有者协作训练模型，而无需共享他们的原始数据集。在敏感数据上具有广泛的分析应用潜力。例如，联邦学习已被应用于医学大数据分析，如疾病预测、风险评估或客户建议模型。

联邦学习通过将训练过程分解为局部训练和模型聚合，使协作模型训练无需在数据所有者之间共享原始数据集 .每个数据所有者都会执行本地训练，并且只通信中间结果，例如，在中心服务器上进行模型聚合的梯度。使用中央服务器进行模型聚合的联邦学习称为中心化联邦学习 ，而以点对点的模型聚合称为去中心化联邦学习。中心化联邦学习给服务器带来了很高的计算负载，而去中心联邦学习则涉及到参与者间的过度通信。因此，半中心化联邦学习被提出来平衡计算和通信成本。

我们的工作

我们专注于隐私保护的联邦学习。请注意，交换中间结果（梯度）而不是原始数据集仍然可能泄露隐私。因此，在联邦学习过程中，安全通信和计算是必备条件。

多方安全计算是重要的安全保护手段。常用的多方计算技术包括混乱电路、秘密共享、同态加密、差分隐私等。近年来有关使用多方安全计算的联邦学习工作与日俱增。

本篇文章旨在全面概述在多方计算的视角下具有隐私保护的联邦学习。我们回顾了哪些多方计算方案是手段适用于 中心化、去中心化和半中心化的联邦学习中的隐私保护，见图2。我们还讨论了采用各种多方计算技术时，如何提高联邦学习的准确性和效率 ，见图3。

图2 基于安全多方计算的联邦学习分类

图3 基于多方计算的联邦学习

中心化的多方计算可以在一个中心服务器上安全地聚合来自所有者的数据。为了保护数据隐私，数据所有者 在将它们上传到服务器之前应该加密（加噪声）他们的本地数据，见图4。这类技术中的主流技术包括差分隐私。由于噪声的加入 ，在联邦模型训练过程中可能会引入更多的偏差。因此，研究中心化多方计算的人员往往专注于开发优化模型精度的算法。

图4 基于查分隐私的联邦学习流程

以秘密分享Secret sharing(SS)技术为例，它是一种密码技术，用于在一组参与者之间以某种方式分发密钥，即没有一个参与者能够独自访问完整的秘密。相反，秘密被分成份额，每个参与者只能得到秘密的一部分。只有当有足够数量的股份被合并时（被称为“阈值”） 可以重建原来的秘密。因此这种技术多适用于半中心化或者去中心化联邦学习范式。

图片来自：YI ZHANG, YUNFAN ZHANG, FENGXIA LIU. A Systematic Survey for Differential Privacy Techniques in Federated Learning. Journal of Information Security, 2023, 14, 111-135.

Frontiers of Computer Science

________________________________________

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；入选“中国科技期刊卓越行动计划项目”。

________________________________________

《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础科学、生命科学、工程技术和人文社会科学四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中12种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。

中国学术前沿期刊网

http://journal.hep.com.cn