这是一篇最新的联邦学习综述。
背景知识积累：
联邦学习的需求：
· 政府正在加强数据隐私法。
1）general data protection regulation (GDPR) in the EU[11]
2）California consumer privacy act (CCPA) in the USA[12]
3）data security law (DSL) in China[13]
· 保障数据的时效价值，独特性及私有性
联邦学习由谷歌提出[14]，存在许多威胁：
论文[15]证明原始数据可以从梯度中恢复。
论文[16]证明即使是部分梯度也可以恢复原始数据。
联邦学习包括以下步骤：数据预处理，评估和部署[17]
数据在预处理阶段可能遭受投毒攻击[18]
模型部署阶段可能遭受成员身份推断攻击[19]
模型本身可能在未经授权的情况下被误用和剽窃。
本文工作简述：
通过在深度神经网络（DNN）模型参数中嵌入水印来实现联邦模型知识产权保护
相关工作：
论文[17][22]提出了联邦遇到的挑战。
论文[23][24][25]提出了与本文一致的威胁。
论文[26]对多阶段的安全问题进行了详述。
贡献：
1）我们重申了安全联合学习的核心概念，并强调安全保证应涵盖整个FL生命周期，包括以下步骤：数据预处理、模型训练、评估和部署。
2） 我们提供了一个通用的SFL架构，涵盖了HFL和VFL场景，并总结了整个生命周期中每个阶段关于威胁、攻击和防御的现有工作。
3） 我们将模型知识产权视为构建安全FL系统的重要组成部分，并提供了如何保护联邦模型知识产权的详细实现。
安全联邦学习（SFL）的定义：
安全性的定义：要保证数据集，模型参数，模型结构，IP-right（知识产权）安全，同时要保证性能不变。
SFL的定义：
1）提供安全机制，包括但不限于使用多方安全计算，差分隐私，同态加密，基于硬件的方案（例如，可信执行环境（TEE））等技术保护用户，模型，数据隐私
2）有明确定义的威胁模型以及相应的可证明正确的防御策略，目的是在整个生命周期中提供和澄清联合学习的安全范围。
3）包含保护经过训练的模型的知识产权的方案。
上图分别是安全HFL和安全VFL。
本文方案的组件：
1）分布式机器学习（DML）。与FL相比，DML目的是实现大规模运算，是多节点系统参与者是节点，FL是保护数据隐私，参与者可以是个人和组织，需要激励鼓励更多的参与者。
2）安全协议。多个参与者预先协商一系列安全操作，以求在不损害数据隐私的情况下完成任务要求。
3）知识产权保护模型。
安全生命周期：
1）数据预处理阶段。1）可能有需要额外维护的数据需要从服务器上下载。2）准备初始化的模型需要从服务器上下载。这些外源数据可能面临恶意修改，如错误标记，噪音和中毒。
2）联合训练阶段，可能受到中毒攻击，后门攻击，拜占庭攻击等。
3）模型评估阶段。风险主要是逃逸攻击/对抗性示例，逃逸攻击(Evasion Attacks)是指攻击者在不改变目标机器学习系统的情况下，通过构造特定输入样本以完成欺骗目标系统的攻击。
4）部署阶段。可能出现逃逸攻击、模型推理攻击和模型剽窃等风险。
预处理的安全性：
· 客户端攻击的影响在很大程度上取决于恶意客户端的数量和受污染数据在整个训练样本中的百分比。
联合学习的选择机制[40]是一种天然的防御策略，识别恶意客户端的异常检测是另一种有效的方案。
· 服务端攻击通常出现在HFL，没有很好的策略，在多数论文中总是预设服务器可信，现在常用TEE来保证这一点。
模型训练的安全性：
在HFL设置中，攻击者可以控制中央服务器或客户端，或者窃听和窃取传输的参数。在VFL设置中，攻击者可以控制被动方或主动方，也可以窃听和窃取传输的参数。
1）梯度翻转攻击。[45]是基于GAN的攻击，[15]是梯度深度泄露（DLG）化合成梯度，使其尽可能接近原始梯度，改进版是iDLG。[47]通过将损失函数设置为与总变化（TV）范数的余弦相似性，提出了反转梯度以恢复原始输入图像。[48]提出了基于梯度的自适应隐私攻击（SAPAG），[49]提出了R-GAP，它提供了从梯度恢复数据的递归过程。[50]提出了垂直联合学习（CAFE）中的灾难性数据泄漏。
解决方案有：1）梯度加密。[52]使用泰勒近似来逼近损失函数。[16]提出在发送之前使用同态加密来加密梯度。[53]提出了一种高效的HE解决方案，称为BatchCrypt，用于跨竖井联合学习。但效率问题显著。2）渐变压缩。梯度压缩可以是修剪或稀疏化，因为部分梯度缺失，使恢复的图像远离原始数据[54]。3）噪声梯度法。[55]引入了一种新算法，称为DP FedAvg，用于在联合设置下对大型神经网络进行用户级差异专用训练。[56]提出了一种将FL与差异隐私相结合的通用框架，通过调整不同的噪声量来确保不同的保护级别。但是精度会严重受损。
2）投毒攻击。目标攻击或后门攻击旨在降低模型在具有某些特征的示例上的性能，同时在其他示例上保持良好的性能。[40]利用模型替换方法使后门攻击更加持久。[57]进一步引入了分布式后门攻击，其中全局后门触发器被分解为多个局部模式，每个局部模式都嵌入到不同恶意客户端的训练数据集中。[58]讨论了如何在动态环境下实现后门攻击。非目标攻击旨在降低模型性能，[59]提出了DeepConfuse框架，该框架使用自动编码器向训练数据添加不可感知的噪声，从而使受污染的数据混淆了在其上训练的相应分类器，并在输入新的干净数据时产生错误输出。拜占庭攻击是另一种非目标攻击，[60]提出了一种称为权重攻击的方法，其关键思想是隐藏攻击者的数据集大小，以便在执行模型聚合时改变模型权重。[61]提出了局部模型中毒攻击，该攻击在训练过程中操纵从受损设备上传到中央服务器的局部模型。
解决方案有：1）拜占庭稳健聚合。[62]提出了中值和修剪平均聚集来去除异常局部模型。[63]提出了Krum聚合规则，这是一种用于分布式随机梯度下降（SGD）的拜占庭弹性算法。[64]提出了同步SGD的Zeno聚合规则，至少有一个诚实的参与者就足以确保良好的防御性能。2）MPC。[65]将秘密共享与分布式机器学习相结合，在不损害模型性能的情况下实现了高级别的安全保障。[66]提出采用MPC来实现FL的隐私保护模型聚合。但存在效率问题。3）硬件解决方案，Intel的SGX[69，70]、Arm的TrustZone[71，72]和AMD的SEV[73]。
评估阶段的安全性：
逃逸攻击可以分为基于梯度的攻击和置信度（Confidence scores）。前者[39]提出了快速梯度符号法（FGSM），[75]通过迭代计算对抗性示例改进了FGSM。[76]提出了C&W算法。后者[77]提出了零阶优化（ZOO），[78]提出了自然进化策略（NES）的变体。
解决方案有：1）对抗训练。[80]通过微调对抗性示例构建了更健壮的分类器，[39]通过将对抗性目标与分类目标混合作为正则化子来建立鲁棒模型。2）知识提炼，[81]提出了防御蒸馏。3）异常检测，[82]通过使用连接到主分类网络的检测器子网络来检测对抗性示例。[83]根据经验验证了这样一种假设，即在将对抗性示例输入机器学习模型之前，可以使用统计测试来检测它们。
模型部署的安全：
模型推理攻击：1）标签推断攻击，在VFL中，主动方保留数据矩阵和类标签，而被动方只保留数据矩阵。标签推断攻击发生在被动方被攻击者控制的情况下，目的是推断主动方持有的标签。[84]提出了三种针对VFL的标签推理攻击：直接标签推理攻击、被动标签推理攻击和主动标签推理攻击。[85]提出了批量标签推断和替换攻击，以在具有HE保护通信的VFL设置中恢复标签。2）特征推理攻击。在VFL设置中，其中特征被分割并由不同方持有，目标是推断其他方持有的敏感特征信息。[86]提出了一种针对VFL中模型预测的特征推理攻击方法，其中主动方试图推断属于被动方成员身份推理攻击的新样本的特征值。3）成员身份推理攻击通常发生在HFL设置中，其中成员由不同的方划分和持有。给定一个数据记录和黑盒模型，攻击者试图通过模型输出确定该记录是否在模型的训练数据集中。
解决方案：[87]通过向训练数据注入一定量的噪声，或直接扰动模型参数，来扭曲结果模型。为了获得类似的结果，需要在学习输出上应用差异隐私。
模型的知识产权保护：
使用水印来保护产权是可行的。通过检测嵌入模型中的基于特征的签名[88，89]，或验证在训练阶段注入模型的后门样本的指定标签[89，90]，证明了允许对有价值的模型，特别是大型深度神经网络模型进行所有权验证的机器学习方法。
每个参与者都嵌入私人水印是可信的。为了让每个参与者嵌入他们自己的基于特征的签名，全局联合模型必须有足够的容量来嵌入一组潜在的（二进制）签名，而不会影响原始模型的性能。[92]中的理论分析和实证研究表明，只要嵌入签名的总比特长度不超过与深度神经网络大小成比例的阈值，就有可能嵌入签名而不会导致原始模型性能的显著损失。[92]证明了私人嵌入和验证是可以实现的。
还要考虑后门验证问题。对于基于后门样本的所有权验证，在提交本地模型进行聚合时，必须确保后门样本的持久性。
深度模型的知识产权可以通过各种数字水印方法来保护可分为用触发集的黑盒解决方案[90，105]和依赖于唯一可检测特征的白盒解决方案[88，106，107]。[88]提出的第一项努力是以白盒方式保护DNN的所有权，通过在DNN中嵌入指定的水印，而不影响原始任务的主机网络性能。[88]还证明，面对各种去除攻击，包括模型微调和修剪，指定水印的检测是稳健的….
针对DNN的方案不适用于GAN和RNN。因为输入输出不一致。
联邦学习中，WAFFLE方法[91]在服务器端引入了模型重新训练步骤，服务器将基于后门的水印[90]嵌入到聚合模型中。[92]在更一般的半诚实FL设置中考虑了FL IPR保护问题，并提出了FedIPR签名/水印嵌入方案。[92]提出了基于后门的水印和基于特征的水印。
联邦模型水印方法可以分为基于特征的方法[88，90−92]和基于后门的方法[109，110]。基于特征的水印需要通过对模型参数的白盒访问来提取，这在实践中是不现实的。
总结：
这篇文章对联邦学习中的一些定义进行了具体细致的描述，并对不同的生命周期所受到的攻击和防御方案进行了细致的描述，并着重强调了知识产权保护的问题。
知识补充：
本文中提到的投毒攻击，对抗样本（逃逸攻击），后门攻击具有一定的相似性，这里补充学习一下。
投毒攻击是指在数据预处理阶段在数据中投入的毒样本，使得模型目标偏移。
比如对聊天机器人对说脏话，使得聊天机器人也说出敏感词汇，在两个目的地之间反复使用同一条路线使得自动驾驶改变原定线路。
对抗样本是指在预测阶段加入混淆的样本使得预测出错。
后门攻击是指在数据上贴上trigger，使得模型出错。