确保人工智能和机器学习项目的安全性

3.2.4 联邦蒸馏方法

在经典联邦学习框架中，所有的客户机（例如参与的边缘设备）都必须同意在全局服务器和本地客户机上训练得到的模型的特定体系结构。然而，在一些现实的商业环境中，如医疗保健领域和金融领域等，每个参与者都有能力和意愿设计自己独特的模型，并且可能出于隐私和知识产权的考虑而不愿意分享模型细节。这种模型异构性对传统的联邦学习提出了新的挑战。

Li 等在文献 [18] 中提出了一个新的联邦学习框架 FedMD，使参与者能够利用知识蒸馏的方法独立地设计自己的模型。在 FedMD 中，每个客户机独立的将所学知识转化为标准格式，在不共享数据和模型体系结构的情况下确保其他人可以理解该格式。中央服务器收集这些知识来计算全局模型，并将其进一步分发给参与的客户机。知识转换步骤可以通过知识蒸馏来实现，例如，使用客户模型产生的类概率作为标准格式，如图 9 所示。通过这种方式，云服务器聚合并平均每个数据样本的类概率，然后分发到客户机以指导其更新。

Jeong 等在文献 [19] 中提出一种联邦蒸馏方法，其中每个客户机将自己视为学生，并将所有其他客户机的平均模型输出视为其教师的输出。教师与学生的产出差异为学生提供了学习的方向。这里值得注意的是，为了在联邦学习中进行知识提炼，需要一个公共数据集，因为教师和学生的输出应该使用相同的训练数据样本进行评估。
 

.2.2 联邦元学习

在元学习中，模型是由一个能够学习大量相似任务的元学习者（a Meta-Learner）来训练的，训练模型的目标是从少量的新数据中快速适应新的相似任务。联邦元学习是指将元学习中的相似任务作为设备的个性化模型，将联邦学习与元学习相结合，通过协作学习实现个性化处理。Jiang 等在文献 [16] 中提出了一种改进的个性化 FedAvg。该方法通过引入一个精细化调整阶段，该精细化调整阶段使用模型不可知的元学习算法（model agnostic meta learning，MAML）。通过联邦学习训练得到的全局模型可以个性化地捕捉单个设备中的细粒度信息，从而提高每个物联网设备的性能。MAML 可以灵活地与任何模型表示相结合，以适应基于梯度的训练。此外，它只需少量的数据样本就可以快速学习和个性化适应处理。

由于联邦元学习方法通常使用复杂的训练算法，因此，与联邦迁移学习方法相比，联邦元学习方法实现的复杂度较高。不过，联邦元学习方法的学习模型更健壮，这一特性对于数据样本很少的设备是非常有用的。

3.2.3 联邦多任务学习

由前两节的分析可知，联邦迁移学习和联邦元学习的目的是通过个性化微调处理，在物联网设备上学习相同或相似任务的共享模型。与这种思路不同的是，联邦多任务学习的目标是同时学习不同设备的不同任务，并试图在没有隐私风险的情况下捕捉它们之间的模型关系（Model Relationships）。利用这种模型关系，每个设备的模型可以获取其他设备的信息。此外，为每个设备学习的模型总是个性化的。

由图 8 所示，在联邦多任务学习训练过程中，云服务器根据物联网设备上传的模型参数，学习多个学习任务之间的模型关系。然后，每个设备可以用其本地数据和当前模型关系更新自己的模型参数。联邦多任务学习通过交替优化云服务器中的模型关系和每个任务的模型参数，使参与其中的物联网设备能够协同训练其本地模型，从而减轻数据异构性，获得高质量的个性化模型。

文献 [17] 中提出了一种分布式优化方法 MOCHA。为了应对高通信成本的问题，MOCHA 具有一定的计算灵活性，从而通过执行额外的本地计算的方式造成在联邦环境下的通信轮次更少。为了减少最终结果的离散程度，作者建议在计算资源有限的情况下近似计算设备的本地更新。此外，异步更新方案也是避免离散问题的一种替代方法。此外，通过允许参与设备周期性地退出，MOCHA 具有健壮的容错性。由于复杂物联网环境中固有的设备异构性对联邦学习的性能至关重要，联邦多任务学习对于智能物联网应用具有重要意义。
 

图 7(a)中为 Chen 在文献 [14] 中提出的联邦迁移学习方法。首先通过经典的联邦学习训练一个全局模型，然后将全局模型发送至每个客户端设备。每个设备都能够通过使用其本地数据来改进、细化全局模型从而构建个性化模型。为了减少训练开销，只对指定层的模型参数进行微调，而不是对整个模型进行再训练。由图 7(a)可见，由于深度网络的底层侧重于学习全局（公共的）和底层特征，因此，在全局模型中的这些底层参数可以传输到局部模型中后直接复用。而传入的更高层的全局模型参数则应该根据本地数据进行微调，以便学习到针对当前设备定制的更具体的个性化特性。

Arivazhagan 等在文献 [15] 中提出了另一类联邦迁移学习方法 FedPer。FedPer 主张将深度学习模型视为基础 + 个性化层，如图 7(b)所示。其中，将基本层作为共享层，使用现有的联邦学习方法（即 FedAvg 方法）以协作方式进行训练。而个人化层在本地进行训练，从而能够捕获物联网设备的个人信息。在联邦学习一个阶段的训练过程之后，可以将全局共享的基础层转移到参与的物联网设备上，以其独特的个性化层构建自己的个性化深度学习模型。因此，FedPer 能够捕捉到特定设备上的细粒度信息，以进行更好的个性化推理或分类，并在一定程度上解决数据异构性问题。此外，由于只需要上传和聚合部分模型，FedPer 需要较少的计算和通信开销，这在物联网环境中是至关重要的。

（编辑：宜春站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!