分布式下的WebSocket解决方案

pFedMe 中每个客户端的计算复杂度是 FedAvg 的 K 倍。

2.2 实验分析

本文实验考虑了一个使用真实（MNIST）和合成数据集的分类问题。MNIST 是一个手写数字数据集，包含 10 个标签和 70000 个实例。由于 MNIST 数据量的限制，作者将完整的 MNIST 数据集分发给 N=20 个客户端。为了根据本地数据大小和类别对异构设置进行建模，每个客户端都被分配了一个不同的本地数据大小，范围为 [1165;3834]，并且只有 10 个标签中的 2 个。对于合成数据，作者采用数据生成和分布过程，使用两个参数 α=0.5 和β=0.5 来控制每个客户端的本地模型和数据集的差异。具体来说，数据集使用 60 维实值数据为 10 类分类器提供服务。每个客户端的数据大小在[250;25810] 范围内。最后，将数据分发给 N=100 个客户端。

作者对 pFedMe、FedAvg 和 Per-FedAvg 进行了比较。MNIST 数据集中的实验结果见图 4。pFedMe 的个性化模型在强凸设置下的准确率分别比其全局模型 Per-FedAvg 和 FedAvg 高 1.1%、1.3% 和 1.5%。非凸设置下的相应数据为 0.9%、0.9% 和 1.3%

先，在内部层，每个客户端 i 求解公式（3）以获得其个性化模型，其中 w^t_(i,r)表示客户端 i 在全局轮次 t 和局部轮次 r 的局部模型。与 FedAvg 类似，本地模型的目的是帮助构建全局模型，减少客户端和服务器之间的通信轮数。其次，在外部层面，使用随机梯度下降的客户端 i 的局部更新是关于 F_i（而不是 f_i）的，如下所示
 

使用 < x,y > 作为两个向量 x 和 y 的内积，可以看到除了相似的正则化项外，Per-FedAvg 只优化了 f_i 的一阶近似，而 pFedMe 直接最小化了公式（3）中的 f_i。第三，Per-FedAvg（或通常基于 MAML 的方法）需要计算或估计 Hessian 矩阵，而 pFedMe 只需要使用一阶方法计算梯度。

此外，作者还给出了 Moreau envelope 的一些数学特性证明，这些数学特性能够保证引入 Moreau envelope 的联邦学习方法的收敛性。

假设 1（强凸性和光滑性）：f_i 分别是（a）μ- 强凸或（b）非凸和 L - 光滑的（即 L-Lipschitz 梯度），如下所示：
 

Per-FedAvg 是一个元学习方法，基于经典元学习的与模型无关的元学习（MAML）框架，Per-FedAvg 的目标是找到一个全局模型ω，可以用它作为初始化全局模型，进一步对损失函数执行梯度更新（步长为 α）来得到它的个性化模型θ_i(ω)。

与 Per-FedAvg 相比，本文的问题具有类似于 “元模型” 的考虑，但是没有使用ω作为初始化，而是通过解决一个双层问题来并行地求得个性化和全局模型，这种方式有几个好处：首先，虽然 Per-FedAvg 针对其个性化模型进行了一步梯度更新的优化，但 pFedMe 对内部优化器是不可知的，这意味着公式（3）可以使用任何具有多步更新的迭代方法来求解。其次，可以将 Per-FedAvg 的个性化模型更新重写为：

其中，θ_i 表示客户端 i 的个性化模型，λ表示控制个性化模型的ω强度的正则化参数。虽然较大的λ可以从丰富的数据聚合中受益于不可靠的数据，但是较小的λ可以帮助拥有足够多有用数据的客户端优先进行个性化设置。总之，本文方法的目的是 * 允许客户端沿不同的方向更新本地模型，同时不会偏离每个客户端都贡献所得到的“参考点”ω*。个性化联邦学习可以表述为一个双层问题：
 

随着手持设备、移动终端的快速发展和推广应用，这些手持设备 / 移动终端产生的大量数据推动了联邦学习的发展。联邦学习以一种保护隐私和高效通信的方式通过分散在客户端（客户机设备）中的数据构建一个精确的全局模型。在实际应用中，经典联邦学习面临了这样一个问题：* 如何利用联邦学习中的全局模型来找到一个针对每个客户端数据进行个性化适配处理的“个性化模型”*？

参考个性化模型在医疗保健、金融和人工智能服务等领域中应用的模式，本文提出了一种个性化联邦学习方案，该方案引入了基于客户端损失函数的 Moreau envelopes 优化。通过该方案，客户端不仅可以像经典联邦学习一样构建全局模型，而且可以利用全局模型来优化其个性化模型。从几何的角度分析，该方案中的全局模型可以看作是所有客户端一致同意的“中心点”，而个性化模型是客户端根据其异构数据分布来构建的遵循不同方向的点。

2.1 方法介绍

首先，作者回顾了经典联邦学习：

（编辑：宜春站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!