请缨重操旧业写游戏代码

.2 实验分析

本文在基准 CIFAR-10 图像分类数据集上进行了实验，该数据集由 50k 个训练图像和 10k 个测试图像组成。调整每个图像的大小并将其裁剪为（24, 24, 3）的形状。使用 4 层卷积层 + 1 层全连接层结构的卷积神经网络（CNN）。实验中，将训练集划分到 n=100 个客户机设备上。其中，n=100 的每个分区中有 500 个图像。对于任何客户机设备，SGD 处理的小批量大小是 50。使用经典 FedAvg 联邦学习方法和单线程 SGD 作为基准方法。本文所提出的异步联邦优化方法记作 FedAsync。其中，根据α定义方式的不同，将选择多项式自适应α的方法定义为 FedAsync+Poly，将采用 Hinge 自适应α的方法记作 FedAsync+Hinge。

文提出的异步联邦优化方法的完整结构见图 1。其中，0：调度进程通过协调器触发训练任务。1、2：客户机设备接收中央服务器发来的延迟的全局模型 x_(t-τ)。3：客户机设备按照算法 1 中的描述进行本地更新。工作进程可以根据客户机设备的可用性在两种状态之间切换：工作状态和空闲状态。4、5、6：客户机设备通过协调器将本地更新的模型推送到中央服务器。调度程序对 5 中接收到的模型进行排队，并在 6、7、8 中按顺序将它们提供给更新进程：中央服务器更新全局模型并使其准备好在协调器中读取。在该系统中，1 和 5 异步并行运行，中央服务器可以随时触发客户机设备上的训练任务，而客户机设备也可以随时将本地更新的模型推送到中央服务器。

央服务器和客户机设备的工作线程执行异步更新。当中央服务器接收到本地模型时，会立即更新全局模型。中央服务器和客户机线程之间的通信是非阻塞的。完整算法具体见算法 1。在中央服务器端，有两个线程异步并行运行：调度线程和更新线程。调度器定期触发一些客户机设备的训练任务。更新线程接收到客户机设备本地训练得到的模型后更新全局模型。全局模型通过多个具有读写锁的更新线程来提高吞吐量。调度器随机化训练任务的时间，以避免更新线程过载，同时控制各个训练任务的陈旧性（更新线程中的 t-τ）。更新全局模型时，客户端反馈的陈旧性越大（过时越久），错误就越大。
 

着边缘设备 / 物联网（如智能手机、可穿戴设备、传感器以及智能家居 / 建筑）的广泛使用，这些设备在人们日常生活中所产生的大量数据催生了 “联邦学习” 的方法。另一方面，对于人工智能算法中所使用的的样本数据隐私性的考虑，进一步提高了人们对联邦学习的关注度。然而，联邦学习是同步优化（Synchronous）的，即中央服务器将全局模型同步发送给多个客户机，多个客户机基于本地数据训练模型后同步将更新后的模型返回中央服务器。联邦学习的同步特性具有不可扩展、低效和不灵活等问题。这种同步学习的方法在接入大量客户机的情况下，存在同时接收太多设备反馈会导致中央服务器端网络拥塞的问题。此外，由于客户机的计算能力和电池时间有限，任务调度因设备而异，因此很难在每个更新轮次（epoch）结束时精准的同步接入的客户机。传统方法会采取设定超时阈值的方法，删除无法及时同步的客户机。但是，如果可接入同步的客户机数量太少，中央服务器可能不得不放弃整个 epoch，包括所有已经接收到的更新。

为了解决同步联邦学习中出现的这些问题，本文提出了一种新的异步联邦优化算法，其关键思想是使用加权平均值来更新全局模型。可以根据陈旧性函数（A Function of the Staleness）自适应设定混合权重值。作者在文中证明，这些更改结合在一起能够生成有效的异步联邦优化过程。

1.1 方法介绍

给定 n 个客户机，经典联邦学习表示为：
 

为了解决这些异构性挑战，一种有效的方法是在设备、数据和模型级别上进行个性化处理，以减轻异构性并为每个设备获得高质量的个性化模型，即个性化联邦学习（Personalized Federated Learning）。针对 Non-IID 的联邦学习，机器之心之前有专门的分析文章，感兴趣的读者可以阅读。针对设备异构性的问题，一般可以通过设计新的分布式架构（如 Client-Edge-Cloud[5]）或新的联邦学习算法（ Asynchronous Fed[6]）来解决。

针对模型异构性的问题，作者在文献 [1] 中将不同的个性化联邦学习方法分为以下几类：增加用户上下文（Adding User Context ）[8]、迁移学习（Transfer Learning）[9]、多任务学习（Multi-task Learning）[10]、元学习（Meta-Learning）[3]、知识蒸馏（Knowledge Distillation ）[11]、基本层 + 个性化层（ Base + Personalization Layers）[4]、混合全局和局部模型（Mixture of Global and Local Models ）[12] 等。

本文选择了三篇关于个性化联邦学习的文章进行深入分析。其中，第一篇文章关于设备异构性的问题[6]，作者提出了一种新的异步联邦优化算法。对于强凸和非强凸问题以及一类受限的非凸问题，该方法能够近似线性收敛到全局最优解。第二篇文章重点解决模型异构性的问题[7]，作者提出了一种引入 Moreau Envelopes 作为客户机正则化损失函数的个性化联邦学习算法（pFedMe），该算法有助于将个性化模型优化与全局模型学习分离开来。最后，第三篇文章提出了一个协同云边缘框架 PerFit，用于个性化联邦学习，从整体上缓解物联网应用中固有的设备异构性、数据异构性和模型异构性[2]。

（编辑：宜春站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!