构建数字新范式，共创行业新价值

复杂物联网环境中固有的设备、统计和模型的异构性给传统的联邦学习带来了巨大挑战，使其无法直接部署应用。为了解决物联网环境中的异构性问题，本文重点研究个性化联邦学习方法，这种方法能够减轻异质性带来的负面影响。此外，借助边缘计算的能力，个性化联邦学习能够满足智能物联网应用对快速处理能力和低延迟的要求。

边缘计算的提出主要是为了解决设备异构性中的高通信和计算成本问题，从而为物联网设备提供了按需计算的能力。因此，每个物联网设备可以选择将其计算密集型学习任务卸载到边缘，以满足快速处理能力和低延迟的要求。此外，边缘计算可以通过在本地就近存储数据的方式（例如，在智能家庭应用的智能边缘网关中）解决隐私问题，而无需将数据上传到远程云。还可以采用差分隐私和同态加密等隐私和安全保护技术来提高隐私保护水平。

本文提出了一个用于个性化联邦学习的协同云边缘框架 PerFit，该框架能够从整体上缓解物联网应用中固有的设备异构性、统计异构性和模型异构性问题。对于统计和模型的异构性，该框架还允许终端设备和边缘服务器在云边缘范例中的中心云服务器的协调下共同训练一个全局模型。在对全局模型进行学习训练后，在客户端设备中可以采用不同的个性化联邦学习方法，根据不同设备的应用需求对其进行个性化模型部署。

3.1 方法介绍

本文提出了一个针对智能物联网应用的个性化联邦学习框架，以整体的方式应对设备异构性、数据异构性和模型异构性挑战。如图 6 所示，本文提出的 PerFit 框架采用云边缘架构，为物联网设备提供必要的按需边缘计算能力。每个物联网设备可以选择通过无线连接将其密集的计算任务转移到边缘设备中（即家中的边缘网关、办公室的边缘服务器或室外的 5G MEC 服务器），从而满足物联网应用的高处理效率和低延迟的要求。
 

图 5. 使用合成数据集的 pFedMe、FedAvg 和 Per-FedAvg 在μ- 强凸和非凸设置下的性能比较

从实验结果来看，当客户端之间的数据是非独立同分布（Non-IID）时，pFedMe 和 Per-FedAvg 都获得了比 FedAvg 更高的测试准确度，因为这两种方法允许全局模型针对特定客户端进行个性化处理。通过多次梯度更新近似优化个性化模型从而避免计算 Hessian 矩阵，pFedMe 的个性化模型在收敛速度和计算复杂度方面比 Per-FedAvg 更具优势。

2.3 论文小结

本文提出了一种个性化联邦学习方法 pFedMe。pFedMe 利用了 Moreau envelope 函数，该函数有助于将个性化模型优化从全局模型学习中分解出来，从而使得 pFedMe 可以类似于 FedAvg 更新全局模型，但又能根据 t 每个客户端的本地数据分布并行优化个性化模型。理论结果表明，pFedMe 可以达到最快的收敛加速率。实验结果表明，在凸和非凸环境下，使用真实和合成数据集，pFedMe 的性能都优于经典 FedAvg 和基于元学习的个性化联邦学习算法 Per-FedAvg。
 

图 4. 使用 MNIST 的 pFedMe、FedAvg 和 Per-FedAvg 在μ- 强凸和非凸设置下的性能比较

对于合成数据集，利用相同参数和微调参数的比较结果见图 5。在图 5 中，尽管 pFedMe 的全局模型在测试准确率和训练损失方面表现不如其他模型，但 pFedMe 的个性化模型仍然显示出它的优势，因为它获得了最高的测试准确率和最小的训练损失。图 5 显示，pFedMe 的个性化模型比其全局模型 Per-FedAvg 和 FedAvg 的准确率分别高出 6.1%、3.8% 和 5.2%。
 

在我们确定使用COCO之前，我们一直使用ImageNet前5名的结果，所以面临一个更具挑战性的问题。我们无法通过训练检测模型来提高AP，但是可以教会它们减少边界盒坐标的L2损失。损失是不可微度量的替代。L2损失不是AP，但低L2损失与高AP相关，所以它是有效的。

从前，识字率是许多国家衡量教育进步的主要指标。几十年后，在识字率非常高的情况下，更高的学业完成率便是衡量教育进步的重点。然后是更高的大学入学率。我不知道学位与教育之间的关系是否像我们想象的那样紧密，也不知道高中教的知识是不是他们应该教的，但这是我们今天追求的指标。

从某种意义上说，对于这些问题，没有什么解决方法是对的。因此，根据定义，所有的路线都是错误的。只有尽可能多的尝试各种途径，我们才有可能选择一条相对正确的道路。使用AI术语，我们需要使用更大的批量抓取，并对尽可能多的分布进行采样。

这意味着我们必须将关注范围扩大到“准确性”和“速度”之外，还要包括“稳健性”或“连贯性”等内容。最重要的是，我们需要从精心挑选的基准转向现实世界。

以我研究乳腺癌检测算法的案例为例，研究员很容易错将这个领域当成已解决的领域。最近的研究已经在这个主题上取得了超人的成绩，但是，这些算法却无法应用于任何一家医院。原因很简单，它并不起作用。

这听起来有些夸张，但其实非常简单：即使是同一种东西，即乳房x光片，如果你在数据集a上训练算法，算法不会在数据集B上工作。

（编辑：宜春站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!