两个提高深度学习训练效率的绝技

3.4 论文小结

本文提出了一个云边缘架构中的个性化联邦学习框架 PerFit，用于具有数据隐私保护的智能物联网应用。PerFit 能够通过聚合来自分布式物联网设备的本地更新并利用边缘计算的优点来学习全局共享模型。为了解决物联网环境中的设备、统计和模型的异构性，PerFit 可以自然地集成各种个性化联邦学习方法，从而实现物联网应用中设备的个性化处理并增强性能。通过一个人类活动识别任务的案例研究，作者证明了 PerFit 的有效性。

4、总结

在这篇文章中，我们聚焦了个性化联邦学习的问题。联邦学习是一个有效的处理分布式数据训练的解决方案，它能够通过聚集和平均本地计算的更新来协作训练高质量的共享全局模型。此外，联邦学习能够在不损害用户数据隐私的情况下学习得到令人满意的全局模型。然而，由于分布式处理方式的固有弊端，联邦学习面临设备异构性、数据异构性和模型异构性等问题，在实际推广应用中存在无法直接部署的风险。

个性化联邦学习的目的是根据不同设备的应用需求对其进行个性化模型部署，以解决各类异构性问题。本文选择了专门针对于设备异构性和模型异构性问题的两篇文章进行详细分析，最后还选择了一篇文章介绍在物联网应用的云边缘架构中使用的个性化联邦学习框架。由我们选择的几篇论文中作者进行的理论分析和实验给出的结果可以看出，个性化联邦学习确实可以改进经典联邦学习方法的效果，能够有效应对客户端设备中的各种异构性情况，甚至能够处理一些设备宕机 / 存储空间已满等临时性失效的问题。联邦学习在各类实际场景中都有着巨大的应用需求，我们会继续关注个性化联邦学习的技术发展和部署应用方法。
 

3.2.5 数据增强

Zhao 等提出了一种数据共享策略，将一些均匀分布的全局数据从云端（中央服务器）分发到边缘客户端[20]，从而在一定程度上缓解客户数据高度不平衡的分布状况，从而提高个性化模型的性能。然而，直接将全局数据分发到边缘客户端会带来很大的隐私泄露风险，这种方法需要在数据隐私保护和性能改进之间进行权衡。此外，全局共享数据与用户本地数据的分布差异也会导致性能下降。

为了在不损害用户隐私的前提下纠正不平衡的 Non-IID 局部数据集问题，研究人员采用了一些具有生成能力的过采样技术和深度学习方法。Jeong 等提出了一种联邦扩充方法（Federated Augmentation，FAug）[21]，其中每个客户机共同训练一个生成模型，从而扩充其本地数据以生成 IID 数据集。具体地说，每个边缘客户机识别其数据样本中缺少的标签（称为目标标签），然后将这些目标标签的少数种子数据样本上载到服务器。服务器对上传的种子数据样本进行过采样，然后训练一个生成性对抗网络（Generative Atterial Network，GAN）。最后，每个设备可以下载经过训练的 GAN 发生器来补充其目标标签，直到得到一个平衡的数据集。通过数据扩充，每个客户机可以根据生成的数据集训练出一个更加个性化和精确的用于分类或推理任务的模型。值得注意的是，FAug 的服务器应该是可信的，这样用户才愿意上传他们的个人数据。

3.3 实验分析

本文实验基于一个名为 MobiAct 的可公开访问的数据集完成，该数据集重点研究人类活动识别任务。每个参与构建 MobiAct 数据集的志愿者都戴着三星 Galaxy S3 智能手机，带有加速计和陀螺仪传感器。志愿者在进行预定活动时，三轴线性加速度计和角速度信号由嵌入式传感器记录。使用 1 秒的滑动窗口进行特征提取，因为一秒钟就足够执行一个活动。MobiAct 中记录了 10 种活动，如步行、上下楼梯、摔倒、跳跃、慢跑、踏车等。为了实际模拟联邦学习的环境，本文实验随机选择了 30 名志愿者，并将他们视为不同的客户端。对于每个客户端，为每个活动随机抽取若干个样本，最后，每个客户端有 480 个样本用于模型训练。这样，不同客户端的个人数据可能呈现出 Non-IID 分布（统计异质性）。每个客户端的测试数据由分布均衡的 160 个样本组成。

使用两种模型进行客户端中的个性化学习。1） 多层感知器网络由三个完全连接的层组成，有 400 个、100 个和 10 个神经单元（总参数 521510 个），记作 3NN。2） 卷积神经网络（CNN），有三个 3×3 的卷积层（第一层有 32 个通道，第二个有 16 个通道，最后一个有 8 个通道，前两层每个都有一个 2×2 最大池化层），一个有 128 个单元和 ReLu 激活的全连接层，以及一个最终的 Softmax 输出层（总参数为 33698）。采用交叉熵损失和随机梯度下降（SGD）优化算法训练 3NN 和 CNN，学习率为 0.01。

作者选择集中式学习、经典联邦学习方法作为基准方法。对于集中式方法，采用了支持向量机（SVM）、k - 最近邻（kNN）和随机森林（RF）等常用的机器学习方法。此外，还采用了集中式 3NN（c3NN）和集中式 CNN（cCNN）进行比较。对于个性化联邦学习，作者选择了两种被广泛采用的方法：联邦迁移学习（Federated Transfer Learning ，FTL）和联邦蒸馏（Federated Distillation，FD）。对于 FTL，每个客户端设备将使用其个人数据对从云服务器下载的模型进行微调。而在 FD 中，每个客户端可以根据自己的需求定制自己的模型。

图 10 给出了 30 个客户端在不同学习方法下的测试准确度。对于集中式方法，基于深度学习的方法（c3NN、cCNN）可以比传统的基于机器学习的方法（SVM、kNN 和 RF）获得更高的准确度。经典联邦学习（FL-CNN）中的边缘客户端在中央云服务器的协调下，能够在不损害数据隐私的前提下改进识别性能，并达到与 cCNN 类似的 85.22% 的识别率。FL-3NN 和 FL-CNN 与集中式模式相比性能略有下降，这是由于联邦学习环境中固有的统计异质性造成的。通过个性化的联邦学习，FTL 和 FD 都可以捕捉到用户细粒度的个人信息，并为每个参与者获得个性化的模型，从而获得更高的测试准确度。例如，FTL-3NN 识别率可达 95.37%，比 FL3NN 高 11.12%。

（编辑：宜春站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!