工业互联网成最优选择

经典的机器学习方法基于样本数据（库）训练得到适用于不同任务和场景的机器学习模型。这些样本数据（库）一般通过从不同用户、终端、系统中收集并集中存储而得到。在实际应用场景中，这种收集样本数据的方式面临很多问题。一方面，这种方法损害了数据的隐私性和安全性。在一些应用场景中，例如金融行业、政府行业等，受限于数据隐私和安全的要求，根本无法实现对数据的集中存储；另一方面，这种方法会增加通信开销。在物联网等一些大量依赖于移动终端的应用中，这种数据汇聚的通信开销成本是非常巨大的。

联邦学习允许多个用户（称为客户机）协作训练共享的全局模型，而无需分享本地设备中的数据。由中央服务器协调完成多轮联邦学习以得到最终的全局模型。其中，在每一轮开始时，中央服务器将当前的全局模型发送给参与联邦学习的客户机。每个客户机根据其本地数据训练所接收到的全局模型，训练完毕后将更新后的模型返回中央服务器。中央服务器收集到所有客户机返回的更新后，对全局模型进行一次更新，进而结束本轮更新。通过上述多轮学习和通信的方法，联邦学习消除了在单个设备上聚合所有数据的需要，克服了机器学习任务中的隐私和通信挑战，允许机器学习模型学习分散在各个用户（客户机）上存储的数据。

联邦学习自提出以来获得了广泛的关注，并在一些场景中得以应用。联邦学习解决了数据汇聚的问题，使得一些跨机构、跨部门的机器学习模型、算法的设计和训练成为了可能。特别地，对于移动设备中的机器学习模型应用，联邦学习表现出了良好的性能和鲁棒性。此外，对于一些没有足够的私人数据来开发精确的本地模型的用户（客户机）来说，通过联邦学习能够大大改进机器学习模型和算法的性能。但是，由于联邦学习侧重于通过分布式学习所有参与客户机（设备）的本地数据来获得高质量的全局模型，因此它无法捕获每个设备的个人信息，从而导致推理或分类的性能下降。此外，传统的联邦学习需要所有参与设备就协作训练的共同模型达成一致，这在实际复杂的物联网应用中是不现实的。研究人员将联邦学习在实际应用中面临的问题总结如下[2]：（1）各个客户机（设备）在存储、计算和通信能力方面存在异构性；（2） 各个客户机（设备）本地数据的非独立同分布（Non-Idependently and Identically Distributed，Non-IID）所导致的数据异构性问题；（3）各个客户机根据其应用场景所需要的模型异构性问题。
 

该图表显示了从2016年1月的28.8点到2020年7月的55.1点的轨迹。取得的进步是无可否认的，从图中可以看出，EfficientDet D7x是目前最好的目标检测技术。但是，问你一个问题：你会在应用程序中使用哪一个模型?

你很可能无法作答，因为你不知道我说的是哪个应用程序，也不知道它有哪些要求。它需要实时运行吗?它能在移动设备上运行吗?它需要识别多少类?用户对错误检测的容忍度有多大……

依据答案，以上这些都不值得考虑，甚至连EfficientDet D7x都不值得考虑。如果模型必须在手机上实时运行，那么即使略微调整这些模型，也执行不了。更糟糕的是，不能保证这些模型能在连续帧之间产生一致的检测结果。我甚至不能说出一个要求最高检测质量的应用程序的名字，除了高准确度之外，没有其他要求。

换句话说，科研界所追求的度量标准只用于研究其本身。
 

许多大型会议公然忽视了应用型论文，这些文章聚焦于使用目前的技术解决现实世界中的问题，其中很多文章还关注在此过程中面临的挑战。程序是虚无缥缈的，目标检测额外精准10%，远比减少癌症死亡的1%更有价值。

人工智能界忽略了一个显而易见的事实：深度学习是一门实验科学。虽然神经网络脉络清晰，但它是一个难以解释的庞大的非线性系统。尽管越来越多的研究致力于阐释神经网络，但神经网络依然像以前一样神秘。科学方法是我们理解神经网络的唯一可靠工具，因为它植根于实验。

而矛盾之处在于，尽管神经网络的本质是实验，但是这个领域却拒绝纯粹的实验。一般，一篇神经网络的论文首先介绍其新颖之处，然后尝试形式证明，接着做消融研究，最后得出结论。这是根据实验得出的结论。

想象一下，如果土木工程师们决定创造与众不同的桥梁设计，却选择在桌子大小的乐高复制品上进行验证。没有使用真实建筑材料进行昂贵的仿真模拟或试验，你敢相信新提出的设计方案吗?你会特别信任这些实验，然后投资数百万美元来实现它们吗?不管你敢不敢，反正我是不敢。

简化的世界模型对于快速构建原型和尝试想法非常有用。但为了实际验证，你需要在真实的世界中进行尝试。这是一个两步走的过程。

现代AI研究停滞在前半段——基准这一问题上，实际的使用案例是后半段。ImageNet、COCO、CIFAR-10，这些都是人工智能的乐高。它们让我们实验新的想法，摒弃不佳的构思，它们是很好的工具。然而，它们只是达到目的的一种手段，而不是目的本身。

这并不是说当前的研究是错的，关键问题在于学术界与现实世界之间的脱节。

看看这个图表：该图介绍了COCO目标检测基准的最新进展，每一个小点都是一个不同的模型——一种新技术或现有技术的融合，领跑者用蓝色标出。

（编辑：宜春站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!