认识人和鱼的AI，能识别美人鱼吗？阿里CVPR论文因果推理回复

学过人类照片和鱼类照片的 AI，第一次见到美人鱼的照片会作何反应？人脸和鱼身它都很熟悉，但它无法想象一个从没见过的事物。近期，阿里巴巴达摩院将因果推理方法引入计算机视觉领域，尝试克服机器学习方法的缺陷，让 AI 想象从未见过的事物，相关论文已被计算机视觉顶会 CVPR 2021 收录。

认识人和鱼的AI，能识别美人鱼吗？阿里CVPR论文因果推理方法解答

论文链接：

https://arxiv.org/pdf/2103.00887.pdf

代码链接：

https://github.com/yue-zhongqi/gcm-cf

计算机视觉（CV，Computer Vision）是研究如何让机器「看」的科学，通过将非结构化的图像和视频数据进行结构化的特征表达，让 AI 理解视觉信息。深度学习出现后，AI 在 CV 领域的很多任务上表现出了超越人类的能力。不过，比起人类的视觉理解能力，AI 仍是非常「低维」的存在。

通过人和鱼的形象来想象美人鱼，对人来说轻而易举，AI 却极有可能把美人鱼胡乱归入「人」或「鱼」中的一类。因为它们缺乏「想象」这一高级别认知能力。现阶段的机器学习技术本质是通过观测数据进行拟合，这导致 AI 只认得学过的事物，遇到超越训练数据的对象，往往容易陷入「人工智障」。

图灵奖得主、因果关系演算法创立者朱迪 · 珀尔认为，人类的想象能力源于我们自带因果推理技能的大脑。人类善问「为什么」，也就是寻求事物的因果关系。借助这套认知系统，我们用「小数据」就能处理现实世界无限的「大任务」。而 AI 却只能用「大数据」来处理「小任务」，如果 AI 能够学会因果推理，就有望打破「智商天花板」，甚至通向强人工智能。

因果推理理论极大地启发了研究者，其与机器学习的结合日益受到关注。在工业界，达摩院城市大脑实验室最早将因果推理方法引入 CV 领域，用因果推理模型赋能机器学习模型，让视觉 AI 更智能。今年，该团队与南洋理工大学合作了《反事实的零次和开集识别》（Counterfactual Zero-Shot and Open-Set Visual Recognition）等三篇采用因果推理方法的论文，均被 CVPR 2021 收录。

认识人和鱼的AI，能识别美人鱼吗？阿里CVPR论文因果推理方法解答

左为现有方法的 AI「想象」结果，中为达摩院论文提出的算法核心，右为基于达摩院框架完成的想象结果。在左右二图中，红色代表训练集里面的样本，蓝色是 AI 未见过类别的样本，绿色是 AI 对未见过类别的想象。

零次学习是指让机器分类没见过的对象类别，开集识别要求让机器把没见过的对象类别标成「不认识」，两个任务都依赖想象能力。《反事实的零次和开集识别》提出了一种基于反事实的算法框架，通过解耦样本特征（比如对象的姿势）和类别特征（比如是否有羽毛），再基于样本特征进行反事实生成。在常用数据集上，该算法的准确率超出现有顶尖方法 2.2% 到 4.3%。论文作者岳中琪指出，AI 认知智能的进化刚刚开始，业界的探索仍处在早期阶段，今后他们将不断提升和优化相关算法。

城市大脑实验室介绍称，数据驱动的机器学习模型普遍面临数据不均衡问题，「以城市为例，它的信息呈长尾分布，相比海量的正常信息，交通事故、车辆违规、突发灾害等异常信息的发生概率很小，样本稀少，尽管可以通过大量增加少见样本的办法来部分解决问题，但这么做成本高、效率低。」

基于自研算法，只需使用正常信息样本，就能让 AI 获得无偏见的异常检测结果。一旦出现紧急情况，比如某辆车和某个行人发生异常交互，城市大脑不必不懂装懂或视而不见，而是可以实时识别和反馈信息。」未来，这一技术有望应用于城市基础视觉算法体系优化、极少样本城市异常事件感知能力优化乃至多模态语义搜索、智能图文生成等领域。

CVPR 是计算机视觉领域三大顶会之一，CVPR 2021 会议将于 6 月 19 日至 25 日在线举行。今年大会收录论文 1663 篇，接受率 27%。阿里巴巴集团入选论文 41 篇，是 2020 年的 2.6 倍。

在下文中，《反事实的零次和开集识别》论文一作岳中琪对他们的论文进行了解析。