机器学习领域的顶尖人士预测2020年AI的发展方向

人工智能不再有可能改变世界。现在正在改变世界。在新的一年和十年开始的时候，VentureBeat转向了AI领域最敏锐的头脑，重新审视了2019年取得的进展，并展望了2020年机器学习将如何成熟。我们与PyTorch的创建者Soumith Chintala进行了交谈，加州大学教授Celeste Kidd，Google AI负责人Jeff Dean，Nvidia机器学习研究总监Anima Anandkumar和IBM研究总监Dario Gil。

每个人对未来的一年总是有预测，但是这些人正在塑造今天的未来-在AI社区中有权威的人们珍惜科学追求，其记录赢得了信誉。虽然一些人预测了半监督学习和神经符号方法等子领域的进步，但几乎所有ML杰出人物VentureBeat都表示同意，2019年基于Transformer的自然语言模型取得了长足进步，并期望像面部识别这样的技术继续引起争议。他们还希望看到AI领域的价值超过准确性。

如果您有兴趣回顾一下，去年，我们与 Facebook AI Research首席科学家Yann LeCun，Landing.ai创始人Andrew Ng和埃森哲全球负责AI负责人Rumman Chowdhury 等人进行了交谈。

Soumith Chintala

PyTorch的董事，首席工程师和创建者

根据您的评估方式，PyTorch是当今世界上最受欢迎的机器学习框架。PyTorch是2002年引入的Torch开源框架的衍生产品，于2015年可用，并且在扩展和库中稳步增长。

今年秋天，Facebook的发布PyTorch 1.3量化和TPU支撑，旁边Captum，深刻学习解释性工具，PyTorch移动。还有诸如PyRobot和PyTorch Hub之类的东西，用于共享代码并鼓励ML实践者拥抱可重复性。

Chintala在今年秋天在PyTorch Dev Con与VentureBeat的一次对话中表示，他在2019年的机器学习中几乎没有突破性进展。

“实际上，我认为我们没有开创性的东西……基本上是从Transformer开始的。我们的ConvNets在2012年达到黄金时段，而Transformer则在2017年左右。这是我个人的看法，”他说。

他继续称赞DeepMind的AlphaGo在强化学习方面的贡献是开创性的，但是他说结果很难在现实世界中实现。

Chintala还认为，机器学习框架（如PyTorch和Google的TensorFlow）的发展已改变了研究人员探索思想和开展工作的方式，这些机器在当今的ML实践者中广受欢迎。

他说：“从某种意义上说，这是一个突破，它使他们移动的速度比以前快了一两个数量级。”

今年，谷歌和Facebook的开源框架引入了量化，以提高模型训练的速度。在未来的几年中，Chintala希望PyTorch的JIT编译器和Glow等神经网络硬件加速器的重要性和采用率“爆炸式增长” 。

“使用PyTorch和TensorFlow，您已经看到了框架的融合。量化之所以出现，和一堆其他低级别的效率上来，是因为下一战是框架编译器- XLA，TVM，PyTorch有灼热，大量的创新正在等待发生，”他说。“在接下来的几年中，您将看到……如何更智能地量化，如何更好地融合，如何更有效地使用GPU，以及如何自动为新硬件进行编译。”

像大多数其他行业领导者VentureBeat在本文中谈到的那样，Chintala预测AI社区将在2020年之前将更多的价值放在AI模型性能上，而不仅仅是准确性，并开始将注意力转移到其他重要因素上，例如创建模型所需的力量。模型，如何向人类解释输出，以及AI如何更好地反映人们想要建立的社会类型。

“如果考虑过去的五，六年，我们只是关注准确性和原始数据，例如'Nvidia的模型是否更准确？Facebook的模型更准确吗？'”他说。“我实际上认为2020年将是我们开始（以更复杂的方式）进行思考的一年，在该年中，您的模型是否……如果没有良好的互操作性机制[或与其他组织见面，则可以提高3％的准确性。条件]。”

塞莱斯特·基德（Celeste Kidd）

加州大学伯克利分校的发展心理学家

塞莱斯特·基德（Celeste Kidd）是加州大学伯克利分校基德实验室的主任，她和她的团队在这里探索孩子们的学习方式。他们的见解可以帮助神经网络的创建者，他们尝试以与抚养孩子不太相似的方式来训练模型。

她说：“人类婴儿没有得到标记的数据集，但是它们管理得很好，对我们而言重要的是要了解这种情况如何发生。”

让基德在2019年感到惊讶的一件事是，神经网络创建者的数量随随便便贬低了自己或其他研究人员的工作，因为他们无法做婴儿可以做的事情。

她说，当您对婴儿的行为进行平均计算时，您会看到证据表明他们了解某些事情，但他们绝对不是完美的学习者，而这种谈话对婴儿的行为描绘得过于乐观。

她说：“人类的婴儿很棒，但他们犯了很多错误，而且我经常看到人们随便进行的许多比较，都是为了使婴儿行为在人口层面上理想化。” “我认为，您目前所知道的与下一步想要理解的联系之间的联系可能会越来越多。”

在人工智能中，“黑匣子”这个词已经存在多年了。它曾被用来批评神经网络缺乏可解释性，但基德认为，2020年可能意味着神经网络无法解释的观念的终结。

她说：“黑匣子的论点是伪造的……大脑也是黑匣子，我们在理解大脑如何工作方面取得了很大进步。”

在揭开这种对神经网络的认识的神秘面纱时，基德着眼于MIT-IBM Watson AI Lab执行总监Aude Oliva之类的人。

“我们当时正在谈论这个问题，我说过该系统是一个黑匣子，她合理地责备我（说）他们当然不是黑匣子。当然，您可以将它们分解并将它们拆开，看看它们如何工作并对其进行实验，就像我们为理解认知所做的一样。”基德说。

上个月，基德（Kidd）在神经信息处理系统（NeurIPS）会议上发表了开幕式主题演讲，这是世界上最大的年度AI研究会议。她的演讲重点在于人脑如何固执于顽固的信念，注意力系统和贝叶斯统计。

她说，Goldilocks提供信息的区域介于一个人以前的兴趣和理解之间，这对他们来说是令人惊讶的。人们倾向于较少参与过多令人惊讶的内容。

然后，她说没有像中立的技术平台这样的东西，她将注意力转移到内容推荐系统的创建者如何操纵人们的信念上。追求最大参与度的系统可能会对人们形成信念和观点的方式产生重大影响。

基德在演讲中谈到了男性在机器学习中的误解，即与女性同事独自一人会导致性骚扰指控并终止男人的职业。她说，这种误解反而会损害女性在该领域的职业。

由于在罗切斯特大学（University of Rochester）发表有关性行为不端的言论，基德（Kidd）与其他女性一起被评为2017 年度“年度人物”，这些女性帮助实现了我们现在所说的#MeToo运动，以平等对待女性。当时，基德（Kidd）认为大声疾呼将结束她的职业生涯。

在2020年，她希望看到人们对技术工具和技术决策对现实生活的影响的认识有所提高，并拒绝认为工具制造商不对人们的行为负责的想法。

她说：“我听到很多人试图说''我不是真理的主持人'来捍卫自己。” “我认为必须提高对这是不诚实立场的认识。”

“作为一个社会，尤其是使用这些工具的人们，我们真的需要直接意识到随之而来的责任。”

杰夫·迪恩

Google AI总监

Dean 领导Google AI已有近两年时间，但他已经在Google工作了二十年，并且是该公司许多早期搜索和分布式网络算法的架构师以及Google Brain的早期成员。

迪恩（Dean）上个月在NeurIPS上与VentureBeat进行了交谈，在那里他就ASIC半导体设计的机器学习以及AI社区应对气候变化的方式进行了演讲，他说这是我们时代最重要的问题。在关于气候变化的讨论中，Dean讨论了AI可以努力成为零碳行业以及AI可以用来帮助改变人类行为的想法。

他预计到2020年，多模式学习领域将取得进展，这是一种依靠多种媒体进行训练的AI，而多任务学习则涉及旨在一次完成多个任务的网络。

毫无疑问，2019年最大的机器学习趋势之一是基于Transformer的自然语言模型的持续增长和扩散，该模型Chintala以前被称为近年来人工智能最大的突破之一。谷歌开源的BERT，基于变压器的模型，在2018年和一批发布今年表现最出色的车型，根据胶排行榜 -像谷歌的XLNet，微软的MT-DNN，以及Facebook的罗伯塔 -是基于变形金刚。公司发言人告诉VentureBeat，XLNet 2将于本月晚些时候发布。

Dean指出了已经取得的进展，他说：“ ...我认为整个研究线程在实际产生机器学习模型方面非常富有成果，[现在让我们]做的机器学习模型比过去能够完成的复杂得多。但是他补充说，仍有增长空间。“我们仍然希望能够做更多上下文相关的模型。像现在这样，BERT和其他模型可以很好地处理数百个单词，但不能作为上下文的10,000个单词。因此，这是一个[有趣的方向。”

迪恩（Dean）说，他希望少强调一些最新技术，而倾向于创建更强大的模型。

Google AI还将努力推进新的举措，例如Everyday Robot，这是一个于2019年11月推出的内部项目，旨在使机器人能够在家中和工作场所完成常见任务。

阿尼玛（Anima Anandkumar）

Nvidia机器学习研究总监

Anandkumar在担任AWS首席科学家后加入了GPU制造商Nvidia。在英伟达（Nvidia），人工智能研究在多个领域继续进行，从医疗保健的联合学习到自动驾驶，超级计算机和图形学。

Nvidia和Anandkumar在2019年的重点领域之一是强化学习的仿真框架，这些框架越来越受欢迎和成熟。

在2019年，我们看到了Nvidia的Drive autonomus驾驶平台和Isaac机器人模拟器的兴起，以及从模拟和生成对抗网络或GAN生成综合数据的模型的兴起。

去年还迎来了AI的兴起，例如StyleGAN（一种可以使人们质疑自己是看着计算机生成的人脸还是真实的人的网络）和GauGAN（可以用画笔生成风景的网络）。StyleGAN2 上个月首次亮相。

GAN是可以模糊现实界限的技术，而Anandkumar认为，它们可以帮助AI社区尝试解决的主要挑战，例如抓住机器人手和自动驾驶。（在此报告中，阅读更多有关VentureBeat AI资深撰稿人Kyle Wiggers的GAN在2019年取得的进展）。

Anandkumar还希望通过迭代算法，自我监督和训练模型的自训练方法在未来一年取得进展，这些模型可以通过对未标记数据进行自训练来改进。

“我认为各种不同的迭代算法都是未来，因为如果您只做一个前馈网络，那么鲁棒性就成为问题。她说：“如果您尝试进行多次迭代，并根据所需的数据类型或精度要求来调整迭代，那么实现这一目标的机会就更多了。”

Anandkumar看到了2020年AI社区面临的众多挑战，例如需要与领域专家一道创建专门针对特定行业的模型。决策者，个人和AI社区也将需要应对代表性问题，以及确保用于训练模型的数据集能够涵盖不同人群的挑战。

她说：“我认为（面部识别问题）很容易掌握，但在很多其他领域……人们没有意识到使用数据存在隐私问题。”

Anandkumar说，面部识别得到了最大的关注，因为很容易理解面部识别如何侵犯个人隐私，但是2020年AI社区还面临许多其他道德问题。

“我们将在如何收集数据以及如何使用数据方面进行越来越严格的审查。我认为这是在欧洲发生的，但在美国，我们当然会看到更多，并且出于[正当的理由]，例如美国国家运输和安全委员会[NTSB]和FTA [联邦运输管理局]这样的组织，”她说。

在Anandkumar看来，2019年的最大惊喜之一是文本生成模型的发展速度。

“ 2019年是语言模型之年，对吗？现在，我们第一次达到了在段落的长度上更连贯的文本生成和生成的目的，这在[和]之前是不可能的，这是很棒的，” Anandkumar说。

在2019年8月，英伟达推出了威震天自然语言模型。威震天拥有80亿个参数，被誉为全球最大的基于变压器的AI模型。Anandkumar说，她对人们开始将模型表征为具有个性或字符的方式感到惊讶，她期待看到更多针对特定行业的文本模型。

“我们仍未处于对话互动的阶段，对话可以进行跟踪并进行自然对话。因此，我认为到2020年将朝着这个方向做出更认真的尝试。”她说。

例如，开发用于控制文本生成的框架要比开发可以训练以识别人或物体的图像框架更具挑战性。文本生成模型还可能面临例如为神经模型定义事实的挑战。

最后，Anandkumar说，她很高兴看到Kidd在NeurIPS上的演讲获得了热烈的鼓掌，并被机器学习社区中越来越成熟和包容的迹象所鼓舞。

她说：“我觉得现在是分水岭。” “一开始甚至很难做些小改动，然后水坝就破裂了。我希望是这样，因为在我看来，我希望保持这种势头，并进行更大的结构改革，并使所有在这里的人都成长。”

上图：图片来源：John O'Boyle

达里奥·吉尔（Dario Gil）

IBM研究总监

吉尔领导的一组研究人员积极为白宫和世界各地的企业提供咨询服务。他认为，2019年的重大飞跃包括围绕生成模型的进步以及可产生合理语言的不断提高的质量。

他预测，在降低精度的体系结构上，更有效的培训将继续取得进展。更高效的AI模型的开发是NeurIPS的重点，IBM Research在IBM引入了具有8位精度模型的深度学习技术。

他说：“在我们使用具有GPU架构的现有硬件训练深度神经网络的方式上，效率仍然普遍低下，” “因此，对此进行真正根本的思考非常重要。我们必须提高AI的计算效率，因此我们可以做更多的事情。”

吉尔（Gil）引用的研究表明，对机器学习训练的需求每三个半月增加一倍，远远超过摩尔定律预测的增长。

Gil也对AI如何帮助加速科学发现感到兴奋，但是IBM Research将主要专注于机器学习的神经符号方法。

吉尔（Gil）希望AI从业者和研究人员将专注于准确性以外的指标，以考虑生产中部署的模型的价值。将领域转移到构建受信任的系统，而不是将准确性放在首位，这将是继续采用AI的中心支柱。

“社区中的某些成员可能会继续说，'不用担心，只要提供准确性即可。没关系，人们会习惯这个东西有点黑匣子，”或者他们会提出这样的论点，即人类有时不会对我们做出的某些决定产生解释。我认为，非常重要的一点是，我们应该集中社区的智力力量，在此方面做得更好。人工智能系统不能成为关键任务应用程序的黑匣子。”

吉尔（Gill）相信要摆脱这样的观念，即只有少数机器学习向导才能做到AI，以确保更多的具有数据科学和软件工程技能的人采用AI。

他说：“如果我们把它作为一个神话领域，那就是AI领域，只有从事此工作的精选博士才能进入，它并没有真正为它的采用做出贡献。”

在来年，Gil对神经符号AI特别感兴趣。IBM将寻求神经符号方法来增强诸如概率性编程之类的功能，其中AI将学习如何操作程序以及可共享其决策背后原因的模型。

“通过[采用]一种新的当代方法的混合方法，通过这些神经符号方法将学习和推理结合在一起，其中符号维度被嵌入到学习程序中，我们证明了您可以利用少量数据进行学习这是必需的。”他说。“由于学习了程序，您最终得到了一些可解释的东西，并且因为您具有可解释的东西，所以您有了更受信任的东西。”

他说，公平性，数据完整性和数据集选择等问题将继续引起人们的广泛关注，“与生物识别技术有关的任何事情也将如此”。面部识别得到了很多关注，但这仅仅是开始。语音数据以及其他形式的生物识别技术将越来越具有敏感性。他继续引用了哥伦比亚大学教授Rafael Yuste的话，他从事神经技术研究，并正在探索提取视觉皮层上神经模式的方法。

吉尔说：“我以这个例子为例，与身份，人的生物特征以及人工智能在分析方面取得的进步有关的一切将继续处于前沿和中心位置。”

除了神经符号和常识推理外，麻省理工学院-IBM沃森实验室的一项旗舰计划，吉尔（Gil）于2020年表示，IBM Research还将探索AI的量子计算以及降低精度架构之外的AI的模拟硬件。

最后的想法

机器学习正在继续塑造商业和社会，研究人员和专家VentureBeat进行了采访，并看到了许多趋势：

随着Transformers推动了巨大的飞跃，自然语言模型的进步是2019年的主要故事。在2020年寻找更多基于BERT和基于Transformer的模型的变体。
人工智能行业应该寻找方法来评估模型输出的准确性。
诸如半监督学习，机器学习的神经符号方法之类的方法以及诸如多任务和多模式学习之类的子领域可能会在明年出现。
与生物统计数据（如语音记录）相关的伦理挑战可能会继续引起争议。
诸如量化之类的编译器和方法可能会在诸如PyTorch和TensorFlow之类的机器学习框架中作为优化模型性能的方式而流行。

知道VentureBeat应该涵盖的变革性技术吗？通过电子邮件发送AI编辑器Seth Colaner，高级AI职员作家Khari Johnson或职员作家Kyle Wiggers。