Yoshua Bengio：纯粹与理想，深度学习的30年

 

蒙特利尔大学计算机科学系教授 Yoshua Bengio

 

从法国来到加拿大的时候，Yoshua Bengio只有12岁。他在加拿大度过了学生时代的大部分时光，在麦吉尔大学的校园中接受了从本科到博士的完整高等教育，随后又前往麻省理工学院和贝尔实验室做博士后。1993年，他重回蒙特利尔，加入离麦吉尔大学不远的蒙特利尔大学担任计算机科学与运筹学系教授，继续潜心进行的研究。

 

从80年代到今天，深度学习从不被大多数人看好的“痴心妄想”，到席卷包括自然语言处理、计算机视觉、语音识别在内的几乎所有领域，其影响力已经全面覆盖了学术界、产业界以及人们的日常生活。Yoshua Bengio几十年如一日的坚守，证明了深度学习所蕴含的、足以影响我们每个人生活的巨大价值。

 

深度学习的元老，超过137,000次学术引用，“AI圣经”《Deep Learning》等一系列教科书级著作的作者，笑起来极富表现力的眉毛，这些是Yoshua Bengio大神给人们留下的标志性印象。

 

深度学习的先驱

上世纪八九十年代的AI唱衰者们不会预料到深度学习在二十一世纪的成功。作为早期开拓者中的一员，Yoshua Bengio也历经了漫长的“AI寒冬”，在上世纪末的三十年中，人工智能曾两度陷入历史的较低谷。 

 

在Yoshua Bengio上大学的八十年代，深度学习在计算机科学中属于非常冷门的理论，符号主义的经典学派占据着学界与大学课堂的主流，但Yoshua Bengio这位独树一帜的学生却偏偏对深度学习产生了强烈的兴趣。用模拟人脑，用去揭开人类智慧诞生的奥秘，这对Bengio来说有着巨大的吸引力。就这样，Bengio找到了他在接下来的30余年中始终钟情的研究方向。

 

但是在当时，几乎没有人看好深度学习的工作。因为对同一项任务来说，既然用传统方法能更轻松地达到更好的效果，为什么要费劲去训练神经网络呢？因此，大多数研究者都不愿意从事这一方向。上世界九十年代人们也曾短暂地看到神经网络的希望，但由于数据量和计算能力的限制，希望很快破灭了，神经网络仍然是痴心妄想。但即使人工智能处于低谷，Bengio仍然全身心地投入深度学习研究，不断贡献了许多新的研究成果。

 

直到2010到2012年，转机才真正出现。随着大数据的崛起和计算能力的大幅增长，突然之间，人们终于看到了深度学习所蕴藏的真正力量，这使得深度学习一下子被推向人们目光的中心。Yoshua Bengio在过去20年中原本问津者寥寥的诸多科研积累，也迅速成为了人工智能界讨论的焦点，包括深度学习架构、循环神经网络（RNN）、对抗、表征学习等等。这些研究成果影响和启发了后来的大量研究者，将深度学习应用到自然语言处理、计算机视觉等人工智能的各个主要领域，对近年来深度学习的崛起和发展起到了巨大的推动作用。

 

1994年，在Yoshua Bengio与另一位深度学习元老级人物Yann LeCun共同完成的《Gradient-based learning applied to document recognition》论文中，首次提出了用反向传播算法训练的多层神经网络LeNet5，它是世界上最早的也是最著名的卷积神经网络之一。

 

在2003年发表的《A neural probabilistic language model》中，Yoshua Bengio第一次提出用神经网络结构来建立自然语言模型，这一思路和方法广泛地影响了后人用神经网络做自然语言处理的研究。这一网络结构也被迅速引入自然语言处理的应用实践中并取得了良好的成效，比如最经典的用于生成词向量的word2vec模型，以及近年大热的神经网络机器翻译。Yoshua Bengio的另一篇著作《Learning Deep Architectures for AI》则提纲挈领地总结了深度学习架构中学习算法的动机和原理，为相关的研究提供了理论指导。Yoshua Bengio发表的300多篇学术文章累计的学术引用次数已经超过了惊人的137,000次。

 

2016年，Yoshua Bengio与Ian Goodfellow和Aaron Courville共同撰写了《Deep Learning》，这本因封面被人们亲切地称为“花书”的深度学习奠基之作，也成为了人工智能领域不可不读的“圣经”级教材。

 

包括Yoshua Bengio在内的深度学习先驱者们让我们看到了支持长期研究的重要性，他们可贵的研究精神也值得人们敬佩。

 

虽然眼下深度学习风头正劲，但在几年后甚至几十年后，深度学习还会一直存在吗？在Yoshua Bengio看来，人工智能研究者要不断地提出和发展新的想法，这些新想法可能是受到现有技术和概念的启发而诞生的，也将在未来成为新一轮想法的启蒙。他也坦言，虽然人工智能现在已经对社会和人类生活产生了巨大的影响，但在大多数情况下，人工智能表现出的智力还远远不及哺乳动物，人工智能还有太多潜能留待我们去发掘。

 

无论如何，Yoshua Bengio的研究兴趣将始终围绕对智力生成机制的探索，并致力于让人工智能的发展为所有人的利益服务。

 

教书育人，孵化技术

无论产业界的浪潮多么汹涌，在人工智能的研究大牛纷纷入伙科技公司的时候，Yoshua Bengio始终没有离开他位于蒙特利尔大学校园中的三楼办公室。

 

在这里，他继续潜心科研和教学工作，为人工智能培养了许多杰出的下一代人才。在刚刚进入蒙特利尔大学任教的时候，全校只有Yoshua Bengio一位教授从事深度学习算法的研究，他欣然接收所有对深度学习感兴趣的学生，渐渐在蒙特利尔大学组织起研究团队，与学术界建立联系并开展合作。他建立了蒙特利尔学习算法研究所（Montreal Institute For Learning Algorithms, MILA）并担任科学主任，并作为联合主席共同进行CIFAR机器与大脑学习项目的研究，也担任着数据评估研究所（The institute for data valorization，IVADO）的科学联合主任。

 

 

 

Yoshua Bengio长达15年的实验室组织与管理经验也让他形成了一套自己的方法论，“不要将每个学生束缚在他们自己的项目中，而要让他们灵活合作。学生们与教授也不是一对一的关系，应该将整个实验室的人组成一个大的网络。”

 

对高校人才培养的执着投入，不代表Yoshua Bengio对产业动向毫不关心，Yoshua Bengio希望现有的人工智能技术能更快地进入人们的生活，真正帮助人们去完成各种各样的任务。

 

在2016年底，Yoshua Bengio开始为深度学习的产业孵化助力。他作为联合创始人创建了人工智能创业孵化器Element AI，鼓励研究员和企业家们一同创立人工智能公司，将人工智能技术融入各行各业，让人工智能的商业化前景变为现实。在成立后的两年中，Element AI已经帮助数百位来自蒙特利尔大学和麦吉尔大学的研究人员完成了从科研技术到应用产品的转化，也帮助初创公司的企业家在这个飞速崛起的热门领域中保持正确的前进方向。

 

可以说，Yoshua Bengio不仅在人工智能研究上推动蒙特利尔成为了世界深度学习的一大重镇，也为他所期待的人工智能生态系统添砖加瓦，促成了蒙特利尔如今在人工智能领域的良好学术和创业氛围。

 

现年54岁的Yoshua Bengio不仅学术著作等身，在大多数学术权威会议中，你都可以看到这张熟悉的面孔。他不仅是加拿大统计学习算法研究主席，在2009年担任了机器学习较高级会议NIPS的主席，还在2013年牵头创办国际学习表征会议（ICLR），让ICLR在短短几年内迅速跻身顶会行列，成为首屈一指的专注深度学习领域的较高级会议。

 

Yoshua Bengio也获得了许多重量级的名誉和奖项，他是加拿大皇家学院（RSC）及加拿大高等研究院（CIFAR）院士，且在2017年获得了代表加拿大公民较高荣誉的“加拿大总督功勋奖”。尽管如此，Bengio在生活中一直保持着低调，除了演讲之外，很少出现在媒体和大众的视线中。

 

 

声明：文章收集于网络，如有侵权，请联系小编及时处理，谢谢！