Geffory Hinton：深度学习进入平台期？不，深度学习

      一个星期前由François Chollet在Twitter引发的「深度学习是否进入平台期」讨论，因为大神Geffory Hinton的参与达到了高潮。

 

Hinton：深度学习可能需要「推倒重来」

 

      据科技媒体Axios 报导，上周三在多伦多举行的一个AI会议，Hinton表示对反向传播算法「深感怀疑」。这演算法是用来训练人工神经网络的常见方法，对网络所有权重计算损失函数的梯度。这个梯度会回馈给最最佳化方法，用来更新权值以最小化损失函数。值得一提的是，Hinton是反向传播算法的早期提出者，1986年，Hinton一篇论文首次将反向传播算法引入多层神经网络训练。

      尽管在会议上，不少与会科学家表示人工智能的未来反向传播仍处于核心地位，但Hinton 的发言一锤定音：可能会有全新方法推出。Hinton 在现场参考普朗克的名言称：「Max Planck 曾说：『科学之道，不破不立。』未来取决于对我所说一切持怀疑态度的研究生。」他还表示，如果要让深神经网络变得更聪明，即向无监督学习过渡，「这可能意味着要彻底放弃反向传播。」

 

      这一观点在Twitter 引起广泛讨论，Pedro Domingos、李飞飞等多人纷纷转推。李飞飞转推的Twitter上，前几天的「few tools lives enternity」已悄然变成「no tool is eternal」，Hinton 这观点对AI 研究者的震撼之大可见一斑。

 

Agree! It's only natural few tools live to eternity. The scientific quest on intelligence, human or machine, still has a loooong way to go. https://t.co/PjcbkzNvSh — Fei-Fei Li (@drfeifei) 2017年9月10日

 

Echo Geoff's sentiment no tool is eternal, even backprop or deeplearning. V. important to continue basic research. https://t.co/hi50qUC0Kn — Fei-Fei Li (@drfeifei) 2017年9月15日

 

      众所周知，Hinton 于2006 年在《Science》杂志发表《Deep Belief Networks》论文，开启了深度神经网络的新时代。十余年来，基于Hinton 及众多先驱提出的深度学习理念框架，深度学习在有监督学习上取得一定突破，但同时也暴露出技术局限，如数据需求大、环境适应弱、可解释性差、效能差异大、数据分享难等。不少研究者认为，人工智能的下一步发展有待无监督学习领域的进一步突破。

 

如何破局？Hinton 提出Capsule

      Hinton近日对其2011年一篇论文《Transforming Auto-encoders》提出的Capsule概念重新思考及完善，关于Capsule的最新论文《Dynamic Routing Between Capsules》目前已被NIPS 2017收录，这篇论文还未正式发表，但我们还是可从Google Research Blog发表的论文摘要及部分提到Capsule的Slide了解关于Hinton对Capsule的想法，摘编如下：

 

      Capsule 是一组神经元，其现行向量的矢量方向及方向分别代表实体化程度及实例参数，相同水平下的活跃Capsule 可透过矩阵变换预测更高阶的Capsule 实体化参数。当多个预测一致时，高阶Capsule 会更活跃。我们展示了用于判别训练的多层Capsule 系统在MNIST 数据集表现臻于完美，相比高度重叠的数位卷积网络的效能更优越。为达到这目标，我们试着使用更新的路由协定机制，即低阶Capsule 倾向将预测结果汇出传送至高阶Capsule，进而使高阶Capsule 的活动向量具备大标量积。论文最终版正在修订，并会包含评论者的意见。

      换言之，Capsule 尝试在神经网络内形成和抽象建立子网络，也就是说，如果你看一个标准的神经网络，层与层之间完全连线（也就是说，层1 每个神经元都可存取层0 每个神经元，并且本身被第2 层每个神经元存取，以此类推）， 这种更复杂的图形拓墣似乎可更有效地提高生成网络的有效性和可解释性。论文提到的Dynamic Routing，就是希望能形成一种机制，让网络将适合某层Capsule 处理的内容，路由到对应的Capsule 让其处理，形成某种推断链。

 

如何看待Capsule？

 

      在知乎这问题下，得到赞同最高的SIY.Z这样回答的：

 

      首先这个工作成功或不成功都是正常的，就算Capsule 真的成为以后的趋势，Hinton 也未必这么快找到正确的训练算法；就算Hinton 找到正确的训练算法，也没有人能够保证，Capsules 的数量不到人脑mini-columns 数量时，能有人类的识别率（何况现在CNN 虽然问题很多，但识别率大多超过人类了）。

 

      从目前已披露的资讯看，Capsule 的概念更仿生，更能模拟人类大脑神经元之间的复杂连线架构，但对这个框架具体的数学说明仍有待进一步研究。

 

      最近几年，深度学习得到广泛应用，深度学习工程化的门槛逐步降低，导致诸多学术会议已开始呈现「不用深度学习都不好意思和人打招呼」的现象，在这种环境下，不少研究者也在探索深度学习之外的其他理论研究，Hinton 的「深度学习需要砍掉重练，可能需要抛弃反向传播」的反思，更具备指导性意义，也会激励更多人进一步探索其他理论研究。

 

      不少中国学者已走在这个领域的前线。南京大学的周志华教授今年稍早发表关于多层随机森林的论文《Deep Forest: Towards An Alternative to Deep Neural Networks》是关于用做深度学习的，也不需要反向传播；而在去年，周志华教授也针对目前深度学习存在的技术局限提出「学件」解决方案。在这波重新思考深度学习浪潮中，期望有更多学者有更多突破。