2021年应该理解的五个人工智能概念

应该通过复制我们的生物学来模仿人类的智慧吗?或者是我们的精神病学性与AI不相关的方式与鸟类生物学与航空航天工程无关紧要?

这是一个人在概念的概念以来一直在思考。我们希望建立智能系统，人类可以说是唯一真正聪明的物种。看着我们的灵感不是逻辑吗?但是，由于AI的构建块与生物基本件如此不同，我们不应该忘记人类，并跟随我们的研究导致我们的道路?

没有人知道ai将未来持有什么。我们所知道的是，现在深入学习越来越靠近人类的认知。也许人类在智能方面不那么特别，但进化给了我们一些独特的功能，我们在创建AI系统时更好地考虑。我们在这种环境中发展了几千年，慢慢地调整到不变的自然法则。为什么不通过模拟抛光机制来绕过这个过程?

在本文中，我将讨论目前是AI研究的最前沿的五个例子。每个都基于人类认知功能的某些方面，至少是松散的。这些概念在接下来的几年里将是中心的，因此让我们留意他们。

Transformer - 人类注意力机制

不久前，当基于复发的架构主导自然语言处理(NLP)时。如果您面临NLP问题 - 翻译，语音到文本，生成任务 - 您要么使用了Gated Recurrent单元(GRU)或长短短期内存(LSTM)。这两个架构旨在处理顺序输入数据。例如，系统可以采用英语句子并在西班牙语翻译中处理每个连续的单词。

这些模型的主要缺点之一是消失的梯度问题。因为信息被顺序处理，所以当系统即将输出第一个法语单词时，仅仅记住了第一个英文单词。为了解决这一缺陷，研究人员在2014年介绍了关注机制。通过模仿认知的关注，神经网络可以称重背景的影响。没有更多的信息损失。

2017年，谷歌的AI团队发表了最新的注意力机制。他说：注意机制足够强大，可以解决语言任务。我们不需要再次发生，我们不需要顺序处理。他们发明了著名的Transformer架构。Transformer影响了深入学习景观的方式，2012年亨廷的团队赢得了Imageenet挑战时的计算机视觉(CV)中的比赛。

Transformer通过并行处理句子的所有单词(令牌)并学习它们之间的上下文关系。与LSTM相比，Transformer不会顺序处理数据。训练时间要短得多。Transformer是现在任何NLP任务的转移架构。甚至CV科学家们已经开始将Transformer应用于图像和视频问题。甚至卷积都会幸存下来。

从2017到2021年，研究人员进一步开发了Transformer，旨在解决各种缺点和提高性能。变换器-XL更大，允许系统在较大的上下文中学习依赖性。GPT-3 - 建于原始Transformer架构 - 无法查看其上下文窗口，这使其无法记忆。改革者解决了训练成本的禁止成本。它提高了效率并降低了训练时间，同时实现最先进的性能。

Transformer近年来的一些最值得注意的应用是多任务的AIS，如谷歌的BERT，Openai的GPT家族 - 其中GPT-3是无可争议的明星 - 或吴道2.0，其拥有最大的神经网络的记录。Transformer也是新一代Chatbots - Meena，Blenderbot 2.0或Lamda后面的核心算法。它甚至在生物学世界中踏上了脚。几天前，Deepmind宣布他们发布了alphafold的代码和数据库2.一个可能有助于更深入地了解蛋白质折叠的工作的模型。

自监督的训练 - 人类学习

自2012年以来，监督深度学习系统主导了AI景观。这些系统从标记的数据中学习以将新实例对学习的类进行分类。我们将大量资源分类为分类培训例子，以促进学习。然而，这些模式匹配的系统只学会了我们的任何东西。

强化学习更好地类似于我们学习的方式。这些系统生活在受限制的虚拟世界中，他们可以实现有限的行动来实现奖励。深度研究人员几个月前发表了一篇论文，争论“奖励足够”以实现一般人工智能。然而，不是人们所做的一切都意味着在同一感觉中优化奖励加强AI。这更不用说我们世界的复杂性，每个瞬间提供的可能行动的数量，或者我们想要或需要的复杂性和细微差别。

由于上述原因，研究人员最近对无人监督或自监督的范式更兴趣，因为Yann Lecun喜欢称之为IT - 学习。他认为我们与这些系统类似地学习(至少与其他范例相比)。人类通过观察和感知世界来学习很多。这就是自监督的学习。

“[自监督的学习]是在学习任务之前学习代表世界的想法。这是婴儿和动物所做的。[…]一旦我们有良好的世界代表，学习任务需要很少的试验和少数样本。“

监督学习系统学会在不关心世界的情况下找到数据的模式。
加强学习系统学会在不关心世界的情况下优化奖励。
自我监督的学习系统需要代表世界，以了解彼此的事情。

这些系统可以从这些输入的可见部分学习输入的隐藏部分。例如，如果你要向一个自我监督的系统献给半句，那么它可以预测遗漏的词语。为此，他们需要更深入地了解事物之间的关系(这并不是说他们在我们所做的同样的感觉中理解世界，这不是这种情况)。

需要大量标记数据(监督学习)和不可数模拟(强化学习)是一种障碍。自我监督的学习旨在解决这两个问题。这些系统没有明确地告诉他们他们必须学习的东西。没有课程。没有任务。

自我监督学习的一些重要成功与变压器建筑有关。例如，BERT或GPT-3已证明在语言生成任务中非常成功。在许多NLP域中，自我监督系统现在是最先进的。这些系统的值得注意的缺点是它们无法处理连续输入，例如图像或音频。

“AI的下一次革命不是监督学习，也不是纯粹的强化学习。”

Yann Lecun.

及时编程 - 人类沟通

几十年前，低码和无代码计划出现了对编码世界中越来越大的技能差距的反应。创建良好代码和知道如何处理设计生产管道中不同点的任务的技术能力昂贵。随着软件产品更复杂，编程语言也是如此。没有代码旨在解决非技术商界人士的这种差距。这是一种方法，绕过编码，以使任何人可访问的结果。

了解如何代表代表可以说是在几年前说英语的重要性。你要么知道，要么你错过了很多。工作机会，书籍和文章，论文和其他技术工作……将来，智能房屋的百分比将增加。技术软件技能可能是重要的，然后现在就像如何修复管道或破碎的光线一样重要。

在无代码计划和AI的未来，我们有提示编程。GPT-3是使用提示的最佳已知的AI系统。Openai去年发布了API，人们很快就会认识到提示的独特性。这是不同的;既不与人类也不是正式意义上的编程。提示编程，因为调用它，可以理解为一种新的编程形式。它不那么肤浅，因为我们与系统沟通 - 我们在自然语言中编程它。它与C或Python中的编程相比并不高明。

GPT-3引起了研究人员和开发人员的注意，许多人有动力寻找缺点。有些人发现GPT-3失败了它应该成功的地方。然而，GWERN证明他们错了。他认为我们应该接近GPT-3，好像我们用英语编程它。我们必须做对，而不是一切都去了。他重复测试调整提示并成功地教授GPT-3正确地完成任务。他说：

“[提示]是一种使用DL [深度学习]模型的一种相当不同的方式，最好将其作为一种新的编程，在那里提示现在是一个”程序“，程序GPT-3做新的事物。”

GPT-3引发了通过用英语写作编程系统的可能性。系统可以理解我们的意图并以其在没有不确定性的情况下解释它们的方式将它们转换为计算机。

一个月前，微软 - 去年与Openai合作 - 和Github发布了Github Copilot。由名为Codex的GPT-3后代推动的系统被创建为一个强大的代码自动完成。微软在创建代码中看到了GPT-3的潜力以及它如何理解英语并将其转换为写成良好的功能计划。副本可以读取描述用英语，解释它的函数的评论，并记下函数。

GPT-3和GitHub Copilot结合了无代码的承诺，并提示编程到一个新的时代，允许非技术人员访问编码世界。

提示编程的主要优势以及它的成功原因是我们的人类已经发展到了自然语言中的沟通，而不是正式的语言。英语有一系列直观地知道的规则。我们学会在理解我们使用的规则之前正确地说话。我们没有发明规则，然后坚持他们。我们发现我们已经遵循的规则。

写python或c是不同的。我们称他们为语言，但它们以重要的方式与英语不同。计算机需要明确的，未解释的命令来了解该做什么。编程语言具有严格的语法规则，无法损坏或程序无法运行。这没有捷径。如果您想与计算机通信，则无需提示编程，您必须学习其语言。即使是Python等高级语言也需要大多数人没有的高度技术专长。

提示编程是编码的未来：我们将能够在自然语言中编程大多数事情。将有中间系统解决我们不精确，细微统计和背景上的思想之间的翻译，并且正式指示计算机需要工作。

多模 - 人类感知

直到最近，深入学习系统旨在解决单峰问题。如果您希望在机器翻译中实现最先进的性能，则使用英语 - 西班牙语对文本数据培训您的系统。如果您想击败ImageNet挑战，您的系统必须是对象识别的最佳状态，而不是别的。NLP系统和CV系统截然不同，难以解锁。

现在，从神经科学中获取灵感在寻求模拟我们的感知机制，研究人员专注于创建从不同类型数据学习的AI系统。而不是将系统除以他们的专业领域，为什么不使他们组合来自视觉和语言来源的数据?文本有信息。有图像的信息。但两者都有信息。这种多式联运系统的新趋势是谷歌和贝达分别与妈妈和吴道2.0分别做过的。这是试图使人工系统类似于人脑的一步。

我们在多模式世界中发展。我们周围的事件和对象产生了不同类型的信息：电磁，机械，化学……例如，苹果有颜色，形式，质地，味道，味道……这就是为什么我们的大脑是多用户的。我们有一系列感知系统，捕获了世界多模式的一部分(其他生命形式有不同的感知系统，让他们感知到我们生物学上不知道的模式)。更有趣的是，大脑在一个现实的一个代表中将信息与感知渠道集成在一起。

这就是我们可以从这种功能中找到Umbuing AI的实用程序的地方。如果给模型的一对文本图像允许它更准确地表示世界，它可能更精确到其预测或动作并更好地适应环境。这是今天对情报的定义：“通过使用遗传能力和学到知识来理解和适应环境的能力。”

具有人为相当于眼睛，耳朵和手和GPT-3的机器人，因为大脑的大脑比任何当前的AI更强大。大脑是所有处理发生的地方，而是处理已处理的数据。未来的AI系统将有传感器，控制器和执行器，以信息处理快速，准确，丰富的方式相互连接。

重点仍然是以软件为中心的虚拟系统，但某些研究组已经完成了文本和图像数据的成功集成。这些网络如何结合两种类型的信息仍然是一个谜(也不完全理解人类)，但现在的尝试已经成功了。Dall·E，Clip，Mum，UC²和Wu Dao 2.0都是居住的证据。

多任务和任务转移 - 人类多功能性

监督和加强AI系统是坏的多时期。甚至是alphazero等系统，它旨在学习不同的任务，必须为每个任务而释放和relearn。然而，自我监督的系统本质上是更好的。原因是他们采用任务无关方式培训。由于这些系统未明确告知要从输入数据中学到的内容，因此可以应用于不同的任务，而无需更改参数。这是GPT-3的情况。

GPT-3最有效的特征之一是其能够处理具有相同重量级的不同任务。系统在内部没有改变以进行机器翻译，问题应答或产生创造性小说。该系统从大多数互联网文本数据中以无人监督的方式培训。但它不知道它是如何使用它所学到的东西。在提示编程的帮助下，用户可能会使GPT-3条件解决给定任务。对于记录，GPT-3在未经培训的若干任务中实现了最先进的。这是多任务处理和任务传输的力量。

多任务系统可以将相同的输入应用于不同的任务。例如，如果我向系统喂掉“猫”这个词，我可以要求它找到西班牙语翻译’gato’，我可以要求它向我展示一只猫的形象，或者我可以要求它写一篇文章关于为什么猫太奇怪了。相同输入的不同任务。

这个想法经常与少量学习相结合。监督深度学习系统培训并在预先选择的类集中进行培训。如果CV系统学会了对汽车，飞机和船舶图像进行分类，则在这三个类上测试时它只会良好。在几次(或零拍/单次)学习设置中，系统被测试针对新类 - 没有体重更新。

一个例子是在测试时间向系统展示自行车的三张图像，然后要求它通常对汽车，飞机，船舶和自行车图像进行分类。这几乎没有镜头，因为我们已经在测试时间3例3示出了自行车是什么。学习了如何学习(例如GPT-3)的系统应该能够在这些极端情况下表现良好。GPT-3证明它是可能的。它的表现与监督系统没有任何意义。

如果我们组合多任务和几次拍摄设置，我们可以构建一个能够解决尚未培训的任务的系统。在这种情况下，我们不会在测试时间显示系统新类，我们要求它执行新任务。在几次拍摄设置的情况下，我们将显示有关任务完成的一些示例。而且，如果没有内部学习任何新的，系统现在将被调节以解决新任务。

例如，让我们拍摄一个系统训练的系统。在一次性任务传输设置中，我们可以写：“我爱你 - > te quiero。我讨厌你 - > ____。“我们隐含地要求系统将一个句子从英语翻译成西班牙语(通过显示它尚未训练的任务)，通过显示一个例子(单次设置)。

如果我们考虑一下，我们人类可以这样做。我们是学习者。我们不仅仅是学会做任务，但我们知道如何学会做新的任务。如果我看到有人扫地房间，我知道如何立即完成。我明白，扫帚的运动必须定向一致地清洁地板，我试图协调手脚，使过渡平滑。当有人训练我们时，我们不仅要了解。我们通过观察来学习。这就是几次任务转移的是什么。和AI系统开始变得更好。