剑桥量子自然语言处理实验记录

作者：Bob Coecke, Giovanni de Felice, Konstantinos Meichanetzidis, Alexis Toumi - Cambridge Quantum Computing Ltd.

 

编译: Florence Wong - AICUG

 

剑桥量子计算执行世界上第一个量子自然语言处理实验：剑桥量子计算公司（CQC）宣布，他们已使用自然语言的“本机量子”结构，通过将语法语句翻译成量子电路，然后在量子计算机上实现所得程序，并实际执行问题解答，从而开辟了可能应用的全新领域。

 

这是第一次在量子计算机上执行自然语言处理。此外，通过在不依赖量子RAM的情况下获得结果，CQC科学家们开辟了一条在嘈杂的中级量子（NISQ）时代真正获得量子优势的途径。

 

图片作者：Paul Hanaoka on Unsplash

 

通过使用CQC的类领先且与平台无关的可重定向目标编译器t |ket⟩TM，这些程序已在IBM量子计算机上成功执行，实现了“意义感知”和“语法告知”的自然语言处理-这是计算机科学家从计算机时代最早年就开始梦想的事。CQC希望在不久的将来提供更多详细信息，包括扩展程序的方式，从而当NISQ机器本身可以按量子量进行缩放并使用其他类型的量子计算机的同时，大量的有意义的句子可在NISQ机器上被使用。

 

下面是实验细节和相关说明记录：

“我们做到了！在实际的量子计算机上！”-剑桥量子计算科学家

 

句子作为网络。

句子不仅是“单词袋”（1），而且是单词以特定方式交互的一种网络。大约10年前，这篇文章的作者之一（BC）与Mehrnoosh Sadrzadeh和Steve Clark的两个同事一起开始绘制这些网络（2）。这导致图形化地表示单词的含义是如何组合起来以构建整个句子的含义的，这与将句子视为包含多个单个单词的含义的无结构“袋”相反。

 

这些结果随后广为人知，并且在当时也是《新科学家》的封面标题。

 

“绘制”网络如下所示：

 

为了更好地了解这些网络的运行方式，我们来看一个简单的示例：

 

这里的想法是，这些盒子代表单词的含义，而电线是可以传达这些含义的渠道。因此，在上面的示例中，主语爱丽丝和宾语Bob都被发送给了动词“仇恨”，然后它们一起构成了句子的含义。实际上，这种句子中的单词流可以追溯到1950年代最初由Chomsky和Lambek等人开始的工作，这些工作将语法结构（基本上是所有语言）统一在一个单一的数学结构中。尤其是，一个句子的意思流的网络是根据含义（语义学）的复合数学模型构建的（16）。

 

语言是“量子本机”。

这种语言学图形框架的一个特别有趣的方面是，网络是从以前的工作继承而来的，该工作为量子理论提供了一种完全类似于网络的语言(3)。这项开创性工作最终积累在BC和Aleks Kissinger撰写的900页教科书中（4）。

 

总之，一方面建立了单词的含义与量子态之间的直接对应关系，另一方面建立了语法结构与量子量度之间的直接对应关系。如下图所示：

 

显然，这引出了一个问题：一个量子计算机可以处理自然语言吗？这是Will Zeng和BC在2016年的一篇论文中首次提出的（5）。该论文为量子计算环境下的自然语言处理（NLP）创建了新的范例。但是，该提案面临一些重大挑战。最重要的是，当时还没有足够强大的量子计算机可以执行建议的NLP任务。此外，一种假设被提出来，即可以使用量子随机存取存储器（QRAM）在量子计算机上对单词的含义进行编码，尽管该假设理论上的进步和对实验建议，但迄今为止，这种可能性仍然遥不可及。

 

我们的新尝试。

让量子计算机处理自然语言-这个想法不仅令人难以置信，而且出于上述原因也是很自然的事情。越来越多的研究人员开始对此产生兴趣，最近，英特尔支持一项基本尝试，以开发Zeng-Coecke论文中有关其量子模拟器的某些想法（6）。

 

关于量子自然语言处理（我们称为“ QNLP”）的第一次国际会议于2019年12月在牛津（12）举行，我们在此演示了我们的实验模拟（14）（所有演讲均可在网上找到（13））。自会议以来的过去几个月中，我们一直在研究使用现有NISQ设备的方法，在这种情况下，这是IBM的量子设备之一。上面描述的网络无法由IBM的机器直接解释，而是需要“量子电路”形式的东西。现在具有“量子电路骨架”的自然语言看起来像这样：

 

通过这种形式，我们证明了QNLP可以在NISQ设备上实现，并且随着这些设备在大小和性能方面的扩展，整个实现过程变得更加有效。值得注意的是，在这张图片以及我们的实验中，我们使用了ZX-语言绘制量子电路，它是由BC和CQC的RossDuncan（7）共同开发的，并再次成为同一个量子理论网络语言的一部分，且与QNLP一起工作时非常有效。

 

至关重要的是，在没有QRAM的情况下，我们的解决方案提供了前进的道路。在这个论题上不可能进行更全面和详细的解释，但是通过采用量子，我们不会直接对单词的含义进行编码，而是构建一个框架，在该框架中，量子状态和过程可以直接从文本中学习其含义。在量子机器学习中，通过类似于经典机器学习的方式，我们使用量子电路来代替经典（15），以便从数据中学习模式。有趣的是，神经网络体系结构是经典NLP中的技术，但是大多数方法都没有利用语法结构的优势。相反，我们看到我们的QNLP方法自然既包含语法又包含含义。

 

使用我们的框架，一旦将单词和短语的含义编码为量子状态和过程，我们就能够准备量子状态，该状态对量子硬件上的语法语句的含义进行编码。向量子计算机提出一个问题，该问题由量子计算机所学的词汇和语法构成，它将返回答案。

 

自然地，接下来，我们将注意力转移到非平凡的实验的设计和执行上，这尤其重要，因为我们的设计基于可扩展程序。这意味着含义空间的维数随可用的量子位数量而显着增长，而语法所决定的电路大小却不会随句子的尺寸而变得太大。

 

有趣的是，我们进一步注意到NISQ设备上的QNLP如同一个新颖的游乐场，可用于量化量子机器学习的可扩展性并可形成各种量子含义空间的实验。如果我们希望从句子过渡到文本，那么能够容纳大块文本至关重要，而且我们知道我们已朝着这一愿景迈出了第一步。

 

技术细节。

我们的实验工作流程如下。令G为语法类别，这是语法图生成时的数学模型。如上所述，语法图（或网络）对语法句子中的词义信息流进行编码。

 

更详细地，图仅是根据指定的语法模型对句子进行语法和句法解析。然后将该图实例化为量子电路，该电路属于QCirc（θ）类。接下来，在这种量子电路中，单词的含义被编码成量子态。具体来说，任何状态都可以从经典参考状态中准备，因此“状态”是指准备它的电路（或过程）。然后，句子中单词的组成对应于代表单词的电路的组成，从而导致额一个电路，该电路去准备编码句子含义的状态。

 

重要的是，电路由设定的θ参数化。换句话说，这些“语法量子电路”是一个由θ跨越的家族。通过允许电路依赖于参数，我们创建了语义空间，在该语义空间中对单词的含义以及整个句子的含义进行了编码。

 

一旦从句子创建了量子电路，就需要对其进行评估以计算含义。我们可能选择在经典计算机上执行此评估，在该计算机上，我们采用较先进的方法来执行将大型矩阵相乘的昂贵任务。另一方面，我们可以选择在量子计算机上实现该电路。

 

像“爱丽丝（Alice）恨（hates）鲍勃（Bob）”这样的主谓词宾语句子的参数化量子电路如下所示：

 

语音的每个部分（主语，动词，宾语）都是根据某些参数定义的量子电路。例如，存在一组参数值θ1，θ1，θ2，使得：

subj(θ₀)=Alice verb(θ₁)=hates obj(θ₂)=Bob

 

这些值由文本语料库凭经验确定，然后用于回答有关语料库的问题。

 

为了确保我们的实验可以在近期的NISQ设备上有效地执行，但同时又足够复杂以至于令人感兴趣，我们选择了几个单词的词汇，例如：

{爱丽丝，鲍勃，爱，恨，有钱，可爱} （{Alice, Bob, loves, hates, rich, cute}）

 

并从它们的组合中生成了全部语法句子，注意并非一些，而是全部。从这些句子中，我们创建了它们相应的参数化电路。而且，我们解释语法图，通过这种解释方法，使得语义空间是零维的，例如，仅是指示句子的真值的数字。通过评估与句子相对应的量子电路C(θ）获得此数字：

0 <|C(θ)|2<1

 

接近1的值表示“ true(真)”，接近0的值表示“ false（假）”。

 

带标签的玩具语料库如下所示：

K={(Alice loves Bob, false), (Bob is cute, true), (Alice is rich, true), …}

 

现在我们有了句子和“真实域（truth universe）”的语料库，我们将语料库K =R∪E分为训练集R和测试集E。训练集R中的句子用于进行有监督的量子机器学习。从而可以学习参数，这些参数导致了正确测量真标签（Truth-labels）。以这种方式，学习了用于准备名词{爱丽丝，鲍勃}（{Alice, Bob}），动词{是，爱，恨}（{is, loves, hates}）和形容词{丰富，可爱}（ {rich, cute}）的含义状态的电路的参数。

 

用于学习训练集中的句子中的单词的参数的方案如下。在量子计算机上，针对当前参数集评估训练集中的句子电路。通过采样测量结果，我们估计|C(θ)|（2）。经典计算机读取该数字，该计算机检查其与句子的所需真相标签匹配的程度。如果存在不匹配，我们的系统会更新参数，以便量子计算机可以评估更新后的电路。重复此过程，直到参数收敛并且针对训练集中的句子复制了所有真值标签。请注意，找到更新的较佳顺序通常是一个困难的优化问题，因此，对我们的量子语义空间进行精心设计，并使学习尽可能地易于处理，这一点很重要。此设计功能至关重要。

 

训练后，E中的句子用于估计对新句子（即不在R中）的真实标签的推断能力。这些新句子与用于训练的句子共享相同的词汇，但是它们在语法和语义上是不同的。

 

有了这个学习框架，我们现在可以问量子计算机的问题，只要问题是用训练中使用的词汇和语法表达的语法句子即可。我们很高兴地补充说，在我们的实验中，问题实际上可以由已经学习的句子构成。例如，我们可以使用相对代词{who}根据CNOT门进行建模，并询问：

可爱的鲍勃爱富有的爱丽丝吗？（Does Bob who is cute love Alice who is rich?）

 

因此，与训练模型所基于的量子电路相比，这相当于评估了更大的量子电路。但是，由于模型是根据用来表达问题的相同语法和词汇训练的，因此通过运行以下量子电路，我们的预期的真相标签，在这种情况下为假：

可爱的鲍勃爱有钱的爱丽丝。（Bob who is cute loves Alice who is rich）

 

尤其是，该真实标签的获得是通过对电路值的估计，如下图所示，是通过对回应上述句子的大量的运行的量子电路的测量结果采样。

 

问题句到陈述句的转换可以映射到量子电路并在量子机器上进行评估，该转换是通过在语法图级别实现适当的转换而完成的。

 

我们实验的一项关键功能是有效，高效的编译和优化。为了在量子设备上运行电路，需要对其进行编译。编译需要对电路进行变形处理，以使量子运算可以用设备本机运算来表示，并可以适应量子处理器的受限连接性。为此，我们使用了CQC的量子软件开发平台t | ket>（9）。

 

GitHub存储库。上述实验已在以下存储库中提供：

https://github.com/oxford-quantum-group/discopy/blob/ab2b356bd3cad1dfb55ca6606d6c4b4181fe590c/notebooks/qnlp-experiment.ipynb

 

接下来我们该怎么做？

有多种方法可以修改和/或概括该实验。

 

首先，可以改变人们使用的硬件类型，例如离子阱或光学器件，而不是超导量子位。通过CQC的与硬件无关的t | ket>实施我们的程序，该开发可以相当容易地进行。

 

其次，也可以改变计算模型，例如MBQC而不是电路。我们希望通过利用ZX语言和MBQC之间的紧密关系来在适当的时候实现这一目标（10）。

 

第三，也是很重要的一点，我们将处理更大的文本，而不是像演示中那样仅限于单个句子（11）。随着团队完成新的实验，我们将在后续的文章和论文中提供更多信息。

 

第四，我们可以开展除问答之外的其他任务，例如语言生成，摘要等。

 

最后，当然，当硬件变得更强大时，我们可以简单地扩展含义空间的大小和任务的复杂性，这显然是我们的总体目标。随着从超导和离子阱设备到光子量子处理器的各种不同量子计算平台中量子体积容量的加速增长，我们期望在未来的时期内提供更多信息。

 

注释和参考文献（下载附后）：

1. https://en.wikipedia.org/wiki/Bag-of-words_model

2. “Quantum links let computers understand language” By Jacob Aron

3. “Kindergarten Quantum Mechanics”By Bob Coecke

4.  Book: Picturing Quantum Processes-A First Course in Quantum Theory and Diagrammatic Reasoning

https://www.cambridge.org/hr/academic/subjects/physics/quantum-physics-quantum-information-and-quantum-computation/picturing-quantum-processes-first-course-quantum-theory-and-diagrammatic-reasoning?format=HB

5.“Quantum Algorithms for Compositional Natural Language Processing”By

William Zeng (Rigetti Computing), Bob Coecke (Univesity of Oxford)

6. https://newsroom.intel.ie/news-releases/intel-to-support-the-irish-centre-for-high-end-computing-on-new-collaborative-quantum-computing-project/#gs.37013h

7. “Interacting Quantum Observables: Categorical Algebra and Diagrammatics”By Bob Coecke, Ross Duncan

8. “Functorial Question Answering“ By Giovanni de Felice, Konstantinos Meichanetzidis, Alexis Toumi

9. “ t|ket⟩ : A Retargetable Compiler for NISQ Devices” By Seyon Sivarajah, Silas Dilkes, Alexander Cowtan, Will Simmons, Alec Edgington, Ross Duncan

10. “The Mathematics of Text Structure” By Bob Coecke

11. “A graphical approach to measurement-based quantum computing” By Ross Duncan

12-14. http://www.cs.ox.ac.uk/QNLP2019/

15. “Parameterized quantum circuits as machine learning models”By Marcello Benedetti, Erika Lloyd, Stefan Sack, Mattia Fiorentini

16. “Mathematical Foundations for a Compositional Distributional Model of Meaning” By Bob Coecke, Mehrnoosh Sadrzadeh, Stephen Clark

 

声明：文章收集于网络，版权归原作者所有，为传播信息而发，如有侵权，请联系小编删除，谢谢！