亚马逊研究人员使用NLP数据集来改善Alexa的答案

谷歌，苹果和微软等技术巨头都希望提高语音助手回答问题的质量，他们试图解决各自自然语言处理（NLP）技术的不足。他们的动机很丰富- 去年Adobe进行的一项调查显示，超过50％的美国智能音箱用户说他们问自己的设备问题。

为此，亚马逊科学家寻求训练一种NLP模型，以从一组比基线更好的候选答案中选择问题的答案。他们说，基于Google的Transformer的“转换和调整（TANDA）”方法可以有效地适应具有少量训练数据的新领域，同时获得比传统技术更高的准确性。

作为复习，《变形金刚》是一种由Google的AI研究部门Google Brain的研究人员合着的论文中介绍的一种神经体系结构。像所有深度神经网络一样，它们包含布置在相互连接的层中的功能（神经元），这些功能从输入数据传输信号并缓慢调整每个连接的突触强度（权重）。这就是所有AI模型提取特征并学习进行预测的方式，但是Transformers的独特之处在于，每个输出元素都连接到每个输入元素。实际上，它们之间的权重是动态计算的。

那么，TANDA是一个分为两部分的培训方法，该方法包括（1）使Transformer模型适合于回答问题的任务，以及（2）使它适合于特定类型的问题和答案。大型通用数据集（“答案自然问题”或ASNQ）用于启动系统，然后进行微调，使其适应目标域。正如研究人员所解释的那样，源自Google自然问题数据集的ASNQ的规模比现有同类语料库大得多，其中有57,242个问题用于训练AI模型，而在验证集中有2,672个问题。除肯定示例外，它还包含否定示例，这有助于模型学习从相似但不正确的问题中找出给定问题的最佳答案。

为了验证他们的方法，亚马逊研究人员首先采用了两个流行的NLP框架-Google的BERT和Facebook的RoBERTa-，并使用每个问题的完整候选集，以平均平均准确度和平均倒回回忆来测量准确性。他们报告说，在TANDA上进行了微调的BERT和RoBERTa模型都对现有技术进行了“重大改进”，并且它们受噪声数据插入的影响较小“一个数量级”。

在第二个实验中，团队使用来自Alexa客户互动的问题构建了四个不同的语料库。他们说，将TANDA与上述RoBERTa结合使用会比BERT产生“甚至更高”的改进，并且TANDA仍能抵抗噪声。

该研究的合著者写道：“有趣的未来工作可以致力于解决有关TANDA方法在其他NLP任务中的适用性和普遍性的问题。” “测试ASNQ是否可以为相关但明显不同的任务（例如释义或文本涵义）带来相同的收益，这很有趣，因为文本对成员之间的关系通常不同于问题和答案之间的关系。”