用于查找用户搜索意图的超快速机器学习模型

在2019年4月，本杰明·伯克霍尔德（本杰明·伯克霍尔德）（真是太棒了）发表了一篇中型文章，展示了他编写的脚本，该脚本使用SERP结果功能来推断用户的搜索意图。该脚本将SerpAPI.com API用作其数据，并通过以下方式标记搜索查询：

信息性—该人正在寻找有关主题的更多信息。这是通过是否存在答案框或PAA（人们也问）框来表示的。
导航—该人正在搜索特定的网站。这是通过是否存在知识图或是否存在站点链接来指示的。
交易性-该人的目标是购买东西。这通过是否存在购物广告来指示。
商业调查—该人的目标是尽快购买商品，但仍在调查中。通过是否存在付费广告，是否存在答案框，是否存在PAA或SERP底部是否存在广告来表明这一点。

这是估算搜索意图的最酷的方法之一，因为它利用了Google对搜索意图的理解（如针对该搜索显示的SERP功能所表示）。

Burkholder方法的一个问题是对Serp API的依赖。如果您要查找大量搜索查询，则需要通过API传递每个查询短语，然后由API进行实际搜索并返回SERP功能结果，然后Burkholder的脚本可以对其进行分类。因此，在大量搜索查询上，这既耗时又昂贵。

SerpAPI每个关键字的费用约为0.01美元，因此分析5,000个关键字将花费您50美元。通过Burkholder的标签脚本运行这些结果还需要3到5个小时来获得这5,000个关键字。

因此，我开始思考：如果我采用Burkholder的方法，而不是直接使用它对意图进行分类，可以使用它来训练机器学习模型，然后将其用于意图分类，该怎么办？换句话说，我将花费一次成本来生产带有Burkholder标签的培训集，并且假设它足够准确，那么我可以将该培训集用于所有进一步的分类，而无需花费任何费用。

有了准确的培训集，任何人都可以超快速地标记大量关键字，而无需花费一分钱。

寻找模型

哈姆雷特·巴蒂斯塔（Hamlet Batista）写了几篇关于如何利用自然语言模型（例如BERT）标记意图的出色文章。

在他的帖子中，他使用了现有的意图标签模型，该模型从Kaggle的Questions Answering Dataset中返回类别。尽管这些标签可能有用，但它们并不是真正符合我们通常针对意图分类法的“意图类别”，而是具有诸如“描述”，“实体”，“人”，“数字”和“位置”之类的标签。

通过培训BERT编码器，他获得了出色的结果，在预测新标签或未标签搜索关键字的标签方面，准确性接近90％。

对我来说，最大的问题是，我可以利用从Burkholder的代码中获得的搜索意图标签，利用相同的技术（Uber的Ludwig BERT编码器）创建准确的模型吗？

原来答案是肯定的！

怎么做

该过程的工作原理如下：

1.收集您的关键字列表。如果您打算训练自己的模型，建议您在特定类别/细分市场中这样做。训练与服装相关的关键字，然后使用该模型标记财务相关的关键字，其准确性可能大大低于训练与服装相关的关键字，然后使用该模型标记其他未标记的服装相关的关键字。就是说，我确实尝试使用在一个类别/细分市场上标记的模型来标记另一个类别/细分市场，但对我来说结果仍然相当不错。

2. 在步骤1的关键字列表上运行Burkholder的脚本。这将需要注册SerpAPI.com并购买积分。我建议使用此脚本获取至少10,000个搜索查询的标签，以用于培训。训练数据越多，您的模型将越准确。

3.将上一步中标记的数据用作BERT模型的训练数据。Batista的代码非常简单，本文将指导您完成该过程。使用大约10,000个训练数据标签，我能够获得约72％的准确性。

4.使用第3步中的模型来标记未标记的搜索数据，然后查看结果！