AI产品经理之数据标注

前两篇笔者分别为大家介绍了AI产品经理需要了解的概率论通识、线性代数通识、微积分通识，本篇文章中，笔者将继续为你介绍AI产品经理需要了解的数据标注，供大家一参考学习。

前几天参加京东的AI技术沙龙，在提问环节，有个小伙说：

“我是做销售的，刚才您讲的我都没听懂，我就知道，现在AI是风口，只要做AI相关的就能挣钱，您能说几个现在我们这类人能做到吗？能挣钱就行！”

台上技术出身的老师自然一时语塞。小伙说的没错，百团大战的时候确实一批刷单公司赚得盆满钵满。但是这些投机取巧注定不能长远。

让更多人卷进这次AI浪潮的可能就是数据标注了，All in AI的百度拥有大量的标注业务，大部分河南标注工厂用的是百度的标注工具，干的是百度的活。开始的时候标注的利润空间可以达到60%—70%。有些企业盲目扩张，一下子招了几百人；但是陆奇离开后，百度需求减少。准确率又普遍提高至95%-96%，活难干了。这些工厂只会百度的标注工具，很难接别家的业务，因此死了一批。

现在来看标注行业是一个苦行业，“如果你和谁有仇，就劝他干标注吧。”这是标注圈有名的段子。干标注就像将水倒进一个水桶里，每拉一个框就是添一碗水。目前，谁也不知道还能添多久，只有水溢出来时，才知道。

数据是AI公司的必需品。数据对于AI模型的重要性尤为重要，AI建模没有门槛，数据才是门槛。现阶段的人工智能是简单的认知智能。分类器的构造是个数学问题，就是由数据堆起来的。或者说深度学习本质上是个数学问题，是由大量的样本空间数据反向构造分类器的系数空间的过程。

数据标注模型

数据标注业务的配置是一个复杂的数学模型。比如，有些任务需要串并联的工作流，并联的工作流是多人协同的工作。串联的工作流是后一个结果是基于前一个结果进行处理的，串并联的工作流需要平台来实现业务工作流的配置。比如一些NLP型的文本标注作业，需要多个人来标，最后N选一或者投票。串并联配置涉及到底层数据流的分发等。或者说更像是一个流水线作业流程。

不断地用标注后的数据去训练模型，不断调整模型参数，得到指标数值更高的模型。

数据的质量直接会影响到模型的质量，因此数据标注流程设计和监督纠错就显得异常重要。

一般来说，数据标注部分可以有三个角色：

数据标注员：标注员负责标记数据。（文本、图像、视频）
数据审核员：审核员负责审核被标记数据的质量。（抽检）
标注管理员：管理人员、发放任务、跟进流程。

只有在数据被审核员审核通过后，这批数据才能入库使用。

一般众包数据标记流程

任务分配：一般数据分配由后台自动分发，根据用户选择标注类型每次分发几条内容，标注完成后再次分发。
复核入库：一般一条任务会分配给大于三个人的基数人员完成，根据少数服从多数原则确定该条数据的最终标签。
质量验收：一般会根据用户标注总数量和入库数量计算该用户的标注质量，和计算有效标注数量，质量高的和质量低的薪酬计算方法会有差别，以此来淘汰不能完成高质量标注的人员。