基于文本智能技术的AI产品设计实践

人工智能的浪潮遍及各行各业，随着自然语言处理技术的发展，计算机对文字的处理也进展到了一个新的层次，什么是文本智能？怎样在产品中找到人工智能可赋能的场景？当ai遇上产品设计，又将碰撞出怎样的火花？

一、什么是文本智能

文本智能通俗来讲，是计算机像人类一样理解自然语言。

“冬天，能穿多少穿多少。夏天，能穿多少穿多少。”

“中国足球队，谁都打不过。中国乒乓球队，谁都打不过”。

人类看一眼就知道什么意思，对计算机来说则困难重重。因为人的表达方式千变万化，短词汇可以传达非常宽泛的语义信息。

现在的文本智能处在什么层面？

人工智能的分类层次，第一层“运算智能”。计算是计算机的强项，通过分布式系统及高性能的CPU、GPU可以很好解决。
第二层“感知智能”。感知是在更多听觉、视觉、触觉等方面的创新。
文本智能处于第三层：认知智能。研究如何进行自然语言理解、知识的构建和逻辑推理。
第四层“创建智能”，是人工智能行业终极目标。

文本也可以分成两种类型：一种是书面文本，承载的形式为网页、word、txt或pdf；另外一种则是日常交流的口语形式。达观专注于第一种。

一份简历、一份合同、一份上市公司的债券募集说明书、一条评论都可以算书面文本。

面对一篇文本，我们能做什么呢？

（1）拆解

像庖丁解牛一样把文档结构化。

简历的姓名、照片、工作经历、教育背景；合同中交易的甲乙方、合同标的物、付款方式、条款；新闻的标题、摘要、来源、正文、关键人物、事件，组织机构名称，都是对文本拆解后抽取到的信息。

抽取是文本处理中最重要和实用的技术。抽取出合同中的“付款方式”之后，业务方才能够去进一步审核“付款方式”是否符合法律法规。

（2）联接

对多个文本进行庖丁解牛式的拆解，相关知识就能联接形成一个巨大的知识网。

对标到知识图谱，新闻中的人、事、物、关系，公司年报中的出现的公司名称及关系，都可以作为文本智能处理的大脑和背景知识，在知识网络上进行逻辑推理和判断。

（3）生成

生成是学术界研究的热点，在当前阶段是非常困难的事情。腾讯的Dreamwriter，今日头条的xiaomingbot都在尝试用机器创作短新闻。

接下来我们具体看一些文本智能的例子。

根据一篇新闻资讯，生成不同长度的摘要，主要有两种技术手段：抽取式和生成式。

给定一个用户评论，提取出标签信息和观点，属于一个短文本处理。

文本分类和情感识别，在文本质量管控和舆情分析方面使用较多。

文本审核也是分类的一种，涉黄涉政及判断是否是广告，是每一个做互联网产品的公司比较头疼的事。

下面是金融行业的债券募集说明书。

这样一个文档中，行业研究人员比较关注公司高管信息，比如：姓名、公司职位。在债券募集说明书中收购标的是哪些，包括资产、标的业务、标的所在行业是否涉外、交易对手是否涉外、各类财务指标等。

一般债券募集说明书从100到500页不等，让人从这么长的文档中找到这些关键信息，非常容易出错。

在公开的金融资讯网站上，债券募集说明书非常多，一个金融从业人员不可能在短时间内把每篇文章内的信息都抽取出来。所以在整个领域来说，文本智能处理出现了非常大的机会。这也受益于算法的进步，特别是深度神经网络从图片识别领域到文本处理的迁移。

促成文本智能处理飞速发展的原因很多。

最近Google 的bert模型刷遍AI界朋友圈：NLP历史突破，谷歌BERT模型狂破11项记录，全面超越人类。

第一因素是算法因素，算法层面一直在不断取得很大的创新和进步是主要因素。
第二因素是计算能力，如：分布式系统、GPU等应用。
第三因素是语料库的积累，互联网行业，可以通过多种手段迅速积累语料库，传统企业也有资料积累，但量级无法与互联网比。

文本智能处理的需求遍及各行各业。只要存在文字处理工作的行业，都有文本智能处理的需求，金融、法律、政府行业，媒体、互联网，大型企业等。

二、设计思维和机器学习

掌握AI算法和基于AI算法设计产品之间的距离是非常大的，如同从火药到火药枪、从铀到核炸弹、从硝化甘油到C4的区别。

怎样才能基于这个AI算法设计产品呢？

产品经理的思维是从用户、场景和需求三要素出发。

要给客户解决什么问题？目标客户如何刻画？客户在什么样的场景下会使用我们的产品？怎么用一系列问题，需要产品系统的思考。

设计思维的六个步骤重点包括：启发、构思和实施。

机器学习的流程，是对要解决的问题定义好后，对数据加工处理，提取特征，进行算法选择，从而确定可使用的模型。

当这些模型满足上线要求或业务要求以后，我们把模型放到线上系统中。当新接受到的数据进行同样的处理后，用训练出来的模型来判断是否属于垃圾邮件。

算法接受不同的数据可以训练出不同的模型。整个过程是迭代优化，因为数据的分布和蕴含的特征可能随着业务的不断发展在产生改变。

设计思维是以用户为中心，强调敏捷开发、快速迭代。
机器学习是以数据为中心，强调数据+模型闭环驱动。

两者怎么样进行深度的融合，是在人工智能时代下对产品经理能力模型的要求。

这两年AI的宣传，特别是Alpha GO的普及作用，我们感受到每一个行业都会被人工智能技术所影响，任何职业都会受到影响。

但AI到了无所不能的地步吗？

显然不是。

AI对行业或职业影响的有多大，很大程度上，是取决于这个领域技术的成熟度和边界在哪。

比如文本处理领域，针对文本处理技术评估可以分为3类：可用、基本可用、难以应用。

达到人类水准的有垃圾内容的检测、主题分类、文本相似度分析、对词性进行标注。
基本可用但仍存在缺陷的，比如关键短语生成、实体链接、机器翻译、语义消歧。
难以应用，包括多轮对话、QA问答、内容改写等。

当产品经理在设计一个基于文本智能的产品时，要考虑这项技术处于什么类别。类别决定技术用到最真实场景时、场景对准确度的要求。例如：自动驾驶或无人驾驶，场景容错率是零，因为轻则车毁，重则人亡。

保守一点讲，我们还处于AI的初级阶段，AI的常识逻辑和逻辑推理能力都还很弱，但在日常生活中人类已经享受到了AI带来的价值。

三、如何找到AI赋能的场景

那么，该如何找到AI赋能的场景，让算法专家、行业专家和应用开发专家三种角色的合作使人工智能落地呢？

找到这个场景的前提是需要思考，运用AI产品和解决方案的本质什么。

首先，应用可以分为两类：互联网行业应用和企业级应用。

在互联网行业应用，无论是搜索、推荐系统、广告，提升的是过程中信息传递的效率。在企业级应用上，主要是提升生产效率和创造新价值。

提到AI产品和解决方案，当我们将它们服务于我们企业级场景的时候，它的核心是在提升生产效率。

产品需要找到在当前的业务流程中，生产效率到底出现什么问题，或哪个环节希望借助AI技术进行生产效率的提升、节省人力。

这些可以分四个步骤做，算法开发人员也是站在这四步实现代码：

1）流程拆解

对当前的工作流程或业务场景进行详细拆解，诊断阻碍生产效率的最大问题，对核心问题进行拆解。

2）数据评估

如果想解决问题，公司的哪些数据是跟这个问题相关的？

有没有数据？如果有数据，这些数据的质量怎样；
缺不缺数据？如果缺数据，这部分数据可不可以通过外部采购，或跟其他的应用、产品进行连接后获得。这些都是在数据评估阶段要考虑的问题。

3）方案设计

方案设计是针对当前的数据现状去完善基础数据，选择可能存在的AI算法是什么。比如进行垃圾分类，有很多分类算法可以采纳：贝叶斯模型、SVM逻辑回归。

第三点比较重要，很多时候人不知道算法的效果怎样，如果工具能够帮助我们进行快速的测试，会很快的验证和优化方案。

4）有机整合

当设计好解决方案以后，准确率是可接受的，这时考虑这项服务或应用怎么跟现有的系统进行结合。

大体来看有两种方式：

一种方式基于AI，做独立的产品，在这个产品中有这项功能；
第二种是一种以API接口的方式和业务进行打通。

系统上线以后，怎么做模型升级、怎么做维护，也是我们面临的挑战的问题。概括来讲，想找到AI能够赋能或落地的场景，需要对流程进行拆解，然后评估数据，进行AI方案的设计，最后和系统进行有机整合。

如果对差旅的报销流程进行梳理，共有五个环节：

第一，整理出差待报销的发票；
第二，填写报销申请表；
第三，上传递交的票据；
第四，财务部门进行审核；
第五，最终审核通过。

对流程进行拆解，第一步，整理出差待报销的发票。要先根据票据的类型进行分类，分好类分别计算各个票据的金额，交通、住宿，进行汇总。第四个环节，财务部门需要核对申请表上的金额与提交的纸质票据的原件是否一致。

当对流程进行拆分以后，就可以进行AI技术的评估。比如：票据类型分类，能不能通过OCR技术。

当对进行各项金额计算时，能否通过文本关键信息提取技术把金额自动提取出来，进行汇总计算。填写报销申请表时，能否根据数据接口的方式自动传达财务部门的审核系统中。同样，通过文本内容关键信息提取技术，把提取出来的数字和用户上传过来的数字进行复核，来判断是否通过。

这几项AI技术帮助赋能，在这个环节中，我们需要哪些数据？

第一环节需要报销的原件，第四个环节既需要原件，又需要申请表。通过这样的方式，我们找到了AI落地的场景点，并明白了技术在里面可以做到什么程度，同时让业务方也了解到了这项技术确实是可以落地的。

通过拆解可以发现三个场景充分利用文本智能技术：

第一，合同的差异比对。合同有不同的版本，且不同的版本是内部不同的人配合协作的，有时还涉及到外部的咨询公司。
第二，合同条款的读取。当我们进行审核时，需要公司的法务人员对合同进行阅读，找出需要审核的条款进行法律法规的判定。
第三，合同审核。

找到这三个点以后，明确了提供AI产品价值是提升效率，帮助法务部门控制风险。

当我们找到可以AI赋能的场景后，我们需要遵循什么样的原则去设计产品和解决方案呢？

四、AI产品设计原则

我们先来看下传统软件设计和AI驱动软件的差别。

传统软件设计，设计过程注重的因果、逻辑。设计一个OA系统，要考虑员工办公流程、每个流程要达到的目标是什么、功能实现最短路径。如果有输入不符合预期时，传统软件产品时，开发工程师比较容易重现BUG和解决问题。而AI驱动的软件，重点需要考虑的是结果不确定性、逼近优化目标。

比如合同条款读取，通过历史的合同数据，已经能够训练出文本智能模型，可以对某些字段进行抽取。假对某个字段的抽取准确率是98%，在历史合同数据中这个非常高的准确率了，站在业务方来评估，也基本能够满足上线要求。但当系统上线以后，对新的一份合同，也许没有抽取出来。又来一份新的合同，也许就抽取正确了。

对AI算法来说，准确率98%是站在数据集的角度考虑的，但真正把模型或产品应用到业务系统中，业务人员面对的是一份一份的数据。

另外，优化目标是个逼近的过程，过程是上下起伏的，总效果是逼近目标的。就像人喝醉酒后回家一样，摇摇晃晃，有时多走了几步，但是还是往家的方向走。

可这种情况，对产品的使用者怎么办？

使用者知道产品在优化，但使用过程中还是会出现错误。优化的过程有起伏，使用者被告知针对目前的问题，上了一个新的版本，新版本的准确率由98%提升到99%，可在真正使用时，可能发现连续3份合同抽取错误了。这种情况下业务方很难接受，因为他们对AI算法本身不是太理解。作为产品经理，这是一个需要解决的问题。

对AI产品，大家总是期望主动表现出智能型，对于这种需求，UI设计和功能设计都是可以起到作用的。

对于功能性，有4点比较重要：

第一，怎么设计“消除不确定性”。AI算法的流程和处理方式就决定了它存在的不确定性。产品要通过各种方式来摊销或消除不确定性，或存在不确定性时有合适的处理方式。
第二，“注重学习反馈”。算法的智能很大一部分来自数据，也来自用户的反馈。当新的数据源源不断进来后，通过我们产品的界面设计纠正错误后，产品怎么接受这种反馈，实现自我演化。
第三，“使用人机交互”。用户的反馈通过怎么样的交互方式来体现？可以让用户先试用一段时间，基于这段时间出一个报表，在报表把系统处理的各项错误罗列出来，用户通过离线方式进行批量的修改确认，把修改的结果导入到系统中重新训练模型，这是一种人机交互。能否在线实时处理掉，也是一个非常重要的问题。有时产品认为用户通过人机交互方式进行了反馈，也许因为产品功能设计得不够友好，用户误点了。要区分哪些真正有价值的反馈，哪些是需要消除的噪音。
第四，“注重检测错误”。准确率不是100%的情况下，线上系统的错误处理和运维是非常具有挑战的。尤其是当线上数据具备高度机密性的情况下，线上系统处理的数据不可能导出到测试环境中让AI人员去研究复现时，怎么办？