行业报告 AI展会 数据标注 标注供求
数据标注数据集
主页 > 人工智能 正文

浅谈:YY直播平台中内容分发、自然语言对话NL

本文是关于在直播平台中内容分发、自然语言对话的人工智能AI应用。主要侧重其定义、作用、实现方式,同时也抛出相关的资讯及案例进行分析。这也是当时面试欢聚YY AI产品经理其中六轮面试中第三轮中一些问题的梳理总结,后面拿下了这个Offer。(由于利益关系去掉了一些内容)对AI产品经理的相关面试和准备有兴趣的小伙伴,欢迎关注收藏,不断更新。

本文目录如下:

1. 内容分发在直播平台中的AI应用

1.1 内容的审核监管

1.1.1先说:问题和风险

1.1.2再看:传统的解决

1.1.3应用改进:AI

1.2 个性化的内容分发

1.2.1背景

1.2.2利用AI挖掘出内容特征

2. 自然语言对话在直播平台中的AI应用

2.1客服机器人

2.1.1现状

2.1.2对话增加情感分析

2.1.3对话增强自我学习

2.14 对话增强意图分析、上下文分析

2.15其他

2.2语音助手

2.3直播间辅助

2.3.1 场景1:语言表达缺陷

2.3.2.场景2:直播环境语音不可用时

2.3.3 场景3:直播间辅助

4. 总结

1. 内容分发在直播平台中的AI应用

首先,根据直播平台的内容,可泛分为三种:内容创作者(主播)、视频直播、小视频;

其次,从内容的“进与出”,可分两大方面:一是内容的审核监管,二是个性化的内容分发。

最后,内容的生产创作方面(这个本文先不讨论,以后单独再发)

1.1 内容的审核监管

该场景聚焦的是:科学管控、提升效率,降低成本。

1.1.1 先说:问题和风险

(1)直播内容监控复杂度高,人工易漏判

违规的直播有多种类型,如涉黄、广告、侵权、赌博、暴力、政治、敏感、屏中屏等,人工以或标准化的审核模型难以精准识别,误判、漏判的概率较高。

(2)网络直播规模庞大,人工审核成本高

监管要求24小时实时进行,虽然违规比例占比不高,但为了做到“无漏网之鱼”,需要投入大量的人力、物力和财力进行监管,运营成本压力增加。

(3)直播流量聚焦夜晚,人工审核效率低

夜晚疲劳,人眼识别精确度降低,出现误判漏判的概率上涨,审核效率降低,难以达到网络直播的内容监管需求。

(4)主播实名及直播实时验证难

一是主播注册的实名验证,若完全依靠人力审核,人力成本增加,难以做到真实有效的审核;二是每次主播直播时,都验证是否属于本人在直播,这又增加一部分人力成本,运营难度上升。

1.1.2 再看:传统的解决

传统的审核方式主要有三种:

  • 纯人工审核:人员“三班倒”工作,人眼鉴别该图片或视频是否违规;
  • 建立MD5数据库:网监建立存储违规图片、视频的MD5数据库,用户上传后自动分析MD5是否合法,则可避免涉黄内容重复分享。
  • 传统的智能审核:如识别色情图像,基本是通过图片 RGB 值识别肤色比例;通过建模识别异常动作、敏感部位等。

弊端:这些审核方式都存在较大的漏洞。“三班倒”的人工容易导致审核效率低、误判漏判多等主观性问题;MD5则非常容易被篡改;传统智能识别色情图片准确率低、经常误报等。同时,对近两年热门的视频直播审核需求更难以满足。

1.1.3 应用改进:AI

基于上述场景与问题,可引入AI技术落地优化。

(1)方案:利用AI识别+人工审核的模式

(2)场景:如举例“鉴黄”:通过鉴黄模型对内容分析的类型为“色情”、“性感”和“正常”三类,并且机器会自动将识别结果分为确定和复审两部分,确认部分的识别精确度达到或超过人工,无需复审,对于复审部分,机器会根据可能性排序,人工再根据概率从高到低来审核。

同样,可延伸至主播封面图等审核任务。

1.2 个性化的内容分发

聚焦:视频直播的推荐结果与用户的心理预期重合度变大,用户在观看直播时的选择更加直观和精准,用户的活跃度明显提高,平台的点击率和留存率明显上涨。

1.2.1 背景

大数据时代,对于电商、内容型产品,个性化推荐已成标配,应用好处不多复述。

此处的内容分发,侧指的是前端的个性化内容排序,即个性化推荐。

目前主流的推荐算法是协同过滤,推荐引擎是多种推荐算法组合的。此处也不对算法层面过多开展,侧重关注的是:无论是何种算法引擎,都是基于用户画像、货物(内容)画像的基础上进行计算。没有这些基础特征是难以开展个性化的内容分发。

产品经理角度浅谈:YY直播平台中内容分发、自然语言对话NLP的人工智能AI

同时,用户画像中的兴趣、行为偏好,往往受内容画像所映射的。如A用户阅读一篇名为“周杰伦最新演唱会定时间了!”,可能会被标上“娱乐偏好”、“周杰伦”等标签,并通过不同的行为给予不同的权重分值。因此,如何识别出内容的特征,是影响着个性化内容分发的效果、效率、体验。

1.2.2 利用AI挖掘出内容特征

此处只针对视频直播进行分析。

利用AI技术从人脸、图像、音乐和语言四个维度对视频直播进行分析和理解,可以对其做出基本的分类,特征化。

(1)从内容看特点

  • 从内容识别难度来看,视频直播比文章、图片的难度要大;
  • 从内容特性来看,直播有互动性、场景性、才艺类型等,甚至还有“主播”调性;
  • 从内容时效来看,直播是实时的;
  • …….

(2)应用流程

首先,按上述特点,应对视频直播的内容按多种维度划分,利用AI对内容识别,挖掘出丰富内容特征。

其次,由于直播是实时性,是由主播产出,是先有主播再有视频直播内容。因此,此处的对直播内容识别出的特征,应是给主播打上。

最后,可以考虑一种的个性化内容分发是:用户特征+主播特征,进入推荐引擎计算,召回一批符合用户偏好的“主播权重列表”。此时再去查询这些主播是否有开直播、直播开始多久了、亲密程度等等维度进行综合推荐,以达到个性化内容分发。

(3)AI识别维度、内容分发排序

列举一些对内容识别的特征维度(举例一些,不全):

从直播来看:

  • 互动性:主播与粉丝的互动情况,包括语言交流反馈、问答情况等。
  • 打赏性:打赏刷礼物,直接反应收入状况。有时需考虑业务的干扰,利于平台佣金收入。
  • 时长度:直播的时间长度;
  • 场景:直播的场景,是户外还是户内。如直播间、运动场、健身房、车内等;
  • 物体:货物、摆件,美妆物品等;
  • 离场:是否有离场,频次等。

从主播来看:

  • 行为:唱歌,聊天,表演,魔术,解说,多手势…
  • 声音:甜美系,女汉子系,治愈系…;
  • 才艺:弹琴,唱歌…;
  • 风格:韩系装扮,性感,成熟,绅士,运动阳光,萌妹子…
  • 性别:男,女…
  • 年龄:年龄区间,或XX后,视模型口径;
  • 颜值:….

举例:

  • 风格:一个喜欢做嘟嘴表情的年轻女主播,会有很大可能被打上“萌妹子”的标签(人脸识别);
  • 颜值:基于颜值模型判断主播的颜值分(人脸识别)
  • 声音:基于模型判断出主播的声音(语音识别)
  • 手势:一个主播常喜欢做比心、爱心、嘟嘴等一连贯的手势肢体动作,可能被打上手势大人、爱互动等标签(动态手势识别)

上面这些的识别基本都需要结合AI技术进行,挖掘出内容特征作为推荐使用。

(4)个性化内容分发的排序-算法

自己YY一下基本的维度:

产品经理角度浅谈:YY直播平台中内容分发、自然语言对话NLP的人工智能AI

(5)其他

个性化的内容分发,可以用于多个场景,如搜索结果页、首页、关注页等,基于不同用户分群进行个性化推荐策略。此外,除了在内容特征识别应用AI,在推荐引擎中的深度学习、知识图谱也是AI在支撑。

2. 自然语言对话在直播平台中的AI应用

首先,NLP涉及领域很多,凡是有自然语言(语音、文字)输入的场景,都有可能会使用到。如语义分析、机器翻译等。此处的自然语言对话,侧指智能助理/智能问答/语音服务等方面。个人理解是:即利用AI技术打造出:统一的CUI(对话交互界面)、一站式的整合信息&服务。

其次,若按对话的场景区分有:封闭域对话、开放域对话。通俗的说,前者是”要求用户输入指定地话语才能继续对话”,输入输出是可枚举的、有明确始与终;后者是“用户爱说什么就说什么都可以持续对话”,输入输出无法穷尽、无明确流程。

若按对话内容方式有:文字、语音。(一般情况下,文字可以直接处理,如果是语音,通常情况下需要将语音转换成文字(ASR技术)

一般原理是:是用户输入,引擎内部通过长期积累的知识,首先经过自然语言分析,在通过语义理解、上下文分析进行知识推理,从而生成个性化的答案,输出给用户。整个典型的自然语言对话如下图。

产品经理角度浅谈:YY直播平台中内容分发、自然语言对话NLP的人工智能AI

最后,从几个场景去分析,包括有:客服机器人、语音助手、直播间辅助。

2.1 客服机器人

基本原理是:输入的是用户的问题,引擎内部通过长期积累的知识,首先经过自然语言分析,在通过语义理解、上下文分析进行知识推理,从而生成个性化的答案,输出给用户。整个典型的自然语言对话如下图。

2.1.1 现状

客服机器人依据媒体类型分为两种,基于电话语音,基于文本信息。前者如10086的自助语音服务;后者一般是置于应用中,能解决简单而又大量重复问题,以节约成本,如淘宝的小蜜、万象,直播APP里的客服助手等。

从输入方式来看有:语音输入和文字输入,技术上的区别是语音输入要做语音识别,将语音信号转换成文字。目前客服机器人主要是两者都支持。

从输出方式来看有:文字输出、图像输出、语音输出。这个类型视业务需求、产品场景所决定。目前客服机器人主要是文字输出,一般基于用户画像预测问题、热门问题前置等。

如下图的所示,属于能支持自然语言对话(语音+文本)的客服机器人。

产品经理角度浅谈:YY直播平台中内容分发、自然语言对话NLP的人工智能AI

问答机器人其实是在头部问题上实现了综合过滤,然后通过对话的形式反馈给用户,如果用户实在问的是长尾问题,问答机器人回答不了的,此时可走人工客服。满足了用户九成以上问题的直接答复,是问答机器人的核心目标。满足在服务上,缩短服务寻求路径与服务寻得率,从而提升用户自助体验,降低人工入线率,降低运营成本。

2.1.2 对话增加情感分析

即相当于赋予客服机器人EQ,能在对话中对语义进行分析,精准感知用户情绪,并在回复表达中蕴含相应情感,让互动更有温度。

原理是自动识别对话过程的文字或语音,尤其是带有主观描述的进行情感分析,如,可以识别生气、喜悦、失望、着急等多种人类细分情感,对此生成相应带情感的、口语化的表达,若判断精准,能让用户体验佳,不冰冷。

举个例子如下图,JD客服JIMI机器人增加情感分析,从IQ到EQ的升级,用户体验上是有明显差异的:

产品经理角度浅谈:YY直播平台中内容分发、自然语言对话NLP的人工智能AI

此外,增加情感分析也可用作对话质量(服务)评估。如根据前来咨询的客户来时的情绪,以及离开时情绪的对比,就能从另一个维度感知此次服务的质量。既可以用以考核客服人员,也可以用来改进客服的服务。

2.1.3 对话增强自我学习

场景:客服机器人无法满足用户需求,出现呼叫人工客服。

在人工沟通-解决的过程,客服机器人应将此对话过程沉淀学习。如记录下:呼叫人工客服前的对话过程、人工对话的过程,分析不足与改进点。若每一次人工解决问题,中间的所有信息都被人工智能所记录,多次学习自我进化,能提升客服机器人对话服务质量。

2.14 对话增强意图分析、上下文分析

场景:客服机器人增加意图推荐模块,当开始对话过程时,能基于用户过往的行为偏好分析,主动预测用户意图,提供相应信息。(非常见热门问题)

场景:对话过程中的上下文,分析预测相应的场景、语境,进而精准服务。

2.15 其他

不能以对话轮数多少相比。

比如,人类用户与小冰的平均每次对话轮数可达到23轮,微软对此也颇为津津乐道,但是,在客服上,如果机器人要与前来咨询的客户对话23轮,才能给出答案,你可以想象客户的反应会是什么。

2.2 语音助手

相比较于客服机器人,语音助手更是起到连接、推荐作用。用户通过输入语音或文字,可调用直播平台内各项功能、服务。整个对话过程是类似开放域的场景。

  • 场景1:如用户输入“我关注的主播有哪些已经开播?”,得到对话可以是告诉有哪些主播在开播,开播多久了,直播间的互动情况,甚至根据用户偏好及其他维度分析,优先推荐哪个直播间;
  • 场景2:如新用户刚来,又没有强目的、强关注的主播等。或许可以通过助手进行对话引导,获取偏好进行直播推荐,甚至是某个主播,并将该主播的一些信息进行描述,让用户多方面了解;
  • 场景3:如猜你喜欢什么主播或直播,那么助手对话过程的引导可以有多种,或许通过用户自拍、发送某些图像信息等,给出相应趣味的关联分析,如性别,年龄等,以此提供个性化推荐服务;
  • 场景4:……

2.3 直播间辅助

自古民间出高人。对于直播的平台是欢迎各大IP入住开播,主播也乐于展显看家本领。而直播更具强调互动性,直播过程中需要通过言语肢体等与粉丝互动,其中,言语表达尤为基础重要。

2.3.1 场景一:语言表达缺陷

有一类人,他们身患绝技、各怀才艺,却有表达缺陷,如哑巴。在如今强调人人是IP、自媒体的时代,他们可能因此而失去一些做主播的机会。

但是,他们本身是懂表达,如唇语、手语。从本质上,一切人类沟通的语言都属于自然语言。因此,能利用AI的技术手段进行识别、跟踪,通过NLU进行理解、翻译,最后输入语音表达。

关于辅助声音,创作者录音通过声音模型学习,尽量拟合原声或差异个性化的。

同时,若声音实现不理想,也可以将唇语或手语识别进行文本翻译,也是一种互动方式。

2.3.2 场景二:直播环境语音不可用时

直播过程中或许存在一些语音不可用的场景,如噪音突然变大、摄像头未配备麦克风(损坏)。这时,若主播调用唇语识别功能,基于以上原理能保持直播间互动正常,避免突然冷场中断、离场等情况。

2.3.3 场景三:直播间辅助

场景:针对现场直播解说类,为主播解说提供辅助。如,体育、游戏等竞技类的比赛直播。

这里的辅助有4个方面:

  • 针对直播视频的信息:能实时提取一些相关的信息。如动作、球员信息,能够识别并输出文字记录,类似对话模式,或许可以供主播对大盘比赛有参考;
  • 针对直播间的互动解说:有时候主播对于粉丝、或者解说某些内容有些疑惑,如想中途插入一些故事或者其他相关情节、解答粉丝的热门问题。此时直播间的助手可以将这些对话记录并分析,根据热门信息或关键词进行寻找,以供主播进行参考以更好解说,或许也能满足粉丝的互动提问,活跃氛围。
  • 针对直播视频,增加虚拟主播解说。如某场球赛直播,在视频中进行识别,如球员头像、动作行为、跑动轨迹等特征,再用语音的方式来为用户解读比赛进程,提供精选球迷评论、分享球星趣事等; 或许用户还可根据兴趣选择喜欢的球星观看,让虚拟主播成为自己专属的机器人解说员。
  • …..

4. 总结

最近对AI进行学习了解,包括从概念知识、应用领域、AI产品经理的相关工作流程等方面。同时参阅其他资料信息,对于AI PM有一些看法总结,其中这些也是和传统PM差异点:

4.1 需要了解技术现状

这里的现状,侧重是指技术原理、边界。每一项技术都有边界和最优应用场景,尤其目前AI技术相对是不够成熟的,那么了解好技术可能实现的能力范围、所需的成本、当前存在的技术瓶颈…,具备这些基础会更好去沟通、发散和结合。

4.2 需要寻找并定义AI业务场景

正如上述所言,理解技术优劣势的基础上,寻找到可以提供更好用户体验的业务场景。也就是说,如何结合当前现有AI技术与业务场景,为用户提供更好更便捷用户体验的产品。因此其中主要的工作就是:完成当前技术与现有市场需求的映射,侧重对场景的思考。

4.3 多一层评估、多一层挖掘价值

当前AI技术的实现成本相对还是高。也并非有想法就能实现,即使条件+成本都能满足时,也存在较大试错风险。因此还需对场景多思考,充分评估产品定位、用户价值、成本、商业价值等因素是否相匹配。让现有技术所定义的产品价值能够转化为商业价值。

4.4 与互联网产品经理的差异

(1)关注业务的范围不同

互联网PM可能会深入关注局部业务范围的产品优化与用户价值,而AI产品经理可能需要在基于公司业务的整体范围,寻找存在AI优化的场景需求。

(2)多了一种语音交互方式

机器学习促进了语音识别技术的发展,也促进发展了语音交互场景。AI语音交互的设计可能比手机/PC端的交互设计难很多,因为语音交互系统不是限定好的GUI操作界面,而是不便于规范且自由延展的自然语言。会话的开放性意味着 AI 交互设计者必须考虑用户可能采取的几乎无数的选择。要能够理解用户,了解他们的动机,然后合乎逻辑地思考如何引导他们完成一件事情。

(3)更多的理论基础支撑

机器学习的理解、算法模型优化等等。

(码字不易分享可贵!欢迎关注收藏后续再更新….)


微信公众号

声明:本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
SEM推广服务

Copyright©2005-2028 Sykv.com 可思数据 版权所有    京ICP备14056871号

关于我们   免责声明   广告合作   版权声明   联系我们   原创投稿   网站地图  

可思数据 数据标注

扫码入群
扫码关注

微信公众号

返回顶部