微软的两款聊天机器人为何命运迥异？人类如何

我们在亚马逊上网购或者在网飞(Netflix)上看电影时，我们觉得那是我们自己在选择。而事实上，算法影响着我们在亚马逊上三分之一的决定，在网飞上80%的决定。更重要的是，算法也有它自己的偏见，有时会自作主张。 

沃顿商学院信息管理学教授霍桑纳格(Kartik Hosanagar)在他的新书《人类的机器智能指南：算法如何影响生活以及我们如何继续掌控》(A Human’s Guide to Machine Intelligence: How Algorithms Are Shaping Our Lives and How We Can Stay in Control)中探讨了算法的决定会有哪些问题，以及人类如何才能继续控制科技的未来。 

他指出，重点是，我们必须“更加主动和用心地参与到科技发展的方向中去”。

以下为编辑后的访谈记录。 

沃顿知识在线：在对于人工智能(AI)和机器学习的讨论中，有没有哪些点被忽略了？ 

卡迪克·霍桑格纳：机器学习是AI的一个次级领域。人们在讨论时，要么倾向于美化科技，要么散播恐惧。我的书关注的是如何利用智能算法做决定。

有一个核心问题：我们会不会用AI来做决定？我们是用它来辅助人类做决定吗？还是让AI自主决定？ AI自主决定哪里会有问题？哪里会表现较好？人类如何管理？

大家都知道AI潜力很大，但它在发展中必定会出现问题。比如算法的决定会错在哪里？我们如何确保对此过程有掌控权？ 

沃顿知识在线：这本书的开头举了一些有趣的例子，比如聊天机器人。你能用这些例子说说人类是怎么跟算法互动的？ 

霍桑格纳：我在本书开头写了微软创造的聊天机器人“小冰”。在中国，它叫“小冰”。在其他国家，它叫“Xiaoice”。这个机器人的头像是一个少女，它被创造出来是为了跟年轻人进行调皮有趣的对话。这个聊天机器人在中国有4000万粉丝。据报道，有大约四分之一的粉丝对小冰说过“我爱你”。

小冰在中国的成功给了微软启发，微软决定在美国测试一款相似的聊天机器人。他们创造了一个说英语的机器人，可以跟人们进行调皮有趣的对话。这个机器人面向的也是年轻人。它在推特上以“Tay”的名字上线。但是这个机器人很短命，跟小冰的经历有很大的不同。仅上线不到一个小时，这个机器人就变成了一个性别歧视者、种族歧视者和法西斯主义者。它的推文极具攻击性。比如它说，“希特勒是对的。”不到24小时，微软就关闭了这个账号。后来，那一年麻省理工大学的《科技评论》把微软的Tay评为“年度最糟糕科技”。

这个故事让我开始思考，为什么相同的公司制造的两个相似的聊天机器人会产生如此不同的结果呢？这对我们有什么启示呢？ 

沃顿知识在线：为什么这两个产品的体验会天差地别？ 

霍桑格纳：在尝试解释这两个机器人的行为差别时，我从人类心理学中得到了一个启示。心理学家用“先天”和“后天”描述人的行为。“先天”是我们的基因组，“后天”是我们的环境。心理学家把一些问题，比如酗酒，一半归因于先天，一半归因于后天。我意识到算法也有先天和后天。算法的先天不是基因组，而是工程师给它写的代码，就是算法的逻辑系统。后天是算法学到的数据。

随着我们向机器学习走得越来越近，我们逐渐远离了以前的世界：以前工程师会对一个算法进行端到端的编程，他们可以确定在任何情况下这个算法的表现。“如果发生这种情况的话，你用这种方法应对。如果发生那种情况的话，你换一种方法解决。”在发展的初期，算法完全是由“先天”控制的，因为程序员给出了详细的规定，告诉算法应该怎么工作。

但是随着我们进入机器学习时代，我们告诉算法，“这是数据。你自己去学吧。”所以“后天”的影响力开始粉墨登场。不妨看看Tay和小冰的命运，在某种程度上它们的分歧来自训练数据。就小冰来说，创造它的初衷是模仿人是怎么对话的。而Tay学习到的是人们是怎么跟它说话的，然后再把这些反映出来。有很多人故意给Tay下套，这是“后天”的作用。

但“先天”也起了一定的作用。代码里本应该有一些特定的规则，比如“不要说下列这些话”或者“不要参与这些话题”等等。所以先天和后天的因素都有。我觉得算法自作主张的行为归结起来大致就是因为这些。 

沃顿知识在线：有一段时间，算法决定似乎就只是“亚马逊建议你读什么书”或者“网飞建议你看哪些电影”。但因为AI，算法决策变得更加复杂。你能举一些例子吗？

霍桑格纳：是的，算法遍布我们的生活。比如在亚马逊上，我们所做的三分之一以上的决定都受到了算法推荐的影响，比如“买了这个产品的人也买了那个。”在网飞上，算法影响着人们80%以上的观影活动。算法推荐也影响着比如约会的推荐。在Tinder等应用上，大部分配对都是算法创造的。

算法也推动着很多职业决定。比如，当你申请贷款时，越来越多批准房贷的决定都是由算法做的。当你申请工作时，算法筛选简历决定面试人选。它们也做一些事关生死的决定。在美国的法庭上，有算法可以预测被告人再犯法的可能性，然后法官再做量刑决定。在医药行业，我们正进入定制化医药时代。两个症状相同的人可能会得到不同的治疗。治疗方案有可能是根据他们的DNA制定的。算法引导医生做出这些决定。

我们正朝着一个方向发展，即算法还能自主运作，比如无人驾驶汽车。

沃顿知识在线：随着算法做的决定越来越多，这个世界还有自由意志这回事儿吗？ 

霍桑格纳：自由意志是一个有趣的概念。我以前都是从哲学的角度看待自由意志的。哲学家认为我们没有自由意志。但我觉得如今在算法时代，我们对自由意志有一个字面上的解释，即最终的决定是否由你在做？

就像我说的，你在亚马逊上三分之一的选择都是因为算法的推荐。你在网飞上80%的观看选择都是因为算法的推荐。人们在YouTube所花的70%的时间都受到算法推荐的支配。所以算法并不只是在向我们推荐我们想要的东西。想一想谷歌上的搜索，我们看到的搜索结果可能都不到0.01%，因为我们很少会翻过第一页。算法决定了让我们看哪些页面。很多选择都是算法给我们推荐的。

我们还有自由意志吗？在某种程度上，有的。但是我们自主决策的能力不如我们想象得那么大了。我们以为自己在做想做的事情，但其实算法在不经意间用一些有趣的方式推动着我们的决定。大多数时候，这是一件好事，因为它可以给我们省时间。但有时候，这是被动的，会产生一些后果。 

沃顿知识在线：算法的设计选择会产生一些什么样的意外后果呢？ 

霍桑格纳：比如，你试着优化一个决定的某些方面，可能你成功地改进了这个方面，但是其他一些方面又出错了。比如，Facebook用人类编辑来手动管理热门话题，但又被指责存在左派倾向。所以Facebook用算法来管理热门话题，然后测试它是否存在政治偏见。算法没有任何政治偏见，但它又有其他问题，比如假新闻。算法选择假新闻，然后传播这些假新闻。这就是一个意外后果。算法设计可以在很多方面造成意外的后果。

关于推荐系统以及它们对我们消费产品和浏览媒体的影响，我已经做了很多研究。我特别研究了两种推荐算法。一种是像亚马逊那样，“买了这个产品的顾客也买了这个。”它基于顾客的社交数据。

另一种是算法尝试对人们有更深层次的了解。它会试着寻找跟用户兴趣相关的东西。举一个例子，潘多拉音乐盒(Pandora)。它的音乐推荐不是基于社交数据。潘多拉有非常详细的信息，每首歌有超过150个音乐标签。比如，节奏怎么样，用到哪些乐器？每次你点击喜欢或不喜欢一首歌，他们根据你的倾向来调整标签推荐。

我研究了这两种推荐模式，我想看看哪种设计更有助于人们发现独立歌曲或者非常新颖和小众的艺术作品。这项研究我做了有好多年了，之前人们传统的想法是，这些算法都能助推长尾效应，也就是发掘大家都没听过的小众的、新潮的或者独立歌曲。但是我发现这些设计差异很大。看别人选择了什么的算法有流行偏见。它总是推荐别人消费的东西，所以它倾向于流行事物，不能向你推荐一些隐藏的好东西。

但是像潘多拉这样不以流行性为推荐基础的算法，它的表现往往好一些。这就是为什么Spotify和网飞等公司都改变了它们的算法设计。它们把这两种方法结合了起来。它们把一个看他人消费行为的系统，和另一个把隐藏宝物挖掘出来的系统能力做了结合。 

沃顿知识在线：我们回到之前你说的，有些算法自作主张。为什么会发生这样的事情，我们可以做什么？ 

霍桑格纳：我先举几个算法自作主张的例子，然后再说为什么。我提到了在美国刑事司法系统中，法院使用算法的例子。2016年，非盈利组织ProPublica做了一个报告。他们研究了法院使用的算法，发现这些算法有种族偏见。准确来说，他们发现这些算法错误预测黑人被告未来犯罪可能性的概率是白人被告的两倍。

去年年末，路透社登了一个报道，关于亚马逊尝试使用算法来筛选工作申请。亚马逊收到一百多万求职申请，他们要雇佣几十万人。这种工作很难手动完成，所以你需要算法来把这个过程自动化。但是他们发现这些算法存在性别偏见。它们经常会拒绝女性求职者，即使两个求职者的资历相似。亚马逊对算法做了测试，发现了这个问题。亚马逊是个聪明的公司，所以它们决定取消这个计划。但可能还有其他公司都在用算法筛选简历，这些算法可能存在种族、性别偏见等。

说到为什么算法会跑偏，我觉得有几个原因。在机器学习的过程中，我们创造了一些适应力更强，表现更好的算法，但它们容易受数据中存在的偏见影响。比如说，你告诉一个简历筛选算法，“这是所有申请人的数据，这是我们实际雇用的人的数据，这是被我们升职的人的数据。现在根据这些数据，你来决定邀请哪些人来面试。”算法就会观察到，在过去你拒绝的申请人中女性较多，或者在工作中你不会给女性升职，它就会学习这种行为。

另一原因是工程师一般只关注一个或两个公式。就简历筛选应用来说，你往往会检查你的模型的准确度，如果它高度准确，你就不管了，但你并不会关注它是否公平或存在偏见。 

沃顿知识在线：那些替我们做决定的自主算法存在哪些问题？ 

霍桑格纳：一个很大的问题是，在这个过程中，通常没有人的参与，所以我们就失去了控制。很多研究显示，当我们的控制力有限时，我们对算法的信任度就会降低。如果这个过程有人参与，用户发现问题的几率就会提高，这些问题被检测出来的可能性也会变大。 

沃顿知识在线：你在书中讲了一个很有趣的故事，是一个病人被诊断出患了塔帕努里热(tapanuli fever)。这对我们有什么启示，我们应该给算法多少信任？

霍桑格纳：这个故事讲的是，一个病人走进医生办公室时身体健康，状态良好。医生和病人闲聊了一会儿，最后医生拿起病理报告，表情一下子变得严肃起来。他告诉病人，“很抱歉，你得了塔帕努里热。”病人根本就没有听说过这种病，所以问它到底是什么。医生说，这是一种罕见的疾病，以高致命性出名。他建议，如果病人服用一种特殊的药，就会大大降低他发病的几率。医生说，“给，这种药每天吃三回，然后生活照常。”

我问读者，如果他们是这个病人，他们会觉得安心吗？你对这种疾病一无所知，也不了解它的治疗方法。医生给了你一个选择，告诉你就这样做，但他没有给你很多详细信息。所以，我提出了一个问题：如果是算法给你的这个建议，说你得了罕见的疾病，我们希望你服用这种药，不给你其他信息，你会觉得舒服吗？

塔帕努里热根本不是一种真正的疾病。这种病是福尔摩斯小说中虚构的，即使在原版小说中，应该得塔帕努里热的那个人实际上也并没有得这种病。但抛开这些不说，这给我们提出了一个透明度的问题。当我们不知道一个决定是怎么做出的时候，我们还愿意相信这个决定吗？

我想强调的是，有时候我们对算法的透明度要求比对人的要求要高。但在现实中，很多公司用算法做决定，却不告诉我们这些决定是怎么做出的。

研究显示，我们不喜欢这种方式。比如，斯坦福大学的一个博士生对一个计算学生成绩的算法做了研究，并观察当学生拿到成绩时，向他们解释这个成绩是怎么得来的和不解释时他们分别会有什么反应。正如预期的那样，当学生得到解释时，他们会更信任这一结果。

但为什么在现实中，我们却得不到关于这些决定的透明信息？我觉得我们需要一定的透明度，比如做这个决定使用了哪些数据？比如，当你申请贷款时，你的申请被拒绝了，我们想知道为什么会这样。当你申请一份工作时，你被拒绝了，如果你知道算法不仅评估了你申请职位时提交的材料，还看了你的社交媒体内容，这对你是有帮助的。算法使用了哪些数据，做出一个决定的关键因素是什么，这些透明信息非常重要。 

沃顿知识在线：在这本书的结尾，你建议制定《算法权利法案》（The Algorithmic Bill of Rights）。这到底是什么？ 

霍桑格纳：《算法权利法案》是我从美国宪法《权利法案》中借的一个概念。《权利法案》的缘由是开国之父们在起草宪法时，有些人担心我们会创造出一个权力过大的政府，所以《权利法案》被创造出来保护公民。

今天，我们所面临的是科技公司势力太大，人们觉得消费者需要保护。《算法权利法案》针对的就是这个问题。许多消费者觉得他们面对大型科技公司及其部署的算法时无能为力。我觉得消费者实际上是有一些力量的，这些力量就在于我们的知识、选票和金钱。

知识是说我们不应该被动地使用这些技术。我们应该主动和谨慎。我们应该知道这些技术是如何做决定的。看看Facebook是如何改变产品设计的。数据加密等等这些变化都是因为用户的推动。这说明了当用户不满时，企业就会做出改变。

投票也是一方面。我们要知道哪些代表了解算法的来龙去脉和它的挑战，然后为他们投票。问题是这些监管者会做些什么来保护我们？

这就是《算法权利法案》发挥作用的地方。我提议的这个权利法案有几个关键支柱。一个是透明度，即做决定时使用的数据以及为什么使用这些数据。做出一个决定时最重要的因素是什么？

欧洲的《一般数据保护条例》(GDPR)有一定的规定，比如解释权和公司使用的数据信息。我觉得透明度是必要的，公司应该提供透明信息。

另一个支柱是用户控制。我们不可能处在一个对科技完全没有控制的环境里。比如，我们应该能够通过简单的指令告诉Alexa，“除非我允许，否则你不能听这个房子里的任何对话。”目前还没有这样的规定。

控制非常重要。你看看Facebook假新闻的问题，两年前用户还不能提醒Facebook的算法，告诉它“这条内容是假新闻。”但现在，只要点击两下，Fcebook就会知道你的页面上有一条新闻有冒犯的言论或者是假的。这种反馈对于算法的自我纠正非常重要。

最后，我一直都在强调公司在部署算法前应该对它进行正式审查，尤其是在招聘这种社会影响重大的情况中。审计过程必须由一个独立于算法开发团队之外的组织来完成。审计过程很重要，因为它可以确保对算法的其他方面进行检查，比如这个模型的预测精准度，以及其它方面，比如隐私、偏见和公平度。 

沃顿知识在线：最后你还想强调哪些点？ 

霍桑格纳：虽然我在书中提到了很多问题，但我实际上是相信算法的。因为研究显示，算法总体来说比人的偏见更少。更重要的是，从长期来看，解决算法的偏见比解决人的偏见要容易得多。

我想传递的信息是不要“担心”算法，要“更加主动和有意地参与这个过程，影响科技发展的未来方向”。

在未来，算法将会帮助我们做出更好的决定。科技和我们都将经历成长的痛苦。

时间:2019-04-08 22:19  来源:    转发量:次