聊天机器人机器学习安全的重要性

人工智能是一个成长中的行业，其动力来自大型科技公司，新创公司和大学研究团队的推动。尽管AI技术正在快速发展，但围绕机器学习安全性的法规和故障保险却是另一回事。

无法保护您的ML模型免受数据中毒等网络攻击可能会造成极大的损失。Chatbot漏洞甚至可能导致私人用户数据被盗。在本文中，我们将研究机器学习网络安全的重要性。此外，我们将说明ML安全公司Scanta如何通过其Virtual Assistant Shield保护Chatbot。

为什么机器学习安全性很重要？

保护机器学习模型免受网络攻击类似于确保您的车辆通过安全检查。仅仅因为汽车可以移动并不意味着在公共道路上行驶是安全的。如果无法保护您的机器学习模型，则可能导致数据泄露，超参数盗窃或更严重的后果。

一个很好的例子是McAfee技术人员如何入侵特斯拉的一种自动驾驶汽车。特斯拉道路标志检测系统的早期模型使它容易受到非常简单的攻击。技术人员仅通过添加几英寸的黑胶带就可以欺骗特斯拉汽车误读35 MPH标志。这导致车辆将其解释为85 MPH标志。结果，汽车加速超过了35 MPH，直到McAfee测试仪踩下了刹车。

自动驾驶汽车中的漏洞可能导致致命事故。对于聊天机器人和虚拟助手，这些机器学习黑客行为可能导致大量泄露私人客户数据，网络钓鱼攻击以及贵公司的昂贵诉讼，而这正是达美航空发生的情况。

在2019年，该公司起诉其聊天机器人开发人员，原因是发生在2017年的乘客数据泄露事件。黑客获得了对Delta聊天机器人系统的访问权限，并修改了源代码。这使他们可以抓取用户输入的数据。这次事故对达美航空造成了巨大的损失，导致数百万美元用于调查漏洞并保护受影响的客户。

聊天机器人中的机器学习安全漏洞

聊天机器人中的ML安全漏洞

聊天机器人由于经常与用户保持不间断的交互，因此特别容易受到机器学习攻击。我们与Scanta进行了交谈，以了解聊天机器人面临的最常见的网络攻击。

Scanta首席技术官Anil Kaushik告诉我们，他们看到的最常见的攻击之一是通过对抗性输入进行的数据中毒攻击。

什么是数据中毒？

数据中毒是一种机器学习攻击，其中，黑客污染了机器学习模型的训练数据。他们通过注入对抗性输入来实现，这些输入是故意更改的数据样本，旨在诱使系统产生错误的输出。

不断接受用户输入数据训练的系统（例如客户服务聊天机器人）尤其容易受到此类攻击。大多数现代的聊天机器人都可以自动操作并在没有人工干预的情况下回答客户的询问。通常，除非查询上报给人工人员，否则永远不会监视聊天机器人与用户之间的对话。这种缺乏监督使得聊天机器人成为黑客利用的主要目标。

为了帮助公司保护其聊天机器人和虚拟助手，Scanta不断改进其机器学习安全系统VA Shield（虚拟助手Shield）。

什么是Scanta？

斯堪达首席执行官Chaitanya Hiremath — Chaitanya Hiremath（Scanta首席执行官兼创始人）

Scanta由Chaitanya Hiremath于2016年创立，是一家科技公司，最初是增强现实游戏和社交媒体应用程序的开发商。他们在AR行业的成功甚至在Discovery Channel上崭露头角。但是，Scanta最近转向为聊天机器人和虚拟助手提供机器学习安全服务。

Scanta如何保护聊天机器人和虚拟助手

Scanta的VA Shield是一种机器学习安全系统，可在模型，数据集和对话级别保护聊天机器人。“ VA Shield使用ML防御ML攻击。我们为每个用户进行行为分析，并标记任何异常行为。” CTO Anil Kaushik说。“行为分析是针对最终用户以及聊天机器人的。分析所有输入，输出和输入输出组合实体，以检测任何恶意活动。”

虚拟助手盾

在对话级别，Scanta会评估聊天机器人的输出，以阻止恶意攻击并捕获业务见解。“上下文分析是一个简单的概念，其中聊天机器人的响应是根据请求的上下文进行查看的，” Kaushik说。“此外，对话中的下一个请求是在上一个请求的上下文中看到的。为了进行这些分析，我们使用历史数据。例如，我们查看了用户的历史请求特征和来自聊天机器人的响应，以及聊天机器人的响应特性。”

常规的IT团队为什么不能应对这些攻击？

IT团队形象

在与Scanta首席执行官Chaitanya Hiremath交谈时，我问他为什么拥有自己的IT团队的公司会费心外包机器学习安全服务。这些IT团队难道不能自己纳入ML安全协议吗？“我们已经与许多公司进行了交谈，得知这些ML威胁是大多数人都不知道的事情，我感到非常惊讶，” Hiremath说。“现实是许多人甚至都不知道这是他们必须防止的事情。”

“大多数IT团队和安全解决方案都提供网络安全和Web应用程序防火墙等功能。这种类型的安全性不同于Scanta提供的安全性。我们在讨论和介绍的内容处于不同的水平。这远远超出了消除训练数据的偏见。”

达美航空聊天机器人

在前面提到的达美航空示例中，有人入侵了聊天机器人并修改了源代码。该黑客使他们可以访问私人客户数据。“这是因为没有人监视正在进入聊天机器人的内容和正在发生的内容，” Hiremath说。“这是当今机器学习技术构建方式的结果。但是，必须具有一种可以解释是否有恶意的机制。我们将此系统称为零信任框架。您必须确保所有方面都受到保护。这与保护数据库或网络一样重要。”

我们的日常生活和个人数据越来越与计算机系统交织在一起。随着现代社会数字化的日益发展，提高数据安全性成为当务之急。尤其是像GDPR这样的组织制定了数据法律时，公司比以往任何时候都更重要地保护其私有数据和客户数据。