大数据和人工智能如何协同工作

来源：企业网D1Net 作者： Kevin Casey

人工智能和机器学习如何帮助组织从大数据中获得更好的业务见解?需要了解人工智能和大数据分析的下一步发展。

大数据技术并不像几年前那样广受关注，但这并不意味着大数据技术没有得到发展。如果说有什么不同的话，那就是大数据的规模正在变得越来越大。

大数据曾经被认为是一项重大挑战。但是现在，它越来越被视为一种理想状态，尤其是在正在尝试并实施机器学习和其他人工智能学科的组织中。

Anexinet公司高级数字策略师Glenn Gruber说，“人工智能和机器学习现在为我们提供了使用现有大数据的新机会，并利用新数据类型开发了很多新用例。我们现在拥有更多可用的数据，例如图片、视频和语音。过去，我们可能试图尽量减少捕获的此类数据的数量，因为我们无法对其做太多的处理，但是它存储此类数据会产生巨大的成本。”

人工智能如何适应大数据

大数据与人工智能之间存在着一种互惠关系：人工智能在很大程度上依赖于前者的成功，同时也帮助组织以以前繁琐或不可能的方式释放数据存储中的潜力。

Gruber说，“如今，我们需要尽可能多的数据，这不仅是为了更好地洞察我们试图解决的业务问题，而且因为我们通过机器学习模型输入的数据越多，它们得到的结果就越好。这是一个良性循环。”

人工智能如何使用大数据

存储和其他有关大数据和分析的问题好像已经不再一样。例如，Gruber指出，大数据和人工智能的结合会围绕基础设施、数据准备和治理产生新的需求(或强调现有需求)。但是在某些情况下，人工智能和机器学习技术可能是组织如何解决这些运营复杂性的关键部分。

关于“更好的洞察力”：人工智能和机器学习作为当前在商业领域中最重要的学科，如何帮助IT领导者实现现在或将来的目标?

人工智能提供更好见解的6种方式

1.人工智能正在创造新的数据分析方法

大数据的基本业务问题之一有时可以用一个简单的问题来概括：现在是什么?人们已经拥有了所有这些东西，并且还会有更多的东西出现，那么如何处理呢?在大数据的大肆宣传和炒作中，听到这个问题的答案并不总是那么容易。

此外，回答这个问题(或从数据中获取见解)通常需要大量的人工工作。人工智能正在创造新的方法。从某种意义上说，从广义上讲，人工智能和机器学习是新方法。

从历史上看，在分析数据时，工程师不得不使用查询或SQL(查询列表)。但是，随着数据重要性的不断增长，获得洞察力的多种方法也应运而生。人工智能是查询/SQL的下一步。Alluxio公司首席执行官Steven Mih说，“过去的统计模型现在已经与计算机科学融合，并已成为人工智能和机器学习的一部分。”

2.数据分析的劳动强度正在降低

因此，与过去相比，管理和分析数据所需的人工时间更少了。人们仍然在数据管理和分析中扮演着至关重要的角色，但由于人工智能，原来可能需要几天或几周(或更长)的过程正在加快速度。

Sungard AS公司的高级架构师Sue Clark说，“人工智能和机器学习是帮助企业分析数据的工具，比员工单独完成的工作更快、更有效。”

Exasol公司首席技术官Mathias Golombek在大数据方面已观察到一种采用两层策略的趋势，因为组织争辩要从中获得任何价值所必须管理的海量信息：存储层和位于其之上的运营分析层。

Golombek说，“这是从数据中提取见解并进行数据驱动的决策的地方。人工智能通过全新的功能通过培训数据做出半自动决策来增强分析。它不适用于企业对数据存在的所有问题，但是对于特定的用例，它彻底改变了无需复杂的人类知识就能完成规则、决策和预测的方式。”

换句话说，洞察力和决策可以更快地发生。此外，IT可以将类似的原理(使用人工智能技术来减少人工、劳动密集型负担并提高速度)应用于后端事物，让人们面对现实，IT之外很少有人想知道。

Alluxio公司Mih说，“数据洞察力的实时性质，加上现在无处不在的事实，这将跨越不同的机架、区域和云计算，这意味着企业必须从传统的管理和分析数据方法中发展而来。这就是人工智能的用武之地。数据工程师一次又一次地人工复制数据的日子已经一去不复返了，在数据科学家提出要求后数周之内就交付了数据集。”

3.人类仍然重要

与其他人一样，Qlik Research公司副总裁Elif Tutuk将人工智能和机器学习视为处理大数据的强大杠杆。

Tutuk说：“人工智能和机器学习以及其他新兴技术，对于帮助企业更全面地了解所有数据，为他们提供一种在关键数据集之间建立联系的方式至关重要。”但是她补充说，这并不是削弱人类智慧和洞察力的问题。

Tutuk说，“企业需要将人类直觉的力量与机器智能相结合，以增强这些技术或增强智能。更具体地说，人工智能系统需要从数据和人类身上学习，才能实现其功能。成功地将人力和技术的力量结合起来的企业可以扩大从数据科学家和业务分析师那里获得分析的关键见解的人员，同时节省时间，并减少由于业务用户解释数据而导致的潜在偏见。这样可以提高业务运营效率，从数据中收集更快的见解，并最终提高企业生产率。”

4. 人工智能/机器学习可用于缓解常见数据问题

以下是一些没有改变的东西：数据的价值与其质量密不可分。低质量意味着低价值或无价值。这就是所谓的大数据与人工智能的共同点。

Ness Digital工程公司首席技术官Moshe Kranc说，“关于机器学习的对话总是回到企业数据的质量上。如果数据质量差，那么从中获得的任何见解都将无法得到信任。机器学习项目80%的时间都花在了清理和准备数据上。”

一切旧的东西似乎又是新的。但这个问题的解决方案(可能还有其他类似的解决方案)可能已经出现。

Kranc说，“幸运的是，可以使用机器学习来清理机器学习数据。机器学习算法可以检测异常值和缺失值，找到用稍微不同的术语描述同一实体的重复记录，将数据规范化为通用术语。”

5.分析变得更具预测性和规范性

在过去，数据分析比事后分析更为重要，事后分析就是“已经发生的事情。”未来的预测本质上仍是历史分析。人工智能和机器学习正在帮助开拓一个新领域：“将要发生的事情。或者至少是“可能发生的事情”。此外，还可以教会机器学习算法基于前瞻性的见解做出决策或采取行动。

Sparkhound公司分析部门总经理Sean Werick说。“如今，人工智能正在通过使用预测分析，以更准确的方式将大数据决策进一步推进。传统上，大数据决策是基于过去和现在的数据点，通常会导致线性的投资回报率。借助人工智能，这一比例已达到史诗级和指数级。利用人工智能的规范性分析有可能提供全公司的前瞻性战略见解，有助于推动业务发展。”

Werick指出，这是一个“在走路之前需要学会爬行”的过程。根据Werick的说法，使用人工智能根据不准确或不充分的数据做出预测性或规定性的商业决策可能会产生“灾难性”的后果。

Werick说，“随着分析成熟度模型的每一个进展，对业务的价值都会增加：从流程和数据映射开始，到描述性分析，到预测性分析，最后，到规定性分析。”

6.人工智能和大数据的下一步是什么?

如果大多数团队仍在学习爬行(或行走)，那可能没问题，因为人工智能和大数据的结合才刚刚开始揭示其可能性。

Scale Venture Partners公司合伙人Andy Vitus看到了更智能的企业软件的巨大前景。他认为，许多商业应用程序仍显示其模拟DNA。

Vitus说，“大多数商业应用程序仍然使用纸质表单和分类账的设计语言构建。这意味着，对于企业捕获和存储的所有数据，用户仍在花费大量的时间费力地通过无休止的报告来寻找有用的信息。

智能软件将利用所有这些数据来解决问题并提供场景和答案，而不仅仅是美观的报告。从工程的角度来看，智能企业应用程序将要求将单个人工智能/机器学习系统连接到其他系统，以便它们可以相互通信并相互学习。企业最终将从存储的所有数据中获得可观的投资回报。”

那是基本的承诺：人工智能是一种不断发展的手段，可以回答有关大数据的基本问题。那么现在怎么办?

Alluxio公司的Mih说，“这只是一个开始，未来将有新的技术来分析数据以获得实时洞察力，但获得见解的方式将有所改进。”