暗数据现状堪忧 Splunk给出实现数据驱动的四点建

近期，一家中立的市场调查公司TRUE Global Intelligence在Splunk的指导下调查采访了来自美国、英国、法国、德国、中国、日本和澳大利亚共7个国家的1300多名跨国企业的业务经理和IT领导，了解他们所在的企业机构如何收集、管理并使用数据，完成并发布了《暗数据现状报告》。

本次调查的受访者中一半为 IT 岗位，一半为业务岗位，30% 为高管和高级领导(副总裁/高级副总裁)，30% 为主管级别，40% 为管理人员。研究报告显示，尽管企业高管认识到利用所有数据的价值，但企业机构总数据的一半以上(55%)是“暗数据”，他们忽视了这些有潜在价值的数据，并且缺乏资源去充分利用这些数据。

Splunk 中国区总经理严立忠分享《暗数据现状报告》

暗数据的认知

何谓“暗数据”?Splunk公司给出了准确的定义：暗数据是整个组织中，由系统、设备和交互生成的所有未知和未开发的数据。Splunk中国区总经理严立忠认为：“很多企业以为自己在用，其实是、也不是，他只是把传统的商业数据再挖掘，但那不是我们目标中的大数据，暗数据比这个范围更广，也更难。”他指出，很多数据是企业不知道也没有被利用的，这些都属于暗数据。例如，过去银行的储蓄部门和信用卡部门通常是分开的，部门之间没有太多沟通，数据也是割裂的，对于信用卡中心来说，传统银行的数据是没有被利用的数据，也是一种暗数据。暗数据可能是当前企业最大的未开发资源。

在大数据时代，数据是重要的资产，这一点毋庸置疑，在《暗数据现状报告》中也得到了印证：

受访者中有76%认为“拥有最多数据的企业机构将在竞争中获胜”。 82%的受访者认为，数据与企业机构的成功息息相关，91%的受访者认为“拥有最多数据的企业机构将在竞争中获胜”。 87%的受访者认为数据在未来十年将变得更有价值。超过半数(56%)的受访者承认，“数据驱动”只是自己所在企业机构的一个空口号。

然而研究结果表明，尽管数据是首要考虑因素，但行动力远远没有跟上：

在接受调查的国家中，60% 的受访者称组织中至少一半的数据为暗数据。

三分之一的受访者称，在其组织拥有的数据中，暗数据的比例达到 75%。只有中国有略高于一半的受访者表示组织中的暗数据低于一半。 77% 的受访者(从全球来看)表示寻找和收集暗数据应是重中之重。 66%的受访者认为缺乏高层领导的支持是收集数据的一大挑战。

倍感欣慰的是，中国企业对暗数据的认知超过了全球平均水平，走在了最前面。

鉴别和收回暗数据的困难既涉及技术，也涉及组织问题：受访者表示面对组织中的数据仓库时，他们应接不暇，而且缺乏相关的人才、技能和工具，领导也缺乏兴趣、反应迟钝。数据战略和对暗数据的追求不能只是一个“项目”，必须获得内部领导和内部人才的推动，并着眼于对所有数据的端对端管理。

受访者认定具有潜力的主要解决方案包括：对更多员工进行数据科学和分析培训，使用新款软件让技术能力较弱的雇员也能用它来分析数据，以及将数据收集功能融入应用和设备开发中。另外，大部分受访者也注意到，利用人工智能收集和分析数据，对业务领导者进行数据价值教育，增加数据管理资金，聘用更多数据专家也颇具潜力。

暗数据与人工智能

全球受访者都认为人工智能通常会增加机会，而不是取代人。尽管调查显示，目前很少有企业机构正在使用人工智能，但大多数组织都看到了它的巨大潜力。例如，在一系列的用例中——包括运营效率、战略决策、人力资源和客户体验，只有10%到15%的受访者说他们的组织正在为这些用例部署人工智能，而大约三分之二的人看到了人工智能的潜在价值。

82%的受访者表示人类现在和将来都将处于人工智能的核心地位。大多数受访者(71%)看到了使用人工智能分析数据的潜力。 73%的人认为人工智能可以弥补IT方面的技能差距。 82%的受访者表示，人类永远是人工智能的核心，72%的人认为人工智能只是解决业务问题的工具。只有12%的受访者使用人工智能来指导业务战略，61%的受访者希望他们所在的企业机构在未来五年内以这种方式增加对人工智能的使用。

再来看一下中国受访者的核心数据：

96%的中国受访者认为，人工智能是由数据推动的;91%的受访者认为，无论是现在还是将来，人类都处于人工智能的核心位置。中国是仅有的两个“绝大多数受访者(77%)都声称极为或非常了解人工智能”的市场之一。 85%的中国受访者(所有市场中比例最高)认为，人工智能可以弥补IT方面的技能差距。

虽然绝大多数中国受访者对人工智能表示出了极大的热情和信心，但他们目前的采用率(20%)仅略高于全球平均水平(16%)。

数据技能与领导力的重要性

几乎所有的受访者 (99%) 都同意，数据技能是未来工作中不可或缺的一部分。如下图所示，与调查中的其他问题一样，对数据技能重要性的态度在各个地区并不相同，其中中国的态度最为积极。

业务领导表示，他们恢复暗数据的三大障碍中，首当其冲的是数据量，其次是缺乏必要的技能和资源。 77%的受访者“非常或极其愿意”学习新的数据整理技巧。 92%的受访者表示他们“愿意”学习新的数据技能，但只有57%的人“极为”或“非常”热衷于更多地使用数据。当被问及如何教育自己和团队时，超过半数(53%)的受访者表示，他们年龄太大，学不了新的数据技能。

受访者表示未来 10 年既具有技术数据技能又拥有敏锐业务嗅觉的雇员将最受欢迎，其需求远超只拥有技术数据技能或业务专业知识的雇员。显然，未来的工作要求是：具备数据素养才能紧随时代潮流。受访者预测需求量最大也最难招揽的职员是具备技术和业务技能的人。

从全球来看，73% 的受访者表示数据技能对于他们来说比业务技能更加难以掌握。大部分人 (69%) 满足于继续干自己当前的工作，即使这意味着他们无法再得到晋升。

与数据技能相比，领导力的作用同样重要。66%的受访者认为缺乏高层领导的支持是收集数据的一大挑战，约五分之一(21%)的受访者认为“企业机构领导对数据缺乏兴趣”是一大挑战。此外，大多数高管表示，他们就快退休了，没有动力去了解数据。

在数据驱动决策的新时代，要对爆炸式增长的暗数据进行管理和分析，弥合数据技能缺口可能是现在各家组织面临的最重要的挑战。

整体而言，调查发现中国是在获得和部署数据技能方面最高瞻远瞩的国家。而美国的受访者比其他国家的受访者更认可数据技能未来将对于工作极度或非常重要的观点。

结论与建议

经过此次调查可以发现，数据焦虑是全球性的。那么如何应对数据焦虑，最大限度的挖掘暗数据的价值，让它们为企业和组织所用呢?Splunk给出了四点建议：

1、拥抱 AI 和机器学习的变革力量。我们应当掌握这种具有变革潜力的技术群，寻找对于您所在行业和组织有意义的应用领域。

2、建立数据基础设施和数据文化。让“数据驱动”成为现实，并确保您的数据处理方法有助于组织和展现数据，让您更快地挖掘其所有潜力。暗数据可向 AI 提供能够供其分析的、未开发的庞大信息资源。

3、招聘时寻找您需要的技能组合。这种技能组合不仅包含现今的数据技术能力，还有数据文化与变革型企业中需要的好奇心、自我激励以及合作能力。

4、提供培训机遇。人才并不多见，企业应鼓励现有的工作人员随着新技术的到来而成长，随着业务的转变而转变。

Splunk助力客户最大化数据商业价值

严立忠在接受采访时表示：“相比于那些Hadoop分布式文件管理系统的厂商，虽然同属大数据厂商，但是Splunk与其并不是竞争关系，Splunk没有竞争对手，都是合作伙伴。”他强调，Splunk的合作伙伴是基于历史数据的管理层面，通过Hadoop管理数据，数据输出给Splunk，是Splunk进行数据关联分析时的数据源，Splunk的强项是实时分析。

与国内数据中台或数据平台的叫法类似，Splunk可以接触所有数据，可以为所有的商业目标服务。其中，所有数据是指既可以是Oracle数据库中的数据，也可以是Hadoop中的历史数据，既可以是拍摄视频的单独数据，也可以是物联网数据，不受数据类型、数量、存储方式的限制。

如今，很多看似毫无关联的数据，接入数据平台进行实时分析后，会产生意想不到的关联。例如印尼的7-Eleven利用气象数据预热雨伞的补货量，而不是根据货架上的货多货少。

Splunk发布暗数据现状报告，旨在呼吁全球的组织和企业，能够重视暗数据的价值，将数据驱动转变为现实。