Hadoop架构已凋谢吗？

Hadoop架构的人气在下滑，这可能归咎于几个不同的因素，尤其是机器学习的兴起。

过去这几年，HDFS的使用量一直在下降，这种基于Java的文件系统已几乎成为所谓的大数据革命的代名词。这主要归因于市场对Hadoop普遍缺乏兴趣。但是导致Hadoop被大规模抛弃的Hadoop架构方面又如何呢?要知道，就在不久前Hadoop还大有希望。

坦率地说，Hadoop走下坡路似乎找不到一个最根本的理由。相反，Hadoop架构人气下滑可能归咎于几个不同的因素。

一些IT专业人员对于自己无法在Hadoop集群上执行任何有意义的数据分析颇为沮丧。一种常见的观点是，Hadoop非常适合存储大量数据，但是对于需要最终用户可以直接处理这些数据的那些企业来说，它又往往不是最佳解决方案。

几家供应商已经开发了SQL on Hadoop解决方案，让客户可以针对驻留在Hadoop上的数据运行SQL查询。即便如此，这些工具也不是天生一模一样，每家SQL on Hadoop供应商都似乎为特定的使用场合设计其工具。不难想象众多企业组织痛苦地发现：它们购买的SQL on Hadoop引擎其实并不是很适合自己的大数据项目。

不仅仅是很难让Hadoop完成企业组织需要它完成的任务这个因素导致Hadoop的使用量减少。导致Hadoop日渐式微的偶尔提到的另一个原因是，Hadoop与目前的IT趋势不相合拍。

大数据革命似乎在一夜之间就立稳了脚跟;大数据蔚然成风时，Hadoop完全准备好了响应号召。毕竟，据Hortonworks声称，HDFS文件系统“已表明了它具有在生产环境下支持200 PB存储的可扩展性”，而4500台服务器组成的单单一个集群就能支持“近10亿个文件和块”。很显然，HDFS处理得了大数据。

可问题是，大数据潮流似乎已翻篇了。尽管IT部门仍然在搞可能归属大数据这个大类的项目，但这个术语用得越来越少。相反，当下的IT潮流似乎是机器学习;当然，Hadoop并不直接支持机器学习。市面上有一些第三方工具(比如Apache Mahout)能够做到让Hadoop支持机器学习，但可能数量太少、动作太晚。

然而，Hadoop使用量下降的最大原因可能是亚马逊AWS和微软Azure等IaaS云日渐成熟。公共云对于企业组织远离Hadoop起到了重要的作用，这出于几个不同的原因。

第一个原因是纯粹的感知或看法。我们生活在一个云优先的世界。公共云提供商在说服人们相信在云端运行工作负载比在本地运行同样那些工作负载要省钱得多这方面做得很到位。

另外，外头往往认为继续在本地环境部署新工作负载的企业多少落后于时代。

公共云提供商慢慢促使Hadoop衰落的第二个原因是，云提供商实际上构建了一个更管用的捕鼠器。虽然值得一提的是，亚马逊确实通过亚马逊EMR支持Hadoop和Spark，但对于需要大数据分析功能的企业组织而言，EMR并非亚马逊的唯一解决方案。亚马逊还提供Athena和Elasticsearch，前者可用于分析存储在亚马逊S3中PB级的数据，后者支持PB级的日志分析、文本搜索和应用程序监控功能。

我料想，Hadoop和HDFS文件系统根本不会完全消失，至少在短期内不会消失。我认为，将来可能总是需要使用商用硬件的大容量存储。此外，将大量数据上传到公共云可能成本过高，还可能带来购置、维护和运输等保障方面的问题。

话虽如此，新的大数据项目诞生于云端显得越来越常见，IT专业人员日益发现云原生大数据工具比Hadoop来得更易于使用、更有效。

作者：Brien Posey是Relevant Technologies主管研究开发的副总裁，为多家刊物和网站撰写技术文章。