属于 Hadoop 的大数据时代已结束

在11天内，13个与大数据相关的 Apache 项目(包括 Sentry、Tajo 和 Falcon)宣布取消。 和大数据的理想主义时代似乎正式结束了。

 

Apache Hadoop 曾经是大数据的代言人，而今已经过了它的鼎盛时期，这已经不是什么秘密了。自4月1日以来，Apache Software Foundation (apache 软件基金会，简称 ASF)就宣布，至少有19个开源项目将退出其“Attic”项目，其中13个项目与大数据相关，10个项目属于 Hadoop 生态系统。

 

项目清单

虽然个别项目的取消公告似乎无关紧要，但从整体上看，它们构成了一个分水岭事件。为了帮助从业者和行业观察人士理解大数据开源重组的全部影响，我们列出了一个清单，以下是一些与大数据相关的 Apache 取消项目：

 

Apex：基于 Hadoop YARN 的大数据流和批处理统一平台。

 

Chukwa：一个用于监控大型的数据收集系统，构建在 Hadoop 分布式文件系统(HDFS)上。

 

Crunch：提供了一个编写、测试和运行 MapReduce(包括 Hadoop MapReduce)管道的框架。

 

Eagle：在大数据平台(包括 Hadoop)上即时识别安全和性能问题的分析解决方案。

 

Falcon：为 Hadoop 设计的数据处理和管理解决方案，用于数据移动、数据管道协调、生命周期管理和数据发现。

 

Hama：一个大数据分析框架，运行在 Hadoop 上，基于批量同步并行范式。

 

Lens：提供了一个统一的分析界面，将 Hadoop 与传统数据仓库集成在一起，看起来就像一个数据仓库。

 

Marmotta：一个链接数据的开放平台。

 

Metron：专注于实时大数据安全。

 

PredictionIO：服务器，用于管理和部署可用于生产的预测服务。

 

Sentry：在 Apache Hadoop 中对数据和元数据执行细粒度授权的系统。

 

Tajo：Hadoop 上的大数据仓库系统。

 

Twill：使用 Hadoop YARN 的分布式功能和运行线程的编程模型。

 

不容忽略的事实

全部的列表很长，上面只是包括大数据项目的一部分。此外，由于 Cloudera、Hortonworks 的合并，Sentry 和 Metron 项目实质上已经分别被类似的 Ranger 和 Spot 项目取代。

 

那次合并本身就根植于大数据市场的整合，而且这种非常大的数据整合也解释了上述所有项目取消的原因。至少可以说，在不到两周的时间内宣布所有这些项目的取消是值得注意的。

 

官方评价

我向 ASF 询问了大数据项目平台的清理事宜。ASF 负责营销和宣传的副总裁 Sally Khudairi 通过电子邮件回复道：“Apache 项目活动在其生命周期中有起有落，这取决于社区的参与程度。我们从项目管理委员会(pmc)内部到董事会，对几个 Apache 项目的审查和评估活动有所增加，他们投票决定是否让项目退出。” Khudairi 还表示，最近 ASF 负责 Apache 的副总裁 Hervé Boutemy 非常高效地进行了“春季大扫除”，为准备取消的几十个项目做了一些收尾工作。

 

尽管 ASF 断言这次大数据整合只是常规项目取缔所引发的一个高潮，但很明显，大数据领域的情况已经发生了变化。Hadoop 在开源分析技术上的主导地位已经让位于 Spark，Hortonworks 和 Cloudera 之前毫无意义的重复项目已经停止，这就像达尔文进化论的自然选择过程一样。

 

我们需要谨慎

很明显在大数据领域，投资 Apache Sentry 的大量供应商和客户现在不得不考虑他们的损失。伴随着这个残酷的现实，我们得到了深刻的教训，这个教训几乎适用于每一个技术类别的炒作周期：一开始社区会变得兴奋起来，然后开源技术会激增，生态系统也会建立起来；但这些生态系统并不是永恒的，几乎任何新平台都存在固有的风险，无论是商业平台还是开源平台。

 

用 ASF 的 Khudairi 的话来说：“是每个项目背后的社区使其代码保持活力(代码不会自己写)，所以社区在项目中改变步调并不罕见。”换句话说，前沿技术是令人兴奋的，但早期采用者需要谨慎：它也是不稳定的。注意形势的变化，并管理你的风险。

 

原文链接：https://www.zdnet.com/article/apache-software-foundation-retires-slew-of-hadoop-related-projects/

 

声明：文章收集于网络，版权归原作者所有，为传播信息而发，如有侵权，请联系小编删除，谢谢！