行业报告 AI展会 数据标注 标注供求
数据标注数据集
主页 > 数据挖掘 正文

Apache HBase2.0已经正式发布

激动

HBase2.0 啥时候发布?好奇宝宝也是期待了很久,曾几何时都把stack问“烦”了,就在2018年4月30日中午,期待已久的HBase 2.0发布啦!

 

 

你是不是也很迫不及待想了解它?这次,作为一枚HBase搬运工,已经为你准备好了一大波 HBase 2.0.0导读材料,拿走不谢~

北京时间2018年4月30日(星期一) 中午12:24,HBase的“掌门人”Michael Stack 在Announce Mail List中宣布了HBase 2.0.0 版本正式Release,大家可以开始下载使用了。

膜拜

拜读stack大神announce email原文,激动人心的时刻:

邮件简述了HBase 2.0.0 有新版Assignment Manager V2,offhead read/write, in-memory compaction等。你是不是也很好奇,HBase 2.0 到底还有有哪些features?https://s.apache.org/hbase-2.0.0-JIRA-changes 上显示了HBase2.0.0相关的issue多达4551个issue, 这么多改动,还有哪些features值得关注一下呢?

了解

下面整理了一些HBase2.0.0 主要的feature介绍,更多特性,可以参考上述链接:

1.A new Region assignment manager ("AMv2") ,HBASE-14350 , HBASE-14614

AssignmentManager V2基于Procedure V2实现,能够更快速的分配Region,维护的region状态机存储不再依赖于ZooKeeper。亲可以搭建一个hbase2.0 集群,查看ZK节点列表,已经找不到类似region-in-transistion节点了。

2.Offheaping of Read/Write Path HBASE-11425,HBASE-15179

读写路径中,使用Offheap区的内存,大大减少GC压力,提高稳定性、降低99延时。细节见下面offheap扩展阅读材料。

3.In-Memory Compaction HBASE-17343

重新设计了CompactingMemStore 替代 DefaultMemStore,数据会在内存中事先进行合并compact,有效提高后续常规compaction的效率。

4.NettyRpcServer HBASE-17263 其实并不新鲜,早在1.x 淘宝就有使用,现在2.0 开始默认使用NettyRpcServer

使用Netty替代HBase原生的RPC server,大大提升了HBaseRPC的吞吐能力,降低了延迟

5.Async Client HBASE-16833 HBASE-15921

Client不在是原来同步等待,而是利用异步RPC机制,大大提高Client端请求并发度,有效提高资源利用率,扩大吞吐。

7. Support for MOB (Medium-Sized Objects) HBASE-11339

MOB特性使得HBase支持存储小于10MB 的中等媒体对象数据,相比原来直接存储大对象插入hbase,其读写效率更高;Mob数据存储还是以hfile格式存储,兼容HBase现有特性,如snapshot、bulkload、replication等。MOB数据文件有独立的compaction和expire clean机制,稳定性更可控。

研究

还不过瘾?下面还真为热爱专研的砖友们网罗了一些hbase2.0特性详细的扩展阅读!都是大神执笔的干货:

1. hbase2.0 in-memory compaction
2. hbase2.0 read replicas 功能介绍
3. 基于HBase2.0上的备份恢复
4. hbase2.0 offheap write
5. hbase2.0 offheap read
https://issues.apache.org/jira/browse/HBASE-11425
https://blogs.apache.org/hbase/search?q=offheap
6. hbase2.0 MOB 设计文档
7. HBase2.0 MOB 使用手册
8. HBase2.x Backup/Restore
9. HBase2.0 release issue
10. HBase 2.0 NettyRpcServer
11. hbase2.0 In-memory compaction
12. HBase 2.0 AMv2
https://docs.google.com/document/d/1jkIblLGxO4qgjo5lQOhAAypgDfxA_BEfxiPmcgDK0Do/edit
https://docs.google.com/document/d/1eVKa7FHdeoJ1-9o8yZcOTAQbv0u0bblBlCCzVSIn69g/edit#heading=h.xp9zndoycwj
https://docs.google.com/document/d/1DS44uwadHCbEK5rbx5itcjan-KsBlfQCQYYXB0A_gAM/edit?usp=sharing
13. HBase 2.0 ProcedureV2

官方下载&指南

HBase 2.0.0 安装包下载地址:http://www.apache.org/dyn/closer.lua/hbase/2.0.0/

官方阅读:

1. https://s.apache.org/hbase-2.0.0-JIRA-changes 所有hbase2.0相关的jira,subtask

2. http://hbase.apache.org/2.0/book.html#hbase.versioning.post10 最新的HBase 2.0.0官方指南

3. http://apache.mirrors.tds.net/hbase/2.0.0/compatibiliity_report_1.2.6vs2.0.0.html 整理了v1.2.6和v2.0.0版本之间的兼容性报告

其他更多优化特性,不一一列举,后续可能会由”云HBase“小组为你带来更多HBase 2.0细节上的特性优化文章分享。

微信公众号

声明:本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
最新文章
SEM推广服务
热门文章
热点图文

Copyright©2005-2028 Sykv.com 可思数据 版权所有    京ICP备14056871号

关于我们   免责声明   广告合作   版权声明   联系我们   原创投稿   网站地图  

可思数据 数据标注

扫码入群
扫码关注

微信公众号

返回顶部