导航:首页 > 数据处理 > hbase数据怎么压缩

hbase数据怎么压缩

发布时间:2023-05-23 20:04:26

1. Hbase分区

HBase中,表会被划分为1…n个Region,被托管在RegionServer中。Region二个重要的属性:StartKey与 EndKey表示这个Region维护的rowKey范围,当我们要读/写数据时,如果rowKey落在某个差大稿start-end key范围内,那么就会定位到目标region并且读/写到相关的数据。
默认地,当我们只是通过HBaseAdmin指定TableDescriptor来创建一张表时,start-end key无边界,region的size越来越大时,大到 一定的阀值,就会找虚孝到一个midKey将region一分为二,成为2个region,这个过 程称为分裂(region-split).而midKey则为这二个region的临界

1.总是往最大start-key的region写记录,之前分裂出来的region不会再被写数据,它们都处于半满状态
2.split是比较耗时耗资源

合理设计rowkey 能让各个region 的并发请求 平均分配(趋于均匀) 使IO 效率达到最高
(预分区需要将hbase.hregion.max.filesize设置一个较大的值,默认是10G(0.94.3 ) 也就是说单个region 默认大小是10G)

shell
指明分割点

HexStringSplit指明分割策略,-c 10指明要分割的区域数量,-f指明表中的列族,用“:”分割。

根据文件创建分区并压缩

COMPRESSION 默认值NONE,即不使用压缩
建议采用SNAPPY压缩

官方文档给出的建表提示

TTL 默认是 2147483647 即:Integer.MAX_VALUE 值 大概是68年,这个参数是说明该列族数据的 存活时间,单位是s,超过存过时间的数据将在表中不在显示,待下次major compact的时候再彻底删除数据,
若设置MIN_VERSIONS=>’0’ TTL时间戳过期后,将全部彻底删除该family 下所有的数据,如果MIN_VERSIONS 不等于0 那将保留最新的MIN_VERSIONS个版本的数据,其它的全部删除,比如MIN_VERSIONS=>’1’ 届时将保留一个最新版本的数仿激据,其它版本的数据将不再保存。

VERSIONS 默认是3,这个参数的意思是数据保留三个 版本,如果数据随时都在更新,或老版本的数据无价值,那将此参数设为1 能节约2/3的空间
RegionSplitter提供三个用于预分割的工具:HexStringSplit、SplitAlgorithm、UniformSplit。
HexStringSplit和UniformSplit是两个预定义的静态类,可以直接使用;而SplitAlgorithm是一个接口,需要开发人员自己实现相应的分隔策略。如果是以十六进制字符串作为行键rowkey或者行键rowkey的前缀是十六进制字符串,用HexStringSplit就比较合适;UniformSplit会把行键均匀地分割多个部分,如果行将rowkey是随机的字节数组,用UniformSplit就比较合适;或者开发者根据需要实现分割策略。

原文: https://blog.csdn.net/Nougats/article/details/72723172

阅读全文

与hbase数据怎么压缩相关的资料

热点内容
代理商如何销售活动 浏览:636
佛山光伏批发市场在哪里 浏览:698
产品质量不承认怎么办 浏览:302
哪些旅行软件不泄露个人信息 浏览:446
电商产品如何做规划 浏览:935
如何做好提问交易计划 浏览:878
4月份最后一个交易日是多少号 浏览:46
游资有哪些交易情绪 浏览:590
菜市场不让商户的货车进来怎么办 浏览:184
拼多多的产品如何投诉 浏览:152
外汇期货交易一手可以赚多少 浏览:468
茶叶应用于哪些产品 浏览:641
期货产品什么时间开始的 浏览:210
和平精英如何提倡计量技术 浏览:432
麦吉丽代理费什么时候能退 浏览:724
如何把自启动程序变为服务 浏览:29
比起不回信息收到在忙哪个更伤心 浏览:659
龙华市场到深圳西站坐什么车 浏览:659
怎么回复百合信息 浏览:615
随州东兴市场哪里有修摩托车的 浏览:104