导航:首页 > 数据处理 > 批量数据怎么存入hbase

批量数据怎么存入hbase

发布时间:2024-02-01 19:46:52

1. 如果有几百亿条数据,如何在hbase表中存放

1、首先你有没有那么多台服务器的集群,如果只是几台,你要想够不够,你的hbase 有几百亿,那么你hdfs上的数据可能要有两个备份,你这几百亿条是如何生成的,肯定是maprece跑出来导入到hbase中把,那么原始数据你要不要留,如果留,加上备份就要三份,所以节点的多少要确定。
2、几百亿其实挺多的,hbase 的设计一定要跟你的业务相关,hbase他不能完全像关系型数据库那样去随意查询,到达一定量级,如果设计的不好也是非常之慢的,甚至将hbase搞到崩溃。所以你先去网上看看rowkey的设计原则,比如长度原则等等,然后根据自己业务,哪些查询经常用到,哪些不会用到,想要用hbase实现那种非常灵活的类似关系数据库的查询是不理智的。
3、楼上的兄弟说得对,还有region热点的问题,如果你的hbase数据不是那种每天增量的数据,建议跑个maprece对你的数据进行各评判,看看如何能将数据尽可能均匀的分配到每个region中,当然这需要预先分配region
4、几百亿条数据,如果对rowkey进行模糊过滤一定非常非常之慢,所以可以考虑二级索引或者协处理器

阅读全文

与批量数据怎么存入hbase相关的资料

热点内容
手机数据存哪个网盘云盘方便 浏览:538
逮捕之后有什么程序 浏览:90
伟业有哪些产品 浏览:8
怎么读取苹果健康的数据 浏览:926
如何办理助农产品销售 浏览:693
花卉市场买的花土怎么样 浏览:370
cf怎么在交易所买烈龙 浏览:696
如何用好期货交易软件 浏览:482
今日头条数据分析师怎么投递 浏览:254
手机信息拦截如何解除 浏览:550
装备交易系统哪个网站好 浏览:30
应用宝的游戏怎么交易 浏览:27
amd和英特尔哪个跑数据库 浏览:645
保险代理人怎么和客户聊天 浏览:553
北京潘家园旧货市场正门是哪个门 浏览:49
荣耀短信息发送键是哪个 浏览:954
大数据通过哪些方式获取 浏览:329
为什么手机上无法下载报名信息表 浏览:922
穿越火线交易所商品多久显示 浏览:165
ug打印程序单如何设置打印区域 浏览:244