导航:首页 > 数据处理 > 批量数据怎么存入hbase

批量数据怎么存入hbase

发布时间:2024-02-01 19:46:52

1. 如果有几百亿条数据,如何在hbase表中存放

1、首先你有没有那么多台服务器的集群,如果只是几台,你要想够不够,你的hbase 有几百亿,那么你hdfs上的数据可能要有两个备份,你这几百亿条是如何生成的,肯定是maprece跑出来导入到hbase中把,那么原始数据你要不要留,如果留,加上备份就要三份,所以节点的多少要确定。
2、几百亿其实挺多的,hbase 的设计一定要跟你的业务相关,hbase他不能完全像关系型数据库那样去随意查询,到达一定量级,如果设计的不好也是非常之慢的,甚至将hbase搞到崩溃。所以你先去网上看看rowkey的设计原则,比如长度原则等等,然后根据自己业务,哪些查询经常用到,哪些不会用到,想要用hbase实现那种非常灵活的类似关系数据库的查询是不理智的。
3、楼上的兄弟说得对,还有region热点的问题,如果你的hbase数据不是那种每天增量的数据,建议跑个maprece对你的数据进行各评判,看看如何能将数据尽可能均匀的分配到每个region中,当然这需要预先分配region
4、几百亿条数据,如果对rowkey进行模糊过滤一定非常非常之慢,所以可以考虑二级索引或者协处理器

阅读全文

与批量数据怎么存入hbase相关的资料

热点内容
怎么代理习宴酒 浏览:661
表头填什么信息最好 浏览:160
武清市有哪些市场 浏览:714
淘宝店铺怎么判定虚假交易的 浏览:281
导航系统数据流量哪个好 浏览:910
丹东哪里有玉石交易市场 浏览:358
调取对方身份信息需要多久 浏览:692
怎么查西数硬盘是哪个代理的 浏览:93
聚羧酸减水剂技术员主要干什么 浏览:939
玩游戏没有及时回女生信息怎么办 浏览:356
反馈信息来源怎么写 浏览:325
怎么让程序运行手机黑屏 浏览:683
沈阳市古董市场在哪里 浏览:48
潍柴应用技术支持是什么 浏览:256
港股一天最多交易多少次 浏览:248
茵茵怎么做代理 浏览:424
粤康码场所申报码数据如何查看 浏览:746
如何加强数据开放 浏览:250
全球税务信息透明后会怎么样 浏览:159
包头轻工职业技术学院多少分进 浏览:221