導航:首頁 > 數據處理 > 批量數據怎麼存入hbase

批量數據怎麼存入hbase

發布時間:2024-02-01 19:46:52

1. 如果有幾百億條數據,如何在hbase表中存放

1、首先你有沒有那麼多台伺服器的集群,如果只是幾台,你要想夠不夠,你的hbase 有幾百億,那麼你hdfs上的數據可能要有兩個備份,你這幾百億條是如何生成的,肯定是maprece跑出來導入到hbase中把,那麼原始數據你要不要留,如果留,加上備份就要三份,所以節點的多少要確定。
2、幾百億其實挺多的,hbase 的設計一定要跟你的業務相關,hbase他不能完全像關系型資料庫那樣去隨意查詢,到達一定量級,如果設計的不好也是非常之慢的,甚至將hbase搞到崩潰。所以你先去網上看看rowkey的設計原則,比如長度原則等等,然後根據自己業務,哪些查詢經常用到,哪些不會用到,想要用hbase實現那種非常靈活的類似關系資料庫的查詢是不理智的。
3、樓上的兄弟說得對,還有region熱點的問題,如果你的hbase數據不是那種每天增量的數據,建議跑個maprece對你的數據進行各評判,看看如何能將數據盡可能均勻的分配到每個region中,當然這需要預先分配region
4、幾百億條數據,如果對rowkey進行模糊過濾一定非常非常之慢,所以可以考慮二級索引或者協處理器

閱讀全文

與批量數據怎麼存入hbase相關的資料

熱點內容
做代理需要什麼設備 瀏覽:925
產品包裝盒信息地址在什麼位置 瀏覽:672
微信項目介紹價格如何代理 瀏覽:108
怎麼代理習宴酒 瀏覽:661
表頭填什麼信息最好 瀏覽:160
武清市有哪些市場 瀏覽:714
淘寶店鋪怎麼判定虛假交易的 瀏覽:281
導航系統數據流量哪個好 瀏覽:910
丹東哪裡有玉石交易市場 瀏覽:358
調取對方身份信息需要多久 瀏覽:692
怎麼查西數硬碟是哪個代理的 瀏覽:95
聚羧酸減水劑技術員主要干什麼 瀏覽:940
玩游戲沒有及時回女生信息怎麼辦 瀏覽:358
反饋信息來源怎麼寫 瀏覽:327
怎麼讓程序運行手機黑屏 瀏覽:685
沈陽市古董市場在哪裡 瀏覽:48
濰柴應用技術支持是什麼 瀏覽:258
港股一天最多交易多少次 瀏覽:250
茵茵怎麼做代理 瀏覽:425
粵康碼場所申報碼數據如何查看 瀏覽:746