導航:首頁 > 數據處理 > 大數據量的緩存放在哪裡合適

大數據量的緩存放在哪裡合適

發布時間:2023-09-04 12:05:59

⑴ 大量數據能緩存到redis裡面嗎

不適合引子:

    在大數據時代,總希望存在一個Key-value存儲機制,像HashMap一樣在內存中處理大量(千萬數量級)的key-value對,以便提高數據查找、修改速度。

    所以,我們會想到,Memcached和Redis這兩個NoSQL資料庫(嚴格來講二者都不可以算作資料庫)。

    1、Memcached是一個cache機制,當內存不足時會採用LRU機制,替換出陳舊數據,因此他不能保證我們的數據像在HashMap中一樣不丟失,且沒有數據持久化機制;

    2、Redis克服了這一缺點,採取磁碟存儲機制實現數據持久化。但是,當數據量達到1千萬左右時,由於內存中不能存儲如此大量數目的數據,頻繁同磁碟進行數據交換,導致數據查詢、存儲性能的急劇下降,將導致服務不可用。

     結論:當前還沒有好的產品可以實現key-value保證數據完整性,千萬級條數量級的,高效存儲和查詢支持產品。

     附錄一:如下是轉自其它網友的測試數據:

     附錄二:memcached 和redis的比較,和各自用途

附錄一:

從圖中可以猜測到還會有Redis 2.2.1 的測試,相同的測試環境,1K的數據量,使用ServiceStack.Redis客戶端進行如下測試:

1) Set操作

2) Get操作

3) Del操作

每一套測試分別使用三個配置進行測試:

1) 綠色線條的是開啟Dump方式的持久化,5分鍾持久化一次

2) 藍色線條是開啟AOF方式的持久化,每秒寫入磁碟一次

3) 紅色線條是關閉任何的持久化方式

對於每一個配置都使用相同的其他配置:

1) 開啟VM 最大內存10GB(128位元組一

閱讀全文

與大數據量的緩存放在哪裡合適相關的資料

熱點內容
咸陽西關舊貨市場有哪些 瀏覽:975
ps如何邊看數據邊修圖 瀏覽:101
滬深a股交易規則有哪些 瀏覽:496
百貨公司如何申請支付寶小程序 瀏覽:652
在網上代理什麼合適 瀏覽:328
sock4代理干什麼用 瀏覽:485
如何給產品配圖案 瀏覽:418
穿孔石有哪些產品 瀏覽:675
交易系統買點怎麼選擇 瀏覽:801
如何通過現有資源推廣產品 瀏覽:957
如何講解技術方案 瀏覽:327
怎麼關閉手機應用程序 瀏覽:158
如何消除理財產品 瀏覽:311
程序員和工廠有什麼不同 瀏覽:117
寧波哪個市場賣家用開關插座的 瀏覽:757
怎麼排查小程序 瀏覽:622
大疆產品ean碼是什麼 瀏覽:31
邁騰刷ecu刷什麼程序 瀏覽:817
如何解綁卡號的關聯程序 瀏覽:264
雙十一實時數據什麼時候更新 瀏覽:247