導航:首頁 > 數據處理 > pb數據怎麼存儲便宜

pb數據怎麼存儲便宜

發布時間:2024-06-16 13:14:05

大數據時代,數據應該如何存儲

PB或多PB級基礎設施與傳統大規模數據集之間的差別簡直就像白天和黑夜的差別,就像在筆記本電腦上處理數據和在RAID陣列上處理數據之間的差別。"
當Day在2009年加入Shutterfly時,存儲已經成為該公司最大的開支,並且以飛快的速度增長。
"每N個PB的額外存儲意味著我們需要另一個存儲管理員來支持物理和邏輯基礎設施,"Day表示,"面對大規模數據存儲,系統會更頻繁地出問題,任何管理超大存儲的人經常都要處理硬體故障。大家都在試圖解決的根本問題是:當你知道存儲的一部分將在一段時間內出現問題,你應該如何確保數據可用性,同時確保不會降低性能?"RAID問題解決故障的標准答案是復制,通常以RAID陣列的形式。但Day表示,面對龐大規模的數據時,RAID解決問題的同時可能會製造更多問題。在傳統RAID數據存儲方案中,每個數據的副本都被鏡像和存儲在陣列的不同磁碟中,以確保完整性和可用性。但這意味著每個被鏡像和存儲的數據將需要其本身五倍以上的存儲空間。隨著RAID陣列中使用的磁碟越來越大(從密度和功耗的角度來看,3TB磁碟非常具有吸引力),更換故障驅動器的時間也將變得越來越長。
"實際上,我們使用RAID並不存在任何操作問題,"Day表示,"我們看到的是,隨著磁碟變得越來越大,當任何組件發生故障時,我們回到一個完全冗餘的系統的時間增加。生成校驗是與數據集的大小成正比的。當我們開始使用1TB和2TB的磁碟時,回到完全冗餘系統的時間變得很長。可以說,這種趨勢並沒有朝著正確的方向發展。"
對於Shutterfly而言,可靠性和可用性是非常關鍵的因素,這也是企業級存儲的要求。Day表示,其快速膨脹的存儲成本使商品系統變得更具吸引力。當Day及其團隊在研究潛在技術解決方案以幫助控制存儲成本時,他們對於一項叫做糾刪碼(erasure code)的技術非常感興趣。
採用擦除代碼技術的下一代存儲
里德-所羅門糾刪碼最初作為前向糾錯碼(Forward Error Correction, FEC)用於不可靠通道的數據傳輸,例如外層空間探測的數據傳輸。這項技術還被用於CD和DVD來處理光碟上的故障,例如灰塵和劃痕。一些存儲供應商已經開始將糾刪碼納入他們的解決方案中。使用糾刪碼,數據可以被分解成幾塊,單塊分解數據是無用的,然後它們被分散到不同磁碟驅動器或者伺服器。在任何使用,這些數據都可以完全重組,即使有些數據塊因為磁碟故障已經丟失。換句話說,你不需要創建多個數據副本,單個數據就可以確保數據的完整性和可用性。
基於糾刪碼的解決方案的早期供應商之一是Cleversafe公司,他們添加了位置信息來創建其所謂的分散編碼,讓用戶可以在不同位置(例如多個數據中心)存儲數據塊或者說數據片。
每個數據塊就其自身而言是無用的,這樣能夠確保隱私性和安全性。因為信息分散技術使用單一數據來確保數據完整性和可用性,而不是像RAID一樣使用多個副本,公司可以節省多達90%的存儲成本。
"當你將試圖重組數據時,你並不一定需要提供所有數據塊,"Cleversafe公司產品策略、市場營銷和客戶解決方案副總裁Russ Kennedy表示,"你生成的數據塊的數量,我們稱之為寬度,我們將重組數據需要的最低數量稱之為門檻。你生成的數據塊的數量和重組需要的數量之間的差異決定了其可靠性。同時,即使你丟失節點和驅動器,你仍然能夠得到原來形式的數據。"

㈡ 什麼是「PB級別的數據」

pb指petabyte,它是較高級穗激的存儲單位,其上還有EB,ZB,YB等單位,1PB=1024TB。

未來學家碼碧Raymond Kurzweil在他的論文中關於對PB級數據定義解釋說:人類功能記憶的容量預計在1.25個TB,這意味著,800個人類記憶才相當於1個PB。

㈢ 什麼是pB級企業數據存儲

提供的企業存儲空間達到pb,即100萬GB的空間,(1pb=1000tb,1tb=1000gb,1gb=1000mb)。

Pb為petabyte級,Pb是一個更高級別的存儲單元,其上有EB、ZB、YB等單元,1PB=1024TB。

未來學家雷蒙德·庫茲韋爾(RaymondKurzweil)在其關於pb級數據定義的論文中解釋:

人類功能性記憶的容量估計為1.25tb,這意味著800個人類記憶相當於1pb。

(3)pb數據怎麼存儲便宜擴展閱讀:

pb級數據存儲和使用:

AnyShare支持海量非結構化數據的統一存儲,提供數十億的容量存儲,支持數據的重擦除,提高容量存儲的效率。可以根據需要擴展容量,還可以擴展性能以降低單個GB數據存儲的成本,從而降低總存儲成本。

pbAnyShare存儲容量,支持蠕蟲的特徵對象存儲系統,AnyShareNAS網關的形式實施周期超過三個月的治療非結構化數據存檔、三個月內的活躍的文件存儲在本地業務系統,確保電子檔案,證據,如文件數據固化存儲很長一段時間,防止被篡改和刪除。

AnyShare的固化檔案文件可以根據關鍵詞、文件全稱或標簽等多種搜索方法准確檢索出需要的文件,全文搜索可以在一秒內找到文件。

自動生成的標簽是標簽自動分析AnyShare文檔的文檔內容的分析選擇,和手動標記標簽根據需要手動添加幫助拍位元組的數據進行分類和歸檔根據文檔內容,並且可以准確地根據標簽來提高檢索效率的使用和訪問文檔。

閱讀全文

與pb數據怎麼存儲便宜相關的資料

熱點內容
直溪至丹陽眼鏡市場怎麼走 瀏覽:309
邵東最大的果蔬批發市場在哪裡 瀏覽:637
廈門古樹普洱怎麼代理 瀏覽:746
嫦娥技術落後美國多少 瀏覽:125
抖音怎麼看以前的直播數據 瀏覽:681
蘇州工程技術職業學院怎麼樣 瀏覽:421
數據大屏講解時長在哪裡看 瀏覽:816
knn數據線怎麼樣 瀏覽:609
數據結構課是干什麼的 瀏覽:468
研究生大數據技術與應用學些什麼 瀏覽:788
張庭化妝品代理如何賣 瀏覽:140
用微米技術可以做什麼 瀏覽:836
房改房轉商品房多久可以交易 瀏覽:641
期貨交易需要哪些技術 瀏覽:76
荊州有哪些家裝市場 瀏覽:694
宜職院數控技術專業如何 瀏覽:125
excel數據如何導入到股市行情軟體 瀏覽:783
惠農網賣家怎麼交易 瀏覽:838
哪個汽車的數據中心在英國 瀏覽:610
沒有代理記賬許可證如何處罰 瀏覽:997