『壹』 作為一個存儲元必須滿足哪些條件
1,動態性
當數據對象從資料庫中以任何給定順序的命令,如插入或刪除時,存取方法應該可以持續地保持其變遷軌跡。
2.第二/第三級的存儲管理
盡管主存在不斷增長,但在主存中不可能存放整個資料庫。因此,存取方法需具備自動訪問第二/三級存儲設備的能力。
3。支持多種運算
存取方法應不支持有損其他運算(如刪除)的運算(如查詢)。
4.輸入數據的獨立性
當輸入數據有偏差時,存取方法應保持它們的效率。這一點對在不同維上分布不同的數據是非常重要的。
5簡單性
在特殊情況下,錯綜復雜的訪問方法經常會出錯,因此在大規模的應用中不要求有足夠的魯棒性。
6.擴展性
存取方法應適應未來資料庫的增長。
7.時間效率
空間查找應當是快速的。一個主要的設計目標是需要滿足一維B一樹的性能特徵:首先,忽略數據的插入順序,對於所有可能的輸入數據的分布,存取方法應當在最壞情況下的查找性能保證是對數級的。其次,最壞條件的性能應當對所有d維屬性的任意組合都能保持一致。
8空間效率
一個索引佔用的空間應比索引指向的存儲數據所佔用的空間要小,因此可保證存儲數據的有效應用。
9.同步性和恢復性
在現代資料庫中,多個用戶同時在對資料庫更新、恢復及插入數據,存取方法應提供魯棒性的技術對這些處理予以支持,這時高效率就處於次要地位。
10 最小的影響
將訪問方法集成到一個資料庫系統中,對系統中的現有功能影響最小。
『貳』 大數據存儲需要具備什麼
大數據之大 大是相對而言的概念。例如,對於像SAPHANA那樣的內存資料庫來說,2TB可能就已經是大容量了;而對於像谷歌這樣的搜索引擎,EB的數據量才能稱得上是大數據。 大也是一個迅速變化的概念。HDS在2004年發布的USP存儲虛擬化平台具備管理32PB內外部附加存儲的能力。當時,大多數人認為,USP的存儲容量大得有些離譜。但是現在,大多數企業都已經擁有PB級的數據量,一些搜索引擎公司的數據存儲量甚至達到了EB級。由於許多家庭都保存了TB級的數據量,一些雲計算公司正在推廣其文件共享或家庭數據備份服務。有容乃大 由此看來,大數據存儲的首要需求存儲容量可擴展。大數據對存儲容量的需求已經超出目前用戶現有的存儲能力。我們現在正處於PB級時代,而EB級時代即將到來。過去,許多企業通常以五年作為IT系統規劃的一個周期。在這五年中,企業的存儲容量可能會增加一倍。現在,企業則需要制定存儲數據量級(比如從PB級到EB級)的增長計劃,只有這樣才能確保業務不受干擾地持續增長。這就要求實現存儲虛擬化。存儲虛擬化是目前為止提高存儲效率最重要、最有效的技術手段。它為現有存儲系統提供了自動分層和精簡配置等提高存儲效率的工具。擁有了虛擬化存儲,用戶可以將來自內部和外部存儲系統中的結構化和非結構化數據全部整合到一個單一的存儲平台上。當所有存儲資產變成一個單一的存儲資源池時,自動分層和精簡配置功能就可以擴展到整個存儲基礎設施層面。在這種情況下,用戶可以輕松實現容量回收和容量利用率的最大化,並延長現有存儲系統的壽命,顯著提高IT系統的靈活性和效率,以滿足非結構化數據增長的需求。中型企業可以在不影響性能的情況下將HUS的容量擴展到近3PB,並可通過動態虛擬控制器實現系統的快速預配置。此外,通過HDSVSP的虛擬化功能,大型企業可以創建0.25EB容量的存儲池。隨著非結構化數據的快速增長,未來,文件與內容數據又該如何進行擴展呢?不斷生長的大數據 與結構化數據不同,很多非結構化數據需要通過互聯網協議來訪問,並且存儲在文件或內容平台之中。大多數文件與內容平台的存儲容量過去只能達到TB級,現在則需要擴展到PB級,而未來將擴展到EB級。這些非結構化的數據必須以文件或對象的形式來訪問。基於Unix和Linux的傳統文件系統通常將文件、目錄或與其他文件系統對象有關的信息存儲在一個索引節點中。索引節點不是數據本身,而是描述數據所有權、訪問模式、文件大小、時間戳、文件指針和文件類型等信息的元數據。傳統文件系統中的索引節點數量有限,導致文件系統可以容納的文件、目錄或對象的數量受到限制。HNAS和HCP使用基於對象的文件系統,使得其容量能夠擴展到PB級,可以容納數十億個文件或對象。位於VSP或HUS之上的HNAS和HCP網關不僅可以充分利用模塊存儲的可擴展性,而且可以享受到通用管理平台HitachiCommandSuite帶來的好處。HNAS和HCP為大數據的存儲提供了一個優良的架構。大數據存儲平台必須能夠不受干擾地持續擴展,並具有跨越不同時代技術的能力。數據遷移必須在最小范圍內進行,而且要在後台完成。大數據只要復制一次,就能具有很好的可恢復性。大數據存儲平台可以通過版本控制來跟蹤數據的變更,而不會因為大數據發生一次變更,就重新備份一次所有的數據。HDS的所有產品均可以實現後台的數據移動和分層,並可以增加VSP、HUS數據池、HNAS文件系統、HCP的容量,還能自動調整數據的布局。傳統文件系統與塊數據存儲設備不支持動態擴展。大數據存儲平台還必須具有彈性,不允許出現任何可能需要重建大數據的單點故障。HDS可以實現VSP和HUS的冗餘配置,並能為HNAS和HCP節點提供相同的彈性。