⑴ hive的元數據存儲在derby和mysql 中有什麼區別
定義 元數據最本質、最抽象的定義為:data about data (關於數據的數據)。它是一種廣泛存在的現象,在許多領域有其具體的定義和應用。 在數據倉庫領域中,元數據被定義為:描述數據及其環境的數據。一般來說,它有兩方面的用途。
⑵ mysql存儲hive元數據有什麼好處
定義
元數據最本質、最抽象的定義為:data about data (關於數據的數據)。它是一種廣泛存在的現象,在許多領域有其具體的定義和應用。
在數據倉庫領域中,元數據被定義為:描述數據及其環境的數據。一般來說,它有兩方面的用途。首先,元數據能提供基於用戶的信息,如記錄數據項的業務描述信息的元數據能幫助用戶使用數據。其次,元數據能支持系統對數據的管理和維護,如關於數據項存儲方法的元數據能支持系統以最有效的方式訪問數據。具體來說,在數據倉庫系統中,元數據機制主要支持以下五類系統管理功能:(1)描述哪些數據在數據倉庫中;(2)定義要進入數據倉庫中的數據和從數據倉庫中產生的數據;(3)記錄根據業務事件發生而隨之進行的數據抽取工作時間安排;(4)記錄並檢測系統數據一致性的要求和執行情況;(5)衡量數據質量。
在軟體構造領域,元數據被定義為:在程序中不是被加工的對象,而是通過其值的改變來改變程序的行為的數據。它在運行過程中起著以解釋方式控製程序行為的作用。在程序的不同位置配置不同值的元數據,就可以得到與原來等價的程序行為。
在圖書館與信息界,元數據被定義為:提供關於信息資源或數據的一種結構化的數據,是對信息資源的結構化的描述。其作用為:描述信息資源或數據本身的特徵和屬性,規定數字化信息的組織,具有定位、發現、證明、評估、選擇等功能。
此外,元數據在地理界,生命科學界等頂域也有其相應的定義和應用。
元數據(Meta Data)是關於數據倉庫的數據,指在數據倉庫建設過程中所產生的有關數據源定義,目標定義,轉換規則等相關的關鍵數據。同時元數據還包含關於數據含義的商業信息,所有這些信息都應當妥善保存,並很好地管理。為數據倉庫的發展和使用提供方便。
元數據是一種二進制信息,用以對存儲在公共語言運行庫可移植可執行文件 (PE) 文件或存儲在內存中的程序進行描述。將您的代碼編譯為 PE 文件時,便會將元數據插入到該文件的一部分中,而將代碼轉換為 Microsoft 中間語言 (MSIL) 並將其插入到該文件的另一部分中。在模塊或程序集中定義和引用的每個類型和成員都將在元數據中進行說明。當執行代碼時,運行庫將元數據載入到內存中,並引用它來發現有關代碼的類、成員、繼承等信息。
元數據以非特定語言的方式描述在代碼中定義的每一類型和成員。元數據存儲以下信息:
程序集的說明。
標識(名稱、版本、區域性、公鑰)。
導出的類型。
該程序集所依賴的其他程序集。
運行所需的安全許可權。
類型的說明。
名稱、可見性、基類和實現的介面。
成員(方法、欄位、屬性、事件、嵌套的類型)。
屬性。
修飾類型和成員的其他說明性元素。
⑶ Hive元資料庫是用來做什麼的,存儲哪些信息
本質上只是用來存儲hive中有哪些資料庫,哪些表,表的模式,目錄,分區,索引以及命名空間。為資料庫創建的目錄一般在hive數據倉庫目錄下。
⑷ hive 的元數據存儲在 derby 和 mysql 中有什麼區別
Hive 的元數據存儲在RDBMS中,一般常用 MySQL 和 Derby。默認情況下,Hive元數據保存在內嵌的 Derby 資料庫中,只能允許一個會話連接,只適合簡單的測試。實際生產環境中不適用,為了支持多用戶回話,需要一個獨立的元資料庫,所以使用 MySQL。
總結:
1、Derby 只支持一個會話連接
2、 MySQL 支持多個會話連接,並且可以獨立部署