導航:首頁 > 數據處理 > 如何利用元數據管理資產

如何利用元數據管理資產

發布時間:2023-02-11 14:57:51

① 什麼是元數據管理及其作用

元數據管理是一個根據使用這些資產的方式來管理組織的數據資產的流程。此流程能集成、鏈接和集中管理多個來源的元數據,便於在整個組織內妥善維護、分析、消費和解釋數據。當從業務元數據和技術元數據中得出數據的含義時,可以更有效地匯總和集成數據。簡言之,當有效管理元數據時,數據變得更有 價值。
IT 組織需要有效的元數據管理解決方案以:
• 簡化數據發現和跟蹤數據中央目錄。大多數公司需要管理日益復雜的系統。通過管理元數據,IT 組織可以在能夠快速發現數據資產的多個系統內創建數據資產庫存。
• 通過重復使用數據加強一致性並消除冗餘,從而提高工作效率並降低項目付時間。可以將中央元數據資料庫當作「單一數據源」來發現開發人員可以充分利用的可重用組件。公司可以減少冗餘或未使用數據的數量,從而允許進行硬體和軟體整合並節省成本。
• 減少因人員流動而導致知識流失的風險。有關存儲重要信息的位置和方式、以及經常未存檔意味著什麼,所有這些都只留在了某些員工的頭腦里。當這些關鍵員工離開公司時,這方面的知識也就會隨著他們一起消失。元數據管理系統內的中央元數據資料庫保存了這方面的知識,從而減輕了此類信息隨著離職員工一起消失的任何風險。
• 增加了向業務用戶報告的數據交付的信心。跟蹤數據沿襲:數據來自什麼地方以及如何產生、處理和交付數據,這為業務用戶提供了重要的背景知識。探查源系統中的數據可以暴露和解決數據不準確性和不一致性問題,從而產生可靠的高質量數據。
• 通過制定更有效的開發流程來提高 IT 部門對業務的響應度。元數據的集成和可見性可以幫助 IT 部門了解存在哪些數據、數據存儲位置及其含義,從而最大限度地降低信息的復雜性。此外,這種可見性通過不斷變更業務要求為分析變化所帶來的影響提供了基礎架構,並將會加快新數據集成項目的開發。數據集成開發人員可以依賴這些信息來輕松和准確地確定他們的數據集成項目所需的數據。並且,能夠訪問潛在變化所帶來的影響也可以幫助管理人員快速評估項目的持續時間和資源成本。

② 數據資產的管理方法

在最近幾年的業務發展中,數據都是各大公司建設的「寵兒」,幾乎所有的業務都圍繞數據展開,其重要性堪比信息化時代的「石油」。因此,大多數的公司都會建設自己的數據資產平台,一方面是為了做一些諸如統一數據口徑一類的基礎工作,另一方面也是為了深入挖掘數據的價值,為企業帶來高額的利潤回報。

回看過去的發展歷史,圍繞著數據的採集、建設、管理和應用,已經基本形成了體系化的建設方法。運營在做定價的時候,需要數據的支持;財務在評估預算的時候,需要數據的支持;法務在判定風險時,同樣需要數據的支持…… 同時,隨著企業發展的進行,數據口徑的統一需要對數據進行治理;成本的管理需要對數據進行治理;支持業務的增多需要對數據進行治理…… 凡此種種,當我們缺少了數據資產門戶的時候,很多的治理和查詢工作,便很容易產生亂子。

某些意義上,數據資產的整理,是一種「臟活累活」,需要持續的維護和迭代,但做好之後,其發揮的價值,也是非常大的,只不過這種價值需要依附於別的項目才能體現出來。

因此,本文簡單介紹一種整理數據資產的方法,供大家交流,篇幅不長,介紹思路更多一些。

其實數據的整理,用「運營」的思路來講,更像是「品類規劃」。只有把類目和索引做到了,全局層面便有了可視化的基礎,後續資產的整理和歸類,也會有科學的指引。

像比較大一點的互聯網公司,業務通常不是單一的,因此如何仿照類目的思路,將一、二、三級索引做好,就是一個關鍵點和難點。

從消費者的視角,可以根據行為偏好、互動行為、個人屬性、社交關系等方面構建類目,行為偏好又可以分為購買行為、點擊行為、瀏覽行為,等等;從業務的視角,可以根據電商、金融、社交、媒體等業務屬性構建類目,電商又可以分為B2C、C2C、B2B2C等不同的業務模式;從部門的視角,又可以根據XX事業部這種方式來建設,然後一級一級細分到具體負責的團隊。總之,根據某一種分類的原則,將一二三級類目做完整,通常情況下可以很快的定位到需要的數據。

當然,只有類目也是不行的,這時候支持一個基本的搜索功能,將業務名、表名、欄位名、屬性名等做成模糊匹配的方法,供用戶搜索和查詢,便可以支持絕大多數的自行查詢場景。

當然,因為表或者欄位的展示格式都是固定的,因此搜索的結果可以做到非常的美觀,配合手工打上的標簽,90%以上的場景都可以支持用戶自定義查詢。

總結一下,資產的導航,適合以「類目」的方式進行組織,以搜索的方式配合使用,展示的介面以樹形最佳,配合標簽等個性化的內容,可以最大程度上滿足查詢訴求。

當用戶查詢到需要使用的數據時,下一步便是如何獲取和使用數據。在通常的技術場景下,研發的同學只需要申請對應的表許可權既可以獲得。

但現在是有三種情況,我們需要分別看獲取的方式:

一種是這種數據不適合直接開放底表,因為許可權隔離的緣故,不能把所有許可權開放出去,這時候就需要有資產分離的功能,也就是根據適用范圍申請數據;

一種是非技術的同學申請,通常直接給一個表也是不知道怎麼用的,可能給一個數據看板,或者是申請一個數據集,更合適一些,非研發的同學,可以使用報表工具自行配置。當然這種場景可以支持的數據查詢能力會比較有限,需要盡可能的將報表的門戶建設做好之後,再開放出去;

一種是有明確數據安全場景的訴求,比如最近剛出台的「個保法」,對於用戶隱私的數據監管非常嚴格,這時候就需要配套有對應的法務審批或者是其他的數據安全介面人審批,這里的流程也是要單獨設置的。

但不論哪種方式,都少不了完善的數據使用流程,這其實是屬於「流程管理」的范疇,系統通常會默認指定審批人,但如果有特殊的需要,比如「個保法」,通常也需要能夠自行設定審批流程。

總結一下,數據的獲取,根據場景和使用人的不同,提供數據表、欄位或者是報表等多種方式,同時要配合有相應的許可權審批和資產分離的功能。

數據的治理也是一項比較重要但繁瑣的工作。因為數據資產的錄入,通常是人來維護的,那麼相同的指標,錄入多次的時候,用戶以哪次為准呢?這就是最典型維護難題,因此,在錄入或者自動更新數據的時候,提供一些提示性的功能,或者通過「精品」、「臨時」等標簽予以區分,也是一種可行的思路。

因而,通常情況下,技術提供的公共資產,一般以公共層的數據為准,只有明確使用場景的情況下,ADS才會被提供出來。

接下來,就是針對龐大的數據資產,構建自動化的診斷和分析功能了,關於如何用數據來治理資產,參考個人之前的文章《數據資產治理概要:用數據來治理數據》。標准化的治理之前,通常需要有全局的數據資產視圖,才能制定出明確的目標、范圍和結果。

最後,數據資產的使用,通常也是需要有穩定性的治理,比如每個表或者某一份數據,更新的頻率、每次更新的時間等,都需要有說明提供給使用者,而開發來維護顯然是不現實的,因此通過監控Hadoop集群的運行結果來自動更新,就是一種不錯的方法。同時,一些執行明顯偏慢但又使用者非常多的數據,也可以有相應的預警郵件提供給使用者。

數據資產的管理,底層也是基於數倉建模、數據平台、元數據標准、質量監控等基礎的機制,配合組織的審批、管理等標准,最終才能服務於頂層戰略。

③ 元數據管理框架如何制定,方法都在這!

元數據管理計劃實施數量將持續增長到2021年以後。根據DATAVERSITY®數據管理趨勢報告,有84%的業務受訪者已經實施了元數據管理計劃或已經開始制定計劃。一家公司在元數據管理方面的成功取決於實施前是否依託於一個有用的元數據管理框架。

處理好元數據對於公司而言,在於遵守數據法規,提高數據質量,探索機器學習以及更好地使用數據。但是元數據管理超越技術,而主要依賴支持它的人員和政策。

一、什麼是元數據管理框架?

元數據管理框架描述了一種使數據和元數據資產更易於訪問和用於實現業務目標的組織方法。它根據組織的需求,動員並擴展了作為元數據管理基礎的現有資源。

元數據管理框架發生在公司基礎架構級別和運營級別。在更高層次上,元數據管理框架是伊恩·羅蘭茲(Ian Rowlands)DAMA芝加哥一章中的解釋說,需要行政支持和 數據策略制定更高的業務遠景。此外,元數據管理框架還指導人員和自動化演算法在日常工作中捕獲、集成、管理和發布元數據。

從戰略和戰術角度考慮,元數據管理框架必須涵蓋項目內部或與項目內進行交互的任何人。因此,元數據管理框架需要得到數據治理程序。

數據治理將有關元數據的可用性,具有元數據的組織優先順序以及何時以及如何交付元數據的信息通知元數據管理框架。作為反饋,元數據管理框架將有關數據合規性、數據可訪問性和數據質量的信息告知企業數據治理。將元數據管理和數據治理基礎視為串聯工作並提供數據解釋。

二、選擇元數據管理框架之前要考慮的因素

在創建任何元數據管理框架之前,請考慮以下事項:

獲得元數據管理框架基準:即使組織中不存在正式的元數據管理框架,隱性的也存在。技術文件映射數據架構,經驗豐富的業務分析師之外的人可以理解報告數據,而數據輸入過程則提供了有關組織數據及其元數據管理框架片段的上下文。

獲得有關人員,流程和技術已經存在以及它們如何通知組織的元數據管理框架的基準是很有意義的。使用「合格且知識淵博的數據專業l(和其他熟練的人才)來管理和解釋「數據就緒性評估」以及「數據成熟度」模型,則提供了良好的元數據管理框架起點。進而,公司可以得到改善元數據管理框架的具體建議。

清楚元數據管理框架將實現的目標:清楚為什麼組織需要管理元數據和實現元數據管理框架。元數據管理有助於降低培訓成本,在整個數據系統中更好地使用數據並簡化通信,但並不能解決所有數據問題。

如果組織優先於客戶體驗或開發產品和服務而不是數據共享和數據發現,那麼與其他選擇相比,元數據管理框架可能不是最佳解決方案。鑒於任何有用的數據管理框架都傾向於具有昂貴的設置,因此組織首先需要認真研究為什麼要實施元數據管理框架。

提高集體數據素養:使用元數據需要已同步組織定義者,生產者和用戶之間的協作和可重復的動作。認識到這類人存在於不同的組織部門中,並且有各種各樣的跨功能技能。有些人具有很高的技術和分析能力,而另一些人則具有較軟的技能。

不同的公司子集團可能會從非常不同的角度考慮並應用任何元數據管理框架。一個人的定義可能與另一個人的定義不同。

集體數據素養通過了解如何解釋,交流和使用元數據更好地掌握公司數據資產,幫助利益相關者理解元數據管理框架。通過元數據進行規劃,以全面了解業務需求,指導人們為什麼以及如何使用任何元數據來完成工作或實現目標。

利用已經存在的元數據管理框架片段:在花錢購買工具和資源以建立新的元數據管理框架之前,請使用組織中已經存在的元數據管理框架來快速獲勝並展示其價值。讓知道如何解釋客戶報告含義的人記錄該知識。更新現有的技術架構圖,以包含更健壯的元數據,例如數據字典。

另外,請考慮有關構建或改進元數據管理框架的現有標准和實踐。例如,國際統計分類由世界衛生組織(WHO)批準的《疾病分類》為臨床醫生,研究人員和醫療帳單人員定義了疾病和健康問題。如果與業務相關,請利用現有的權威元數據源。

三、總結

元數據管理框架不僅僅是技術解決方案。它描述了管理元數據,動員人員,技術和實踐的方法和願景。而且,元數據管理框架與數據治理緊密地交織在一起。做好元數據管理需要在整個組織中建立牢固的元數據管理框架基礎。

四、元數據管理工具介紹

億信華辰元數據管理平台(EsPowerMeta)提供了完善的元模型和元數據維護功能,採用多種方式簡化元數據維護的復雜性。系統支持元數據的自動獲取和時間調度管理,支持手工創建和變更元數據,並配合版本管理,能完整存儲元數據整個生命周期動態和變化,方便用戶跟蹤業務運作的歷史數據。億信華辰元數據管理平台應用案例:

佛山某區政務服務數據管理局元數據管理平台

建設內容:

政務服務數據管理局基於區內各政府部門的數據進行匯總和治理,面向各部門提供統一的數據服務和應用,實現「用數據決策、用數據監管、用數據創業」的數據統籌發展運行機制。本項目通過元數據管理平台,梳理各類數據來源,實現衛計委、工商局、流管局等各政府部門的元數據自動採集,理清現有的數據流轉流程和數據架構,並基於其構建一套新的數據架構,同時提供數據血緣分析、影響分析等,最後形成全區的政務數據地圖。

項目價值:

幫助數據管理局確定數據來源和數據架構,為後續數據標准建設,數據質量管理打下堅實的基礎,並為政務資源目錄、自主填報系統、教育無紙化等應用提供支撐。

④ 如何有效的進行數據治理和數據管控

從技術實施角度看,主要包含「理」「采」「存」「管」「用」這五個,即業務和數據資源梳理、數據採集清洗、資料庫設計和存儲、數據管理、數據使用。

數據資源梳理:數據治理的第一個步驟是從業務的視角釐清組織的數據資源環境和數據資源清單,包含組織機構、業務事項、信息系統,以及以資料庫、網頁、文件和 API 介面形式存在的數據項資源,本步驟的輸出物為分門別類的數據資源清單。

數據採集清洗:通過可視化的 ETL 工具(例如阿里的 DataX,Pentaho Data Integration)將數據從來源端經過抽取 (extract)、轉換 (transform)、載入 (load) 至目的端的過程,目的是將散落和零亂的數據集中存儲起來。

基礎庫主題庫建設:一般情況下,可以將數據分為基礎數據、業務主題數據和分析數據。基礎數據一般指的是核心實體數據,或稱主數據,例如智慧城市中的人口、法人、地理信息、信用、電子證照等數據。主題數據一般指的是某個業務主題數據,例如市場監督管理局的食品監管、質量監督檢查、企業綜合監管等數據。而分析數據指的是基於業務主題數據綜合分析而得的分析結果數據,例如市場監督管理局的企業綜合評價、產業區域分布、高危企業分布等。那麼基礎庫和主題庫的建設就是在對業務理解的基礎上,基於易存儲、易管理、易使用的原則抽像數據存儲結構,說白了,就是基於一定的原則設計資料庫表結構,然後再根據數據資源清單設計數據採集清洗流程,將整潔干凈的數據存儲到資料庫或數據倉庫中。

元數據管理:元數據管理是對基礎庫和主題庫中的數據項屬性的管理,同時,將數據項的業務含義與數據項進行了關聯,便於業務人員也能夠理解資料庫中的數據欄位含義,並且,元數據是後面提到的自動化數據共享、數據交換和商業智能(BI)的基礎。需要注意的是,元數據管理一般是對基礎庫和主題庫中(即核心數據資產)的數據項屬性的管理,而數據資源清單是對各類數據來源的數據項的管理。

血緣追蹤:數據被業務場景使用時,發現數據錯誤,數據治理團隊需要快速定位數據來源,修復數據錯誤。那麼數據治理團隊需要知道業務團隊的數據來自於哪個核心庫,核心庫的數據又來自於哪個數據源頭。我們的實踐是在元數據和數據資源清單之間建立關聯關系,且業務團隊使用的數據項由元數據組合配置而來,這樣,就建立了數據使用場景與數據源頭之間的血緣關系。 數據資源目錄:數據資源目錄一般應用於數據共享的場景,例如政府部門之間的數據共享,數據資源目錄是基於業務場景和行業規范而創建,同時依託於元數據和基礎庫主題而實現自動化的數據申請和使用。

質量管理:數據價值的成功發掘必須依託於高質量的數據,唯有準確、完整、一致的數據才有使用價值。因此,需要從多維度來分析數據的質量,例如:偏移量、非空檢查、值域檢查、規范性檢查、重復性檢查、關聯關系檢查、離群值檢查、波動檢查等等。需要注意的是,優秀的數據質量模型的設計必須依賴於對業務的深刻理解,在技術上也推薦使用大數據相關技術來保障檢測性能和降低對業務系統的性能影響,例如 Hadoop,MapRece,HBase 等。

商業智能(BI):數據治理的目的是使用,對於一個大型的數據倉庫來說,數據使用的場景和需求是多變的,那麼可以使用 BI 類的產品快速獲取需要的數據,並分析形成報表,像派可數據就屬於專業的BI廠商。

數據共享交換:數據共享包括組織內部和組織之間的數據共享,共享方式也分為庫表、文件和 API 介面三種共享方式,庫表共享比較直接粗暴,文件共享方式通過 ETL 工具做一個反向的數據交換也就可以實現。我們比較推薦的是 API 介面共享方式,在這種方式下,能夠讓中心數據倉庫保留數據所有權,把數據使用權通過 API 介面的形式進行了轉移。API 介面共享可以使用 API 網關實現,常見的功能是自動化的介面生成、申請審核、限流、限並發、多用戶隔離、調用統計、調用審計、黑白名單、調用監控、質量監控等等。

⑤ 公司如何做好元數據管理

最近Gartner在研究報告里明確指出,「元數據管理將是未來企業信息化的核心基礎設施」。確實,在大數據環境中,如果企業不通過元數據管理把多種復雜的信息管理起來,很難做到信息的有效利用。但是,很多企業逐漸發現元數據管理直接給企業業務創新帶來的價值非常有限。目前的元數據管理現狀是什麼?如何充分釋放元數據管理的業務價值?有哪些實踐經驗可以借鑒?

目錄:

一、現狀分析:孤獨的企業元數據管理

二、解決方案:面向業務釋放元數據價值

三、技術實踐:普元的企業元數據管理實踐

一、現狀分析:孤獨的企業元數據管理

元數據管理不能給業務創新帶來直接價值的主要原因,在於目前的元數據管理太「孤獨」,這種孤獨主要體現在以下四個方面:

⑥ 元數據的管理

初期的元數據管理通常是在事後由相應的元數據管理軟體,從已開發完成的應用系統中抽取用戶所關注的各類元數據,再由人工補錄一些注釋和管理用的屬性。這種模式稱之為基本元數據管理,由於存在元數據獲取的不及時,存在為了減少工作量有些屬性空缺的風險,存在對應用體驗支持力度的不足,實際應用並不普遍。在新一代應用系統(AS2.0) 中,業務功能通常都是由相應的構件,以人機交互的形式,通過在人工業務語境的對話過程中組裝實現的。這個過程中,不僅完成了業務應用所需要的應用軟體元素,同時也完成了應用軟體元素相對應的元數據的採集。這種模式稱之為主動元數據管理。以下是元數據管理的主要功能,後2部分屬於主動元數據管理的內容。 元模型管理。利用可視化的用戶體驗,實現包括元模型添加、刪除、修改、發布等維護功能;並且能讓用戶直觀地了解已有元模型的分類、統計、使用情況、變更追溯,以及每個元模型的生命周期管理等等。
元數據管理。元數據管理實現針對元數據的基本管理功能。如元數據的添加、刪除、修改屬性等維護功能;元數據之間關系的建立、刪除和跟蹤等關系維護功能;提供元數據發布流程管理,可以更好地管理和跟蹤元數據的整個生命周期;元數據自身質量核查、元數據查詢、元數據統計、元數據使用情況分析、元數據變更、元數據版本和生命周期管理等功能。
數據分析。元數據分析功能主要實現針對元數據的基本分析功能。包括血緣分析(血統分析)、影響分析、實體關聯分析、實體影響分析、主機拓撲分析、指標一致性分析等。 各類應用軟體元素產生的元數據進入元數據平台後,元數據管理可通過元數據服務功能,為需要這些元數據的工具軟體或構件提供元數據服務。如將前面所述的各種工具軟體的定義結果,以相應的標准協議進行打包形成方案(應用腳本),提供給其它應用環境中的物理表建立工具、ETL工具、多維模型建立工具、結果展現工具等底層工具,從而實現應用的重用和共享。同時,元數據服務還可為業務應用功能提供輔助的元數據幫助信息,如業務功能中加工結果和指標的說明、提示,及其血緣分析等,讓用戶可明確、直觀地了解數據的來源、加工過程及加工演算法等信息。

⑦ 什麼是元數據管理及其作用

元數據管理定義如下:

1、元數據管理包括業務詞彙表的發展,數據元素和實體的定義,業務規則和演算法以及數據特徵。

2、最基礎的管理是管理業務元數據的收集、組織和維持。

3、對技術型元數據的應用對主數據管理和數據治理項目的成功至關重要。

元數據管理作用:

1、元數據是「所有系統、文檔和流程中包含的所有數據的語境

2、如果沒有元數據,組織IT系統中收集和存儲的所有數據都會失去意義,也就沒有業務價值。

3、元數據管理是一項和主數據管理、數據治理一樣重要的功能,因為元數據管理是每一個這些准則的基礎組件。

4、組織部署了數據治理項目,但沒有解決元數據管理問題,仍然獲得了成功,那是因為很多數據管家執行的活動和任務在聚焦元數據和元數據的管理流程。

⑧ 添加元數據後,資產會變得

您是想問添加元數據後,資產會有什麼變化是嗎?添加元數據後,資產會變得更加清晰好管理。元數據有利於企業盤點的企業的數據資產,以及進行數據之間的關聯關系分析。元數據管理可藉助管理工具使管理工作變得相對快速和簡單一些,如元數據的採集、元數據存儲、數據血統、數據地圖、元數據整合等都可以通過元數據工具來實現。

⑨ 元數據管理及其作用是什麼

元數據管理是一個根據使用這些資產的方式來管理組織的數據資產的流程。利用可視化的用戶體驗,實現包括元模型添加、刪除、修改、發布等維護功能;並且能讓用戶直觀地了解已有元模型的分類、統計、使用情況、變更追溯,以及每個元模型的生命周期管理等等

閱讀全文

與如何利用元數據管理資產相關的資料

熱點內容
如何跟蹤小程序交互代碼 瀏覽:240
我想買個小程序在哪裡找 瀏覽:612
日照運營商大數據多少錢一條 瀏覽:80
電子表格如何設置數據下拉排序 瀏覽:610
春雪食品有什麼產品 瀏覽:229
車險怎麼代理保險 瀏覽:623
怎麼看狗幣交易了多少 瀏覽:246
微信上小程序怎麼綁定手機號 瀏覽:193
為什麼數據網路延遲一直100 瀏覽:989
喜雲怎麼添加自己的產品 瀏覽:368
車易升obd怎麼看數據 瀏覽:483
WEB應用程序設計專業學什麼 瀏覽:177
旅遊卡代理費用多少 瀏覽:191
網上怎麼代理五穀磨房 瀏覽:534
杭州職業技術學院附近哪裡住宿好 瀏覽:648
地平線3怎麼終結連續技術 瀏覽:705
如何免費試用電子產品 瀏覽:996
為什麼程序下載總是失敗 瀏覽:241
刷票小程序哪個好用 瀏覽:383
蘋果手機如何刪除定位信息 瀏覽:953