數據治理體系框架有哪些

『壹』 數據治理包括哪些方面

從技術實施角度看，數據治理包含「理」「采」「存」「管」「用」這五個步驟，即業務和數據資源梳理、數據採集清洗、資料庫設計和存儲、數據管理、數據使用。

數據資源梳理：數據治理的第一個步驟是從業務的視角釐清組織的數據資源環境和數據資源清單，包含組織機構、業務事項、信息系統，以及以資料庫、網頁、文件和 API 介面形式存在的數據項資源，本步驟的輸出物為分門別類的數據資源清單。

數據採集清洗：通過可視化的 ETL 工具（例如阿里的 DataX，Pentaho Data Integration）將數據從來源端經過抽取 (extract)、轉換 (transform)、載入 (load) 至目的端的過程，目的是將散落和零亂的數據集中存儲起來。

基礎庫主題庫建設：一般情況下，可以將數據分為基礎數據、業務主題數據和分析數據。基礎數據一般指的是核心實體數據，或稱主數據，例如智慧城市中的人口、法人、地理信息、信用、電子證照等數據。主題數據一般指的是某個業務主題數據，例如市場監督管理局的食品監管、質量監督檢查、企業綜合監管等數據。而分析數據指的是基於業務主題數據綜合分析而得的分析結果數據，例如市場監督管理局的企業綜合評價、產業區域分布、高危企業分布等。那麼基礎庫和主題庫的建設就是在對業務理解的基礎上，基於易存儲、易管理、易使用的原則抽像數據存儲結構，說白了，就是基於一定的原則設計資料庫表結構，然後再根據數據資源清單設計數據採集清洗流程，將整潔干凈的數據存儲到資料庫或數據倉庫中。

元數據管理：元數據管理是對基礎庫和主題庫中的數據項屬性的管理，同時，將數據項的業務含義與數據項進行了關聯，便於業務人員也能夠理解資料庫中的數據欄位含義，並且，元數據是後面提到的自動化數據共享、數據交換和商業智能（BI）的基礎。需要注意的是，元數據管理一般是對基礎庫和主題庫中（即核心數據資產）的數據項屬性的管理，而數據資源清單是對各類數據來源的數據項的管理。

血緣追蹤：數據被業務場景使用時，發現數據錯誤，數據治理團隊需要快速定位數據來源，修復數據錯誤。那麼數據治理團隊需要知道業務團隊的數據來自於哪個核心庫，核心庫的數據又來自於哪個數據源頭。我們的實踐是在元數據和數據資源清單之間建立關聯關系，且業務團隊使用的數據項由元數據組合配置而來，這樣，就建立了數據使用場景與數據源頭之間的血緣關系。 數據資源目錄：數據資源目錄一般應用於數據共享的場景，例如政府部門之間的數據共享，數據資源目錄是基於業務場景和行業規范而創建，同時依託於元數據和基礎庫主題而實現自動化的數據申請和使用。

質量管理：數據價值的成功發掘必須依託於高質量的數據，唯有準確、完整、一致的數據才有使用價值。因此，需要從多維度來分析數據的質量，例如：偏移量、非空檢查、值域檢查、規范性檢查、重復性檢查、關聯關系檢查、離群值檢查、波動檢查等等。需要注意的是，優秀的數據質量模型的設計必須依賴於對業務的深刻理解，在技術上也推薦使用大數據相關技術來保障檢測性能和降低對業務系統的性能影響，例如 Hadoop，MapRece，HBase 等。

商業智能（BI）：數據治理的目的是使用，對於一個大型的數據倉庫來說，數據使用的場景和需求是多變的，那麼可以使用 BI 類的產品快速獲取需要的數據，並分析形成報表，像派可數據就屬於專業的BI廠商。

數據共享交換：數據共享包括組織內部和組織之間的數據共享，共享方式也分為庫表、文件和 API 介面三種共享方式，庫表共享比較直接粗暴，文件共享方式通過 ETL 工具做一個反向的數據交換也就可以實現。我們比較推薦的是 API 介面共享方式，在這種方式下，能夠讓中心數據倉庫保留數據所有權，把數據使用權通過 API 介面的形式進行了轉移。API 介面共享可以使用 API 網關實現，常見的功能是自動化的介面生成、申請審核、限流、限並發、多用戶隔離、調用統計、調用審計、黑白名單、調用監控、質量監控等等。

『貳』 大數據處理框架有哪些

1、批處理

批處理是大數據處理傍邊的遍及需求，批處理主要操作大容量靜態數據集，並在核算進程完成後返回成果。鑒於這樣的處理模式，批處理有個明顯的缺點，便是面對大規模的數據，在核算處理的功率上，不盡如人意。

現在來說，批處理在應對很多持久數據方面的體現極為出色，因而經常被用於對歷史數據進行剖析。

2、流處理

批處理之後呈現的另一種遍及需求，便是流處理，針對實時進入體系的數據進行核算操作，處理成果馬上可用，並會跟著新數據的抵達繼續更新。

在實時性上，流處理體現優異，但是流處理同一時間只能處理一條(真正的流處理)或很少數(微批處理，Micro-batch Processing)數據，不同記錄間只維持最少數的狀況，對硬體的要求也要更高。

3、批處理+流處理

在實踐的使用傍邊，批處理和流處理一起存在的場景也很多，混合處理框架就旨在處理這類問題。供給一種數據處理的通用處理方案，不僅可以供給處理數據所需的辦法，一起供給自己的集成項、庫、東西，可滿足圖形剖析、機器學習、互動式查詢等多種場景。

『叄』 數據治理的定義和架構

      數據治理的定義

     數據治理(DataGovernance)，是企業數據治理部門發起並推行的，關於如何制定和實施針對整個企業內部數據的商業應用和技術管理的一系列政策和流程。

        數據治理涉及的IT技術主題包括元數據管理、主數據管理、數據質量、數據集成、監控與報告等。

        數據治理的技術組成  

       數據治理涉及的技術主題包括元數據、數據標准、數據質量、數據集成、主數據、數據資產、數據交換、生命周期、數據安全多產品組成的一整套解決方案。

       所有與數據有關的技術產出物全部通過知識庫實現相互之間共享，知識庫作為數據治理的後台通道，傳輸不同平台、環境、技術、工具所提交和需要的元數據信息。        

       數據治理是專注於將數據作為企業的商業資產進行應用和管理的一套管理機制，能夠消除數據的不一致性，建立規范的數據應用標准，提高組織的數據質量，實現數據廣泛共享，並能夠將數據作為組織的寶貴資產應用於業務、管理、戰略決策中，發揮數據資產的商業價值。

        如下以某公司數據治理架構為例：

       該數據治理平台融合元數據、數據標准、數據質量、數據集成、主數據、數據資產、數據交換、生命周期、數據安全9大產品，每個模塊功能可互相調用，全程可視化操作，打通數據治理各個環節，同時提供各個產品模塊任意組合。

       元數據：採集匯總企業系統數據屬性的信息，幫助各行各業用戶獲得更好的數據洞察力，通過元數據之間的關系和影響挖掘隱藏在資源中的價值。

        數據標准：對分散在各系統中的數據提供一套統一的數據命名、數據定義、數據類型、賦值規則等的定義基準，並通過標准評估確保數據在復雜數據環境中維持企業數據模型的一致性、規范性，從源頭確保數據的正確性及質量，並可以提升開發和數據管理的一貫性和效率性。

        數據質量：有效識別各類數據質量問題，建立數據監管，形成數據質量管理體系，監控並揭示數據質量問題，提供問題明細查詢和質量改進建議，全面提升數據的完整性、准確性、及時性，一致性以及合法性，降低數據管理成本，減少因數據不可靠導致的決策偏差和損失。

        數據集成：可對數據進行清洗、轉換、整合、模型管理等處理工作。既可以用於問題數據的修正，也可以用於為數據應用提供可靠的數據模型。

        主數據：幫助企業創建並維護內部共享數據的單一視圖，從而提高數據質量，統一商業實體定義，簡化改進商業流程並提高業務的響應速度。

        數據資產：匯集企業所有能夠產生價值的數據資源，為用戶提供資產視圖，快速了解企業資產，發現不良資產，為管理員提供決策依據，提升數據資產的價值。

        數據交換：用於實現不同機構不同系統之間進行數據或者文件的傳輸和共享，提高信息資源的利用率，保證了分布在異構系統之間的信息的互聯互通，完成數據的收集、集中、處理、分發、載入、傳輸，構造統一的數據及文件的傳輸交換。

        生命周期：管理數據生老病死，建立數據自動歸檔和銷毀，全面監控展現數據的生命過程。

        數據安全：提供數據加密、脫敏、模糊化處理、賬號監控等各種數據安全策略，確保數據在使用過程中有恰當的認證、授權、訪問和審計等措施。

綜上所述，數據治理系統的核心組成在: 元數據管理系統 數據標准 數據質量 數據交互傳輸 數據安全 數據生命周期等   ----不要懷疑---大神告訴你！

『肆』 數據治理十步法

以下文章來源於談數據 ，作者石秀峰

1、找症狀，明確目標

任何企業實施數據治理都不是為了治理數據而治理數據，其背後都是管理和業務目標的驅動。企業中普遍存在的數據質量問題有：數據不一致、數據重復、數據不準確、數據不完整、數據關系混亂、數據不及時等。

由於這些數據問題的存在對業務的開展和業務部門之間的溝通造成了較大的困擾，產生了很大的成本；各異構的系統中數據不一致，導致業務系統之間的應用集成無法開展；數據質量差無法支撐數據分析，分析結果與實際偏差較大。然而要實現數據驅動管理、數據驅動業務的目標，沒有高質量的數據支撐是行不通的。

目標：企業實施數據治理的第一步，就是要明確數據治理的目標，理清數據治理的關鍵點。

技術工具：實地調研、高層訪談、組織架構圖。

輸入：企業數據戰略規劃，亟待解決的業務問題，經營發展需求，業務需求等；

輸出：數據治理的初步溝通方案，項目任務書，工作計劃表；

2、理數據，現狀分析

針對企業數據治理所處的內外部環境，從組織、人員、流程、數據四個方面入手，進行數據治理現狀的分析。

某企業數據治理痛點分析

組織方面：是否有專業的數據治理組織，是否明確崗位職責和分工。

人員方面：數據人才的資源配置情況，包括數據標准化人員、數據建模人員，數據分析人員，數據開發人員等，以及數據人才的佔比情況。

流程方面：數據管理的現狀，是否有歸口管理部門，是否有數據管理的流程、流程各環節的數據控制情況等；

數據方面：梳理數據質量問題列表，例如：數據不一致問題，數據不完整，數據不準確、數據不真實、數據不及時、數據關系混亂，以及數據的隱私與安全問題等。

目標：分析企業數據管理和數據質量的現狀，確定初步數據治理成熟度評估方案。

技術工具：實地訪談、調研表、數據質量問題評議表、關鍵數據識別方法論（例如：主數據特徵識別法）；

輸入：需求及現狀調研表、訪談記錄、數據樣本、數據架構、數據管理制度和流程文件；

輸出：數據問題列表、數據U/C矩陣、數據治理現狀分析報告、數據治理評估方案；

3、數據治理成熟度評估

數據治理成熟度反映了組織進行數據治理所具備的條件和水平，包括元數據管理、數據質量管理、業務流程整合、主數據管理和信息生命周期管理。

CMMI DMM數據管理能力成熟度評估模型

數據治理成熟度評估是利用標準的成熟度評估工具結合行業最佳實踐，針對企業的數據治理現狀進行的客觀評價和打分，找到企業數據治理的短板，以便制定切實可行的行動方案。數據治理成熟度結束後形成初步的行動方案，一般包括數據治理戰略，數據治理指標，數據治理規則，數據治理權責。數據治理願景和使命是數據治理的整體目標；數據治理指標定義了數據治理目標的衡量方法；數據治理規則和定義包括與數據相關的政策、標准、合規要求、業務規則和數據定義等；權利和職責規定了由誰來負責制訂數據相關的決策、何時實施、如何實施，以及組織和個人在數據治理策略中該做什麼。

目標：結合業界標準的數據治理成熟度模型，根據企業管理和業務需求進行數據治理成熟的評估，形成初步的數據治理策略和行動路線。

技術工具：數據治理評估模型，例如：DCMM，CMMI DMM，IBM數據治理成熟度評估模型等；

輸入：第2步的輸入以及數據治理評估模型、數據治理評估工具（評估指標、打分表等）；

輸出：數據治理評估結果，數據治理策略，初步的行動方案；

4、數據質量問題根因分析

數據治理的目的是解決數據質量問題提升數據質量，從而為數據驅動的數字化企業提供源動力，而提到數據質量問題，做過BI、數倉的同學一定知道，這是一個技術和業務「經常打架」相互推諉的問題。

某企業數據問題根因分析魚骨圖

產生數據質量問題的原因有很多，有業務方面的、有管理方面的、也有技術方面的，按照80/20法則，80%的問題是由20%的原因造成起的。所以，如果能夠解決這20%的問題，就能得到80%的改進。

目標：分析並找到數據質量問題產生的根本原因，制定行之有效的解決方案；

技術工具：頭腦風暴、5W1H、SWOT、因果（魚刺）圖、帕拉圖等；

輸入：數據問題列表、數據U/C矩陣、數據治理現狀分析報告、數據治理評估結果；

輸出：數據質量評估結果、對業務的潛在影響和根本原因。

5、業務影響及實施優先順序評估

通過數據治理成熟度評估，從組織、流程、制度、人員、技術等方面找到企業在數據治理的待提升的領域和環節，再通過數據質量根因分析找到數據質量問題發生的根本原因，進一步明確了數據治理的目標和內容。再接下來，就需要確定數據治理策略，定義數據治理的實施優先順序。

某企業主數據治理實施優先順序評估

不同的數據治理領域解決的是不同的問題，而數據治理的每個領域都有它的實施難點，對企業來說，需要從業務的影響程度，問題的緊急程度、實施的難易程度等多個維度進行分析和權衡，從而找到符合企業需求並滿足企業發展的方案。

目標：確定數據治理核心領域和支撐體系的建設/實施優先順序；

技術工具：四象限法則（分別從業務影響程度/實施難以程度，問題重要程度/問題緊急程度繪制優先順序矩陣）、KANO模型

輸入：數據治理成熟度能力評估結果、數據質量問題根因分析結果；

輸出：數據治理實施優先順序策略

6、制定數據治理行動路線和計劃

路線圖是使用特定技術方案幫助達到短期或者長期目標的計劃，用於新產品、項目或技術領域的開發，是指應用簡潔的圖形、表格、文字等形式描述技術變化的步驟或技術相關環節之間的邏輯關系。路線圖是一種目標計劃，就是把未來計劃要做的事列出來，直至達到某一個目標，就好像沿著地圖路線一步一步找到終點一樣，故稱路線圖。

某企業數據治理實施路線圖

企業數據治理的實施路線圖的制定是以企業數據戰略——願景和使命為綱領，以急用優先為原則，以分步實施為策略進行了整體設計和規劃。實施路線圖主要包含的內容：分幾個階段實施，每個階段的目標、工作內容、時間節點要求、環境條件等。筆者觀點：任何一個企業的數據治理都不是一蹴而就，一步到位的，需要循序漸進、持續優化！實施路線圖就是基於此產生的，因此說數據治理實施路線圖也是說服利益相關者支持的一個重要手段。

目標：確定數據治理的階段以及每個階段的目標；

技術工具：路線圖法

輸入：數據治理成熟度能力評估結果、業務影響及實施優先順序評估結果；

輸出：數據治理實施路線圖或稱階段目標計劃

7、制定數據治理詳細實施方案

數據治理詳細實施方案是用於指導主數據的各項實施工作，一般包括：數據治理核心領域、數據治理支撐體系、數據治理項目管理三個方面。

數據治理總體框架圖

數據治理核心領域包括：數據架構、數據服務、元數據管理、數據質量管理、數據標准管理、主數據管理、數據安全管理、數據生命周期管理。

數據治理支撐體系包括：組織（組織架構、組織層次、崗位職責）、制度（管控模式、規章制度、考核機制）、流程（歸口部門、管理流程、流程任務等）、技術（數據集成、數據清洗、數據開發、數據應用、數據運營、支撐平台、實施方案等）。

數據治理項目管理方案包括：項目組隊、項目計劃、質量保證計劃、配置管理計劃、培訓和售後等。

關於數據治理的核心領域，詳見筆者之前分享的數據治理框架解讀系列文章。

關於數據治理的支撐體系，詳見筆者之前分享的數據治理成功關鍵要素系列文章。

目標：基於數據質量根因分析、業務影響和實施優先順序評估結果，制定詳細實施方案；

輸入：業務影響及實施優先順序評估結果，行動路線和計劃；

輸出：數據治理詳細實施方案。

8、數據治理實施過程式控制制

數據治理實施過程式控制制是對數據治理項目的范圍控制、進度控制、質量控制和成本控制，通過對企業的各項資源的合理協調與利用，而達成的數據治理目標的各種措施。從項目管理的角度來講也是項目管理的黃金三角：范圍、時間、質量、成本。

任何項目的質量和進度是需要良好的項目管理來保證的，數據治理也一樣。與傳統的軟體工程項目不同，數據治理項目有著范圍邊界模糊、影響范圍廣、短期難見效、實施周期長等特點：

①范圍邊界模糊，數據治理涉及到的關鍵領域如元數據管理、數據質量管理、數據標准管理、主數據管理等很多是存在交叉的，邊界很難界定，例如：實施數據質量管理項目，會涉及元數據管理、數據標准管理等，同樣一個元數據管理項目也會涉及數據標准和數據質量。

②影響范圍廣，數據治理的實施不是一個部門能夠完成的，是需要從高級管理層、到各業務部門、信息部門通力協作，共同完成的；

③短期難見效，數據治理項目實施完成後，其數據治理的效果被每個業務點滴操作所「稀釋」，並不像其他項目，例如BI，那樣明顯的體現出來，所以主導數據治理的部門會經常遭到質疑。

④實施周期長，在沒有清晰的數據治理目標和范圍約定的情況下，數據治理是一個「無底洞」。所以，在實施數據治理項目之前制定好實施路線圖和詳細的實施方案就顯得格外重要（第6、7步）。

目標：通過對數據治理項目實施過程的進度控制、質量控制和成本控制以實現數據治理的目標；

技術工具：PP（項目計劃）、PMC（項目控制）、IPM（集成項目管理）、RSKM（風險管理）——CMMI過程域；

輸入：6-7步的輸出：數據治理實施路線圖，數據治理詳細實施方案；

輸出：各項項目控制措施，例如：項目計劃、SOW、項目風險列表、項目報告、項目總結等；

9、監控評估數據治理實施效果

隨著大數據技術的不斷發展，應當從企業的全局數據治理環境的角度，明確數據治理關鍵技術運用及其標准規范，構建成效評估指標體系，進行治理效果評價；並運用數據治理能力成熟度模型再次評估，界定數據管理層次，從而使得跨系統、跨業務、跨部門的數據治理體系的建設與實施能夠通過各方協作順利進行，實現卓越數據治理，進而通過數據驅動業務、數據驅動管理和運營以實現企業的降本、增效、提質、創新。

某企業數據治理看板（數據已脫敏）

數據治理成效評估指標體系應根據企業及數據治理項目的實際情況制定，一般包括：時間性、數量性、完整性、准確性四個維度。

①時間性即數據的及時性。該維度主要通過源業務系統數據接入的上報及時性、接入及時性等方面進行核對。通過分析月指標、周指標、日指標的數據及時率，得出在規定時間和頻度周期內接入系統的比例，以此反映數據接入及時性。

②數量性。該維度是從數據存量，數據增量，數據訪問量，數據交換量、數據使用量等指標反映數據的使用情況，可以分為月度指標、周指標、日指標、時分指標等。

③准確性。這個維度主要由各類數據中邏輯的准確性、數據值的准確性、數據頻段和欄位之間的准確性以及數據的精度等內容組成。該准確率同樣包括：月度、每周、每日等准確率指標。 

④完整性。此維度主要以單元維度完整性、數據業務維度組合完整性、索引值完整性等不同方面進行核對，是驗證數據質量完整性的主要組成部分，包括月度指標、周指標、日指標數據的完整性等內容。 

目標：檢驗各項數據治理指標的落實情況，查漏補缺，夯實數據治理效果；

技術工具：數據治理效果的評價指標體系、各種數據圖表工具；

輸入：數據治理效果評估指標；

輸出：數據治理評估的月報、周報、日報等；

10、數據治理持續改進

數據治理模式應業務化、常態化，不應是一個項目、「一陣風」的模式。

圖片源自互聯網

數據治理工作應向企業生產、銷售業務一樣作為一項重點的業務工作來開展，構建專業的數據治理組織，設置合適的崗位權責，建立相應的管理流程和制度，讓數據標准貫徹到每個業務環節，形成一種常態的工作。在筆者看來，在數據源頭加強企業數據的治理，讓常態化治理成為日常業務，才能從根本上徹底解決企業數據質量的各種問題，讓數據真正轉化為企業資產，以實現數據驅動流程優化、數據驅動業務創新、數據驅動管理決策的目標。

目標：數據治理常態化，持續提升數據質量，驅動流程優化和管理創新。

輸入：持續的、規范的、標準的各項業務操作；數據治理監控的各項指標和報告；

輸出：持續輸出的高質量的數據；

博主觀點：原理大家都懂，實踐時困難重重。在專家的指導下，應用適當的工具可讓理論轉化為現實。華矩科技，專業的數據治理服務與技術提供商。