A. 什麼是數據治理
數據治理是指從使用零散數據變為使用統一主數據、從具有很少或沒有組織和流程治理到企業范圍內的綜合數據治理、從嘗試處理主數據混亂狀況到主數據井井有條的一個過程。
數據治理的全過程
數據治理其實是一種體系,是一個關注於信息系統執行層面的體系,這一體系的目的是整合IT與業務部門的知識和意見,通過一個類似於監督委員會或項目小組的虛擬組織對企業的信息化建設進行全方位的監管,這一組織的基礎是企業高層的授權和業務部門與IT部門的建設性合作。從范圍來講,數據治理涵蓋了從前端事務處理系統、後端業務資料庫到終端的數據分析,從源頭到終端再回到源頭形成一個閉環負反饋系統(控制理論中趨穩的系統)。從目的來講,數據治理就是要對數據的獲取、處理、使用進行監管(監管就是我們在執行層面對信息系統的負反饋),而監管的職能主要通過以下五個方面的執行力來保證——發現、監督、控制、溝通、整合
B. 數據治理的概念、難點和最佳實踐方法
從信息化到數字化,我們見證了互聯網對社會和個人的深刻影響。隨著新技術、新理念的不斷推出,數字化轉型則在這兩年強勢興起,逐漸改變著企業和市場的格局。而數據正驅動業務轉型、組織變革。企業由信息化向數字化轉型,是順應大勢,順勢而為才能借東風之勢。
數字化轉型的目的和核心是數據賦能業務,通過智能數據歸一、數據統一治理與服務、數據實體化融合、數據資產化的方式,幫助實現業務轉型、創新和增長。而我們的基石就是高質量數據。
一、數據治理的概念是什麼?
數據治理(Data Governance)是組織中涉及數據使用的一整套管理行為。由企業數據治理部門發起並推行,關於如何制定和實施針對整個企業內部數據的商業應用和技術管理的一系列政策和流程。
國際數據管理協會給出的定義:數據治理是對數據資產管理行使權力和控制的活動集合。
用3W來解釋:
WHO:面向董事會治理層、高管層的標准、任何類型的組織
WHAT:通過一系列原則,指導當前和將來使用的創建、收集、存儲、分發、共享的數據,並依賴數據決策,影響相關管理過程。發揮數據價值、減少數據風險
WHY:良好的數據治理有助於領導層確保數據在整個組織通過以下方面對組織的績效作出積極的貢獻
二、數據治理能解決什麼問題?
政府、企業想要釋放數據的強大力量,必須提供准確、可靠、及時的數據。睿治幫助政府和企業有效管理數據,以避免因數據價值得不到很好體現而對政府和企業造成負面影響,進而幫助企業提高競爭力,為政府和企業提供更優質、更及時、更完整的數據,讓其在政務管理和經營市場中脫穎而出。
制定統一標准:幫助政府和企業建設數據標准,制定統一標准
挖掘數據價值:幫助企業和政府梳理資源,形成數據資產,豐富分析應用全面掌控數據來龍去脈,以獲得更多的數據洞察力,進而挖掘出隱藏在資源中的價值。
控數據質量:幫助企業和政府建立數據質量管理體系,對數據質量實時監控,及時整改,全面提升政府和企業數據的完整性、准確性、及時性,減少因數據不可靠導致的決策偏差攻損失。
提升信息服務水準:幫助政府和企業制定相關流程、政策、標准,保證信息的可用性、可獲取性、優質性、一致性以及安全性,提升信息服務水準。
降低數據安全風險:提升政府和企業數據資產安全性,並幫助建立相關安全規范和響應機制,全面保障其數據安全
數據治理最佳實踐路徑。
三、數據治理的實踐方法
數據治理是一個長期的過程,涉及到企業中所有跨功能和跨業務的決策機制。業界也有這么一個說法:數據治理即是管理問題,也是技術問題。
在管理角度,數據治理是一個至上而下的過程,需要企業高層從全局角度出發制定戰略規劃,規范數據從業務輸入到戰略管理過程的全流程治理;
在技術落地層面,需要自下向上推進,從實際內容來看,數據治理是一套工具集。目前業界還缺乏通用、有效的數據融合治理與數據質量管理的工具。
俗話說,工欲善其事,必先利其器。億信華辰基於以上視角,結合十幾年大數據技術經驗,打造了智能數據治理平台——睿治,去幫助企業規范的定義與加工數據、清晰的管理數據、安全的應用數據。
睿治數據治理平台是一套完善、通用的的數據治理工具,融合數據集成、數據交換、實時計算存儲、元數據管理、數據標准管理、數據質量管理、主數據管理、數據資產管理、數據安全管理、數據生命周期管理十大產品模塊,可幫助企業實現數據的融合治理與數據質量管理。
睿治平台十大功能模塊可基於政企用戶不盡相同的發展現狀,選擇性組合使用,快速匹配數據治理的各類場景應用,突破數據治理的技術基礎門檻。
C. 數據治理的定義,有誰知道
數據治理就是在明確責任的前提下,發揮數據的有效性和提升業務價值而採用的一系列業務、技術和管理相結合的活動。
D. 數據治理的定義和架構
數據治理的定義
數據治理(DataGovernance),是企業數據治理部門發起並推行的,關於如何制定和實施針對整個企業內部數據的商業應用和技術管理的一系列政策和流程。
數據治理涉及的IT技術主題包括元數據管理、主數據管理、數據質量、數據集成、監控與報告等。
數據治理的技術組成
數據治理涉及的技術主題包括元數據、數據標准、數據質量、數據集成、主數據、數據資產、數據交換、生命周期、數據安全多產品組成的一整套解決方案。
所有與數據有關的技術產出物全部通過知識庫實現相互之間共享,知識庫作為數據治理的後台通道,傳輸不同平台、環境、技術、工具所提交和需要的元數據信息。
數據治理是專注於將數據作為企業的商業資產進行應用和管理的一套管理機制,能夠消除數據的不一致性,建立規范的數據應用標准,提高組織的數據質量,實現數據廣泛共享,並能夠將數據作為組織的寶貴資產應用於業務、管理、戰略決策中,發揮數據資產的商業價值。
如下以某公司數據治理架構為例:
該數據治理平台融合元數據、數據標准、數據質量、數據集成、主數據、數據資產、數據交換、生命周期、數據安全9大產品,每個模塊功能可互相調用,全程可視化操作,打通數據治理各個環節,同時提供各個產品模塊任意組合。
元數據:採集匯總企業系統數據屬性的信息,幫助各行各業用戶獲得更好的數據洞察力,通過元數據之間的關系和影響挖掘隱藏在資源中的價值。
數據標准:對分散在各系統中的數據提供一套統一的數據命名、數據定義、數據類型、賦值規則等的定義基準,並通過標准評估確保數據在復雜數據環境中維持企業數據模型的一致性、規范性,從源頭確保數據的正確性及質量,並可以提升開發和數據管理的一貫性和效率性。
數據質量:有效識別各類數據質量問題,建立數據監管,形成數據質量管理體系,監控並揭示數據質量問題,提供問題明細查詢和質量改進建議,全面提升數據的完整性、准確性、及時性,一致性以及合法性,降低數據管理成本,減少因數據不可靠導致的決策偏差和損失。
數據集成:可對數據進行清洗、轉換、整合、模型管理等處理工作。既可以用於問題數據的修正,也可以用於為數據應用提供可靠的數據模型。
主數據:幫助企業創建並維護內部共享數據的單一視圖,從而提高數據質量,統一商業實體定義,簡化改進商業流程並提高業務的響應速度。
數據資產:匯集企業所有能夠產生價值的數據資源,為用戶提供資產視圖,快速了解企業資產,發現不良資產,為管理員提供決策依據,提升數據資產的價值。
數據交換:用於實現不同機構不同系統之間進行數據或者文件的傳輸和共享,提高信息資源的利用率,保證了分布在異構系統之間的信息的互聯互通,完成數據的收集、集中、處理、分發、載入、傳輸,構造統一的數據及文件的傳輸交換。
生命周期:管理數據生老病死,建立數據自動歸檔和銷毀,全面監控展現數據的生命過程。
數據安全:提供數據加密、脫敏、模糊化處理、賬號監控等各種數據安全策略,確保數據在使用過程中有恰當的認證、授權、訪問和審計等措施。
綜上所述,數據治理系統的核心組成在: 元數據管理系統 數據標准 數據質量 數據交互傳輸 數據安全 數據生命周期等 ----不要懷疑---大神告訴你!
E. 什麼是數據治理
數據治理是流程、角色、政策、標准和指標的集合,可確保有效和高效地使用信息,使企業能夠實現其目標。它建立了流程和職責,以確保整個企業或企業中使用的數據質量和安全性。數據治理定義了誰可以對什麼數據、在什麼情況下、使用什麼方法採取什麼行動。
F. 大數據治理的序言
在不到兩年時間中,大數據迅速成為熱門詞,但對其的解讀,卻見仁見智。數據科學家醉心於前沿的數據技術開發,經濟學家關注大數據的產業價值,企業家期盼大數據的陽光照進日常的經營現實,法學家強調隱私保護…… 欣慰的是,擁抱大數據成為各方的共識,且思且行的大數據「淘金」之旅,已然啟動。大數據的「淘金」之旅,需要腳踏實地的努力。大數據治理是連接大數據科學和應用的橋梁,若要到達風光無限的大數據彼岸,大數據治理一定是「必修課」之一。要實現大數據的變現,就離不開科學的大數據治理,離不開與時俱進的管理革新。因此,桑尼爾的《大數據治理》一書,可謂應運而生。中國聯通研究院的匡斌先生將該書翻譯成中文,相信對中國讀者會有所助益。 大數據治理是傳統信息治理的延續和擴展。它不可能與傳統的信息治理切割,延續性既是保護歷史投資的需要,也體現了信息治理准則的一脈相承。 不同類型數據的整合,結構化數據與非結構化數據、准結構化數據的整合,主數據與社交媒體等其他類型數據的整合,不同部門乃至不同行業數據的整合,都需要大量細致的工作。大數據治理涉及人員、流程和軟體,大數據需要去偽存真,需要刪繁就簡,需要化大為小。凡此種種,不勝枚舉。 大數據治理的約束條件構成一個三層結構的金字塔,最底層無疑是特定的文化背景和規制環境。根深蒂固的隱私文化,動態演進的隱私規制,是發掘大數據價值面臨的最大挑戰。第二層則是技術。大數據技術是治理大數據的基礎,前向兼容、後向擴展、簡便易用的大數據平台和解決方案,自然語言處理、人臉識別等非結構化數據處理等技術,形成「物」的制約。第三層則是人的因素。大數據治理呼喚大批熟稔大數據技術的人才,也需要更多的大數據管理者和應用開發者,他們可以得心應手甚至出神入化地將技術、行業、流程、功能等進行整合。 說到底,大數據治理的核心是人。人既是大數據價值的追求者,又是大數據隱私的主體和捍衛者。就這個意義而言,人的因素是大數據治理的最大制約。人類歷史上每一個技術發明與創造,均有「善」與「惡」兩面,文明的進步就是發揮技術「善」的一面,治理控制「惡」的一面。 《大數據治理》一書以實用性為導向,通過教科書式的體例安排,對大數據治理進行了全方位的解構,並將大數據治理規程化。對於尚處於大數據戰略起飛階段的組織,本書是一本很好的大數據治理參考藍本。作者舉重若輕,以樸素無華的語言,微言大義的案例,為致力於大數據治理的實操者,奉獻了一本有價值的通俗讀物。 縱觀當今的大數據技術、平台和解決方案,海外廠商仍占據了絕對主流地位。有關大數據的研究和著述,同樣如此。現階段,「拿來主義」尤有必要。從大數據的體量看,中國在大數據領域的潛在地位,無異於中東地區在石油業的地位。相信在不遠的將來,在大數據領域,中國將異軍突起。 大數據的思想啟蒙運動正在進行。從大數據治理起步,不斷探索這個領域的產權、法律和交易等問題,才能成為進入大數據世界的先行者。 寬頻資本董事長 田溯寧 2014年1月10日
G. 數據治理的何時開始主動數據治理
一些情況要求立即開始主動數據治理,例如當您獲得多個 CRM 系統和 ERP 系統,它們要求與多領域 MDM 系統集成,以便讓它們繼續充當錄入系統,或當您的當前源系統非常脆弱或很難維護或修改。
在這些情況下,要忍受困難並從一開始便為主動數據治理作出計劃。一些組織擁有成千上萬個直接在 MDM 系統中授權主數據的最終用戶,並且有一個數據管理員團隊支持他們、發現異常、解決低質量匹配、在需要時手動合並重復記錄等等。另一種應用情況是當您發現自己最終會選擇主動數據治理方法 — 何必再為建立源系統到多領域 MDM 系統的雙向集成而爭論?您或許不妨直接授權最終用戶來編寫主數據。
H. 一文讓你分清數據管理與數據治理
一文讓你分清數據管理與數據治理
當我們談數據資產管理時,我們究竟在談什麼?就目前而言,我們談論得最多的非數據管理和數據治理這兩個概念莫屬。但是對於這兩個概念,兩者的准確定義是什麼,具體區別又是什麼,仍是困擾著許多人的關鍵問題。
數據管理和數據治理有很多地方是互相重疊的,它們都圍繞數據這個領域展開,因此這兩個術語經常被混為一談。
此外,每當人們提起數據管理和數據治理的時候,還有一對類似的術語叫信息管理和信息治理,更混淆了人們對它們的理解。關於企業信息管理這個課題,還有許多相關的子集,包括主數據管理、元數據管理、數據生命周期管理等等。
於是,出現了許多不同的理論(或理論家)描述關於在企業中數據/信息的管理以及治理如何運作:它們如何單獨運作?它們又如何一起協同工作?是「自下而上」還是「自上而下」的方法更高效?
為了幫助大家弄明白這些術語以及它們之間的關系,本文將著重定義它們的概念,並指出它們的區別,這些定義和區別源自於國際公認的以數據為中心的相關組織,同時還會在一些觀點上展開詳細的探討。
數據管理包含數據治理
在說明數據和信息的區別之前,最好從「治理是整體數據管理的一部分」這個概念開始,這個概念目前已經得到了業界的廣泛認同。數據管理包含多個不同的領域,其中一個最顯著的領域就是數據治理。CMMi協會頒布的數據管理成熟度模型(DMM)使這個概念具體化。DMM模型中包括六個有效數據管理分類,而其中一個就是數據治理。數據管理協會(DAMA)在數據管理知識體系(DMBOK)中也認為,數據治理是數據管理的一部分。在企業信息管理(EIM)這個定義上,Gartner認為EIM是「在組織和技術的邊界上結構化、描述、治理信息資產的一個綜合學科」。Gartner這個定義不僅強調了數據/信息管理和治理上的緊密關系,也重申了數據管理包含治理這個觀點。
治理與管理的區別
在明確數據治理是數據管理的一部分之後,下一個問題就是定義數據管理。治理相對容易界定,它是用來明確相關角色、工作責任和工作流程的,確保數據資產能長期有序地、可持續地得到管理。而數據管理則是一個更為廣泛的定義,它與任何時間採集和應用數據的可重復流程的方方面面都緊密相關。例如,簡單地建立和規劃一個數據倉庫,這是數據管理層面的工作。定義誰以及如何訪問這個數據倉庫,並且實施各種各樣針對元數據和資源庫管理工作的標准,這是治理層面的工作。數據管理更廣泛的定義包含DATAVERSITY上大部分主題為數據管理的文章和博客,其中有一部分是特別針對數據治理的。一個更廣泛的定義是,在數據管理過程中要保證一個組織已經將數據轉換成有用信息,這項工作所需要的流程和工具就是數據治理的工作。
信息與數據的區別
在上文關於數據管理的第三個定義中,提到了數據和信息的區別。所有的信息都是數據,但並不是所有的數據都是信息。信息是那些容易應用於業務流程並產生特定價值的數據。要成為信息,數據通常必須經歷一個嚴格的治理流程,它使有用的數據從無用數據中分離出來,以及採取若干關鍵措施增加有用數據的可信度,並將有用數據作為信息使用。數據的特殊點在於創造和使用信息。在Gartner的術語表中,沒有單獨解釋數據管理和數據治理的概念,取與代之的是重點介紹了信息治理和信息管理的概念。
數據治理主要圍繞對象:角色
與正式的數據治理流程相關的角色是有限的。這些角色通常包括高層的管理者,他們優化數據治理規劃並使資金籌集變得更為容易。這些角度也包括一個治理委員會,由個別高層管理者以及針對治理特定業務和必要流程而賦予相應職責的跨業務部門的人組成。角色也包括數據管理員,確保治理活動的持續開展以及幫忙企業實現業務目標。此外,還有部分「平民」管理員,他們雖然不會明確被指定為數據管理員,但他們仍然在各自業務領域里的治理流程中扮演活躍的角色。
有效的治理不僅需要IT的介入,這是人們的普遍共識。尤其當業務必須更主動地參與到治理方式和數據管理其他層面(例如自助數據分析)的時候,目的是要從這些工作參與中獲益。在更多的案例中,特定領域的治理可以直接應用於業務。這就是為什麼治理僅需要IT的介入是一個過時且應該擯棄的觀點。
數據治理主要圍繞對象:領域
數據治理包含許多不同方面的領域:
●元數據:元數據要求數據元素和術語的一致性定義,它們通常聚集於業務詞彙表上。
●業務詞彙表:對於企業而言,建立統一的業務術語非常關鍵,如果這些術語和上下文不能橫跨整個企業的范疇,那麼它將會在不同的業務部門中出現不同的表述。
●生命周期管理:數據保存的時間跨度、數據保存的位置,以及數據如何使用都會隨著時間而產生變化,某些生命周期管理還會受到法律法規的影響。
●數據質量:數據質量的具體措施包括數據詳細檢查的流程,目的是讓業務部門信任這些數據。數據質量是非常重要的,有人認為它不同於治理,它極大提升了治理的水平。
●參考數據管理:參考數據提供數據的上下文,尤其是它結合元數據一起考慮的情況下。由於參考數據變更的頻率較低,參考數據的治理經常會被忽視。
雖然上述提及的是數據治理在數據管理中所負責的特定領域,但一個至關重要的問題在於,所有組織里的數據必須持續堅持數據治理的原則。
數據建模
數據建模是依賴於數據治理的另一個數據管理中的關鍵領域,它結合了數據管理與數據治理兩者進行協調工作。可以說,為了將數據治理擴展到整個組織,利用一個規范化的數據建模有利於將數據治理工作擴展到其他業務部門。遵從一致性的數據建模,令數據標准變得有價值(特別是應用於大數據)。一個確保數據治理貫穿整個企業的最高效手段,就是利用數據建模技術直接關聯不同的數據治理領域,例如數據血緣關系以及數據質量。當需要合並非結構化數據時,數據建模將會更有價值。此外,數據建模加強了治理的結構和形式。
關鍵的不同點
數據管理其他方面的案例在DMM中有五個類型,包括數據管理戰略、數據質量、數據操作(生命周期管理)、平台與架構(例如集成和架構標准),以及支持流程(聚集於其他因素之中的流程和風險管理)。在此重申一點,數據治理和數據管理非常接近是有事實支撐的,數據質量經常被視為與數據治理相結合,甚至被認為是數據治理的產物之一。也許,情景化這兩個領域的最好辦法,在於理解數據治理是負責正式化任何數據管理當中的流程,數據治理本身著重提供一整套工具和方法,確保企業在實際上治理這些數據。雖然數據治理是數據管理中的一部分,但後者必須要由前者來提供可靠的信息到核心業務流程。
I. 01 數據治理的背景及一些概念
工業互聯網代表的是一個開放的、全球化的,將人、數據和機器連接起來的網路。它的核心三要素為:
數據給工業企業帶來的價值可以從 企業內部經營管理 和 外部市場 兩方面來分析:
工業大數據的特點:
狹義的數據治理 :是指對數據進行監管和風險管理,保證數據資產的高質量、安全及持續改進。
廣義的數據治理 :除了對數據進行監管和風險管理,還要挖掘如何通過數據治理來創建業務價值,即數據價值「變現」。
是由企業擁有或者控制的,能夠為企業帶來經濟利益的,以物理或者電子的方式記錄的數據資源。
這一概念包含了以下三點要素:
架構:包含管控域、過程域、治理域、技術域、價值域
核心內容:主要有戰略、組織、制度、流程、績效和工具等
其中,數據治理戰略要求企業的信息化戰略應當匹配企業的業務戰略,因此企業要根據自己的業務目標清晰地定義數據治理的使命、願景、中長期目標及計劃等。