为什么要做元数据治理

A. 数据治理的数据治理成功的关键——元数据管理

独立企业数据集成软件提供商Informatica公司（纳斯达克代码：INFA）认为：数据治理成功的关键在于元数据管理，即赋予数据上下文和含义的参考框架。经过有效治理的元数据可提供数据流视图、影响分析的执行能力、通用业务词汇表以及其术语和定义的可问责性，最终提供用于满足合规性的审计跟踪。元数据管理成为一项重要功能，让 IT 部门得以监视复杂数据集成环境中的变化，同时交付可信、安全的数据。因此，良好的元数据管理工具在全局数据治理中起到了核心作用。 Informatica将数据治理定义为“在组织范围内，对流程、政策、标准、技术和人员进行职能协调和定义来将数据作为公司资产管理，从而实现对准确、一致、安全且及时的数据的可用性管理和可控增长，以此制定更好的业务决策，降低风险并改善业务流程”。
数据治理着重于交付可信、安全的信息，为制定明智的业务决策、有效的业务流程并优化利益相关方交互提供支持。因此，数据治理本身并非是结果，而仅仅是方法：即通过数据治理来支持最关键的业务目标。 正如某家大型银行的高管所言：“如果没有数据治理，任何元数据管理方案注定会失败。”元数据管理可作为一项重要功能，让IT部门得以管理复杂数据集成环境中的变化，同时交付可信、安全的数据。当业务利益相关方参与这一进程并接受对数据参考框架的责任，其优势将变得更有说服力。此时，企业就能将业务元数据与基层的技术元数据进行关联，为全公司范围内的协作提供词汇表和背景资料。
例如，当业务用户要求其在 IT 部门的搭档在报告或分析中显示“净收入”，就无需再提问“哪种净收入——财务、销售还是市场营销？”除提供其他优势外，良好的元数据管理还可通过免除此类重要问题，促进数据治理：
· 这个业务术语的含义是什么？
· 在（几个相似的）业务术语中应当使用哪一个？
· 该术语的来源是什么？
· 该数据从数据源转移到目标时是如何进行转换的？
· 由谁负责该术语的定义、记录和管理？
· 谁修改过该术语？如何及何时进行修改？
· 哪些政策和规则适用于该术语？（示例包括数据质量规则、安全屏蔽规则、存档规则和数据保留政策）
· 修改环境中的某一特定数据对象会对其他数据对象产生哪些影响？
· 在不对可能使用相同数据对象的其他报告和分析造成影响的前提下，需要多长时间来实施环境变更？ 一系列公司方案推动了数据治理的进展，也由此带动了元数据管理。这些方案包括：
· 通用业务词汇表（简单的数据管理）。这种“小规模试水”方法着重于某一特定问题或业务部门的通用业务词汇表。
· 全面数据治理（或数据管理策略）。这是一种更近似由上至下的方式，通常用于涉及企业内一系列业务部门的较大规模计划，并以按多个阶段（如果不是更长时间）进行管理的计划中的多个商机为目标。
· 合规。此类方案的推动因素是为遵守国际、国家、当地或行业法规的需求。合规——通常由一个治理、风险与合规性（GRC）职能部门进行管理，显然与数据治理唇齿相依。在发现、分析和记录企业的多项内部数据治理要求的同时，还必须与适用外部法规的相关特定要求进行统筹协调。其中部分示例包括：
· 银行业：Basel II、Basel III、多德弗兰克法案（Dodd Frank）、洗钱法案
· 保险业：偿付能力监管标准II（Solvency II ）
· 医疗保健：HITECH Act、HIPAA
· 一般金融服务：萨班斯—奥克斯利法案
· 元数据管理。这是更上一层楼的做法，将元数据管理和数据治理作为“最佳实践”与各个新的业务方案挂钩。该方案对业务案例和项目范围进行定义。在多家未能成功实施较大型数据治理方案的公司中，这一方法则取得了成功。 几乎所有企业都面临着管理数据量、速度和种类的挑战。Hadoop/MapRece 技术在复杂数据分析能力以及按相对低廉的成本实现最大数据扩展性方面提供了一些有趣的优势。Hadoop 在不久的将来取代关系性DBMS的可能性不大，这两项技术更有可能并存，因为它们各有独到之处。虽然用于管理和分析数据的技术可能不同，元数据管理和数据治理的目标应始终保持不变：为支持良好的业务决策提供可信、及时且相关的信息。不存在所谓的“大数据治理”或“大数据元数据管理”——相反，这是一个将全局企业数据治理和元数据管理活动加以扩展来包容全新数据类型和数据源的问题。
Hadoop带来的挑战之一就是元数据管理。如果没有良好的元数据管理和数据治理，Hadoop将会缺乏透明度、可审计性以及数据的标准化与重复利用能力。企业仍将需要对数据相关关键信息的可见性，例如其来源、质量和所有权，否则就必须承受Hadoop变成环境内的又一个数据孤岛的风险。在该领域涌现的 HCatalog 和Hive /HiveQL等新技术将使得从非结构化和半结构化数据中收集元数据变得更加简易，从而实现Hadoop上的数据沿袭。这些功能对于将Hadoop集成入总体数据集成框架，以防止大数据在企业中遭到孤立隔绝，可如同任何其他数据源一样进行治理至关重要。 Informatica可提供功能齐全而又稳健可靠的工具，具备交付可信、安全的数据和启动成功的元数据管理方案所需的全部精确功能。Metadata Manager & BusinessGlossary可提供独一无二的多项优势，让IT经理能够尽量降低在实施变更时对关键业务数据造成损害的业务风险。
InformaticaMetadata Manager & Business Glossary是 InformaticaPowerCenter Standard Edition的关键组件之一。它可提供为数据治理方案奠定基础所需的核心元数据管理工具。Metadata Manager & Business Glossary是一项单个产品，配备一个共享的元数据信息库。它具备两个用户界面，供两类截然不同的用户使用：
· MetadataManager 可让 IT 人员处理技术元数据。
· Business Glossary 可让业务和 IT 管理员协同管理业务元数据。
ITSS WG1发布的白皮书表明
数据治理模型包括三个框架:范围，促成因素和执行及评估。他们每个方面都包含许多组件来进行展示和描述它们是如何工作的。该框架显示数据治理内部的逻辑关系。范围展示了我们应该关注什么，促成因素展示了数据治理的推动因素，执行和评估展示了如何实现治理的方法。该DG模型可以通过三个框架帮助我们理解数据治理。
数据治理的范围包括四个层次的内容。首先，应该 有一个治理要素负责管理其它管理要素，保证治理与管理的一致性。其次，下面的三个层次分别列示了需要治理的数据管理要素，其中价值创造层列示了通过数据治理所创造的价值服务。价值保证层描述了一个组织治理数据时重要保证服务。基础数据服务层描述了一个数据治理的基础数据服务。

B. 数据治理包括哪些方面

从技术实施角度看，数据治理包含“理”“采”“存”“管”“用”这五个步骤，即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。

数据资源梳理：数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单，包含组织机构、业务事项、信息系统，以及以数据库、网页、文件和 API 接口形式存在的数据项资源，本步骤的输出物为分门别类的数据资源清单。

数据采集清洗：通过可视化的 ETL 工具（例如阿里的 DataX，Pentaho Data Integration）将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程，目的是将散落和零乱的数据集中存储起来。

基础库主题库建设：一般情况下，可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据，或称主数据，例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据，例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务主题数据综合分析而得的分析结果数据，例如市场监督管理局的企业综合评价、产业区域分布、高危企业分布等。那么基础库和主题库的建设就是在对业务理解的基础上，基于易存储、易管理、易使用的原则抽像数据存储结构，说白了，就是基于一定的原则设计数据库表结构，然后再根据数据资源清单设计数据采集清洗流程，将整洁干净的数据存储到数据库或数据仓库中。

元数据管理：元数据管理是对基础库和主题库中的数据项属性的管理，同时，将数据项的业务含义与数据项进行了关联，便于业务人员也能够理解数据库中的数据字段含义，并且，元数据是后面提到的自动化数据共享、数据交换和商业智能（BI）的基础。需要注意的是，元数据管理一般是对基础库和主题库中（即核心数据资产）的数据项属性的管理，而数据资源清单是对各类数据来源的数据项的管理。

血缘追踪：数据被业务场景使用时，发现数据错误，数据治理团队需要快速定位数据来源，修复数据错误。那么数据治理团队需要知道业务团队的数据来自于哪个核心库，核心库的数据又来自于哪个数据源头。我们的实践是在元数据和数据资源清单之间建立关联关系，且业务团队使用的数据项由元数据组合配置而来，这样，就建立了数据使用场景与数据源头之间的血缘关系。 数据资源目录：数据资源目录一般应用于数据共享的场景，例如政府部门之间的数据共享，数据资源目录是基于业务场景和行业规范而创建，同时依托于元数据和基础库主题而实现自动化的数据申请和使用。

质量管理：数据价值的成功发掘必须依托于高质量的数据，唯有准确、完整、一致的数据才有使用价值。因此，需要从多维度来分析数据的质量，例如：偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。需要注意的是，优秀的数据质量模型的设计必须依赖于对业务的深刻理解，在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响，例如 Hadoop，MapRece，HBase 等。

商业智能（BI）：数据治理的目的是使用，对于一个大型的数据仓库来说，数据使用的场景和需求是多变的，那么可以使用 BI 类的产品快速获取需要的数据，并分析形成报表，像派可数据就属于专业的BI厂商。

数据共享交换：数据共享包括组织内部和组织之间的数据共享，共享方式也分为库表、文件和 API 接口三种共享方式，库表共享比较直接粗暴，文件共享方式通过 ETL 工具做一个反向的数据交换也就可以实现。我们比较推荐的是 API 接口共享方式，在这种方式下，能够让中心数据仓库保留数据所有权，把数据使用权通过 API 接口的形式进行了转移。API 接口共享可以使用 API 网关实现，常见的功能是自动化的接口生成、申请审核、限流、限并发、多用户隔离、调用统计、调用审计、黑白名单、调用监控、质量监控等等。

C. 什么是元数据（MetaData）及元数据的用途

元数据（Meta Data）是关于数据的数据，当人们描述现实世界的现象时，就会产生抽象信息，这些抽象信息便可以看作是元数据，元数据主要用来描述数据的上下文信息。

通俗的来讲，假若图书馆的每本书中的内容是数据的话，那么找到每本书的索引则是元数据，元数据之所以有其它方法无法比拟前虚的优势，就在于它可以帮助人们更好的理解数据。

发现和描述数据的来龙去脉，特别是那些即将要从OLTP系统上升到DW/BI体系建设的企业，元数据可以帮他们形成清晰直观的数据流图，元数据是数据管控的基本手段。

元数据是为了提升共享、重新获取和理解企业信息资产的水平，元数据是企业信息管理的润滑剂，不对元数据进行管理或管理不得当。

信息将被丢失或处于隐匿状态而难以被用户使用，数据集成将十分昂贵，不能对业务进行有效支撑。终端用户要识别相关的信息将十分困难，最终用户将失去对数据的信任。

(3)为什么要做元数据治理扩展阅读

元数据分类

元数据管理的范围将涵括数据产生、数据存储、数据加工和展现等各个环节的数据描述信息，帮助用户理解数据来龙去脉、关系及相关属性。按其描述对象的不同可以划分为三类元数据：技术元数据、业务元数据和管理元数据。这滚肆三种元数据的具体描述如下：

1、技术元数据 技术元数据是描述数据系统中技术领域相关概念、关系和规则的数据，主要包括对数据结构、数据处理方面的特征描述，覆盖数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节；

2、业务元数据 业务元数据是描述数据系统中业务领域相关概念、关系和规则的数据，主要包括业务术语、信息分类、指标定义和业务规则等信息；

3、管理元数据 管理元数据是描述数据系统中大悔轿管理领域相关概念、关系和规则的数据，主要包括人员角色、岗位职责和管理流程等信息。

D. 什么是元数据为何需要元数据

元数据是关于数据的组织、数据域及其关系的信息，简言之，元数据就是关于数据的数据。需要元数据是用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

描述信息资源或数据本身的特征和属性，规定数字化信息的组织，具有定位、发现、证明、评估、选择等功能。

一般认为，所谓元数据是关于数据的数据，或关于数据的结构化的数据。从已有的结论看，元数据的含义是逐渐发展的。元数据一词，早期主要指网络资源的描述数据，用于网络信息资源的组织；其后，逐步扩大到各种以电子形式存在的信息资源的描述数据。元数据这一术语实际用于各种类型信息资源的描述记录。

此外，元数据在地理界，生命科学界等领域也有其相应的定义和应用。

(4)为什么要做元数据治理扩展阅读

元数据的基本特点主要有：

a）元数据一经建立，便可共享。元数据的结构和完整性依赖于信息资源的价值和使用环境；元数据的开发与利用环境往往是一个变化的分布式环境；任何一种格式都不可能完全满足不同团体的不同需要；

b）元数据首先是一种编码体系。元数据是用来描述数字化信息资源，特别是网络信息资源的编码体系，这导致了元数据和传统数据编码体系的根本区别；元数据的最为重要的特征和功能是为数字化信息资源建立一种机器可理解框架。

元数据体系构建了电子政务的逻辑框架和基本模型,从而决定了电子政务的功能特征、运行模式和系统运行的总体性能。

电子政务的运作都基于元数据来实现。其主要作用有：描述功能、整合功能、控制功能和代理功能。

由于元数据也是数据，因此可以用类似数据的方法在数据库中进行存储和获取。如果提供数据元的组织同时提供描述数据元的元数据，将会使数据元的使用变得准确而高效。用户在使用数据时可以首先查看其元数据以便能够获取自己所需的信息。