元数据设计怎么样

A. 什么是元数据（MetaData）及元数据的用途

元数据（Meta Data）是关于数据的数据，当人们描述现实世界的现象时，就会产生抽象信息，这些抽象信息便可以看作是元数据，元数据主要用来描述数据的上下文信息。

通俗的来讲，假若图书馆的每本书中的内容是数据的话，那么找到每本书的索引则是元数据，元数据之所以有其它方法无法比拟的优势，就在于它可以帮助人们更好的理解数据。

发现和描述数据的来龙去脉，特别是那些即将要从OLTP系统上升到DW/BI体系建设的企业，元数据可以帮他们形成清晰直观的数据流图，元数据是数据管控的基本手段。

元数据是为了提升共享、重新获取和理解企业信息资产的水平，元数据是企业信息管理的润滑剂，不对元数据进行管理或管理不得当。

信息将被丢失或处于隐匿状态而难以被用户使用，数据集成将十分昂贵，不能对业务进行有效支撑。终端用户要识别相关的信息将十分困难，最终用户将失去对数据的信任。

(1)元数据设计怎么样扩展阅读

元数据分类

元数据管理的范围将涵括数据产生、数据存储、数据加工和展现等各个环节的数据描述信息，帮助用户理解数据来龙去脉、关系及相关属性。按其描述对象的不同可以划分为三类元数据：技术元数据、业务元数据和管理元数据。这三种元数据的具体描述如下：

1、技术元数据 技术元数据是描述数据系统中技术领域相关概念、关系和规则的数据，主要包括对数据结构、数据处理方面的特征描述，覆盖数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节；

2、业务元数据 业务元数据是描述数据系统中业务领域相关概念、关系和规则的数据，主要包括业务术语、信息分类、指标定义和业务规则等信息；

3、管理元数据 管理元数据是描述数据系统中管理领域相关概念、关系和规则的数据，主要包括人员角色、岗位职责和管理流程等信息。

B. 什么是元数据

元数据（Meta Data）是关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息，所有这些信息都应当妥善保存，并很好地管理。为数据仓库的发展和使用提供方便。

元数据是一种二进制信息，用以对存储在公共语言运行库可移植可执行文件 (PE) 文件或存储在内存中的程序进行描述。将您的代码编译为 PE 文件时，便会将元数据插入到该文件的一部分中，而将代码转换为 Microsoft 中间语言 (MSIL) 并将其插入到该文件的另一部分中。在模块或程序集中定义和引用的每个类型和成员都将在元数据中进行说明。当执行代码时，运行库将元数据加载到内存中，并引用它来发现有关代码的类、成员、继承等信息。

元数据以非特定语言的方式描述在代码中定义的每一类型和成员。元数据存储以下信息：

程序集的说明。
标识（名称、版本、区域性、公钥）。
导出的类型。
该程序集所依赖的其他程序集。
运行所需的安全权限。
类型的说明。
名称、可见性、基类和实现的接口。
成员（方法、字段、属性、事件、嵌套的类型）。
属性。
修饰类型和成员的其他说明性元素。

一、元数据的优点

对于一种更简单的编程模型来说，元数据是关键，该模型不再需要接口定义语言 (IDL) 文件、头文件或任何外部组件引用方法。元数据允许 .NET 语言自动以非特定语言的方式对其自身进行描述，而这是开发人员和用户都无法看见的。另外，通过使用属性，可以对元数据进行扩展。元数据具有以下主要优点：

自描述文件。
公共语言运行库模块和程序集是自描述的。模块的元数据包含与另一个模块进行交互所需的全部信息。元数据自动提供 COM 中 IDL 的功能，允许将一个文件同时用于定义和实现。运行库模块和程序集甚至不需要向操作系统注册。结果，运行库使用的说明始终反映编译文件中的实际代码，从而提高应用程序的可靠性。

语言互用性和更简单的基于组件的设计。
元数据提供所有必需的有关已编译代码的信息，以供您从用不同语言编写的 PE 文件中继承类。您可以创建用任何托管语言（任何面向公共语言运行库的语言）编写的任何类的实例，而不用担心显式封送处理或使用自定义的互用代码。

二、属性。

.NET Framework 允许您在编译文件中声明特定种类的元数据（称为属性）。在整个 .NET Framework 中到处都可以发现属性的存在，属性用于更精确地控制运行时您的程序如何工作。另外，您可以通过用户定义的自定义属性向 .NET Framework 文件发出您自己的自定义元数据。有关更多信息，请参见利用属性扩展元数据。

三、元数据的意义

说到元数据的意义，可以从其应用目的来谈的。虽然做数据仓库言必称元数据，必称技术、业务元数据，但其到底用于何处？离开了目标去谈元数据，就发现元数据包含太多的东西，因为他是描述数据的数据嘛。

还是那客户关系系统来比喻，这个系统维护客户信息当然是有目的的，是要用这些信息进行一些自动的流程处理、去挖掘一些客户潜在的价值、做好客户服务。当然没有必要去维护客户的生命特征信息，诸如指纹、犯罪史等，这些信息跟客户关系管理的目标关系不大。元数据也是如此，你可以将所以数据的结构、大小、什么时间创建、什么时间消亡、被那些人使用等等，这些信息可以延伸得太广，如果不管目标，而试图去建一个非常完美的元数据管理体系，这是一种绝对的"自上而下"做法，必败无疑。

四、元数据列举

基于应用，可以将元数据分成以下的若干中。

数据结构：数据集的名称、关系、字段、约束等；
数据部署：数据集的物理位置；
数据流：数据集之间的流程依赖关系（非参照依赖），包括数据集到另一个数据集的规则；
质量度量：数据集上可以计算的度量；
度量逻辑关系：数据集度量之间的逻辑运算关系；
ETL过程：过程运行的顺序，并行、串行；
数据集快照：一个时间点上，数据在所有数据集上的分布情况；
星型模式元数据：事实表、维度、属性、层次等；
报表语义层：报表指标的规则、过滤条件物理名称和业务名称的对应；
数据访问日志：哪些数据何时被何人访问；
质量稽核日志：何时、何度量被稽核，其结果；
数据装载日志：哪些数据何时被何人装载；

五、元数据开发应用的标准化框架

1、数字图书馆资源组织框架

2. 元数据开发应用框架

2.1 元数据的基本意义 Metadata（元数据）是“关于数据的数据”；

元数据为各种形态的数字化信息单元和资源集合提供规范、普遍的描述方法和检索工具；

元数据为分布的、由多种数字化资源有机构成的信息体系（如数字图书馆）提供整合的工具与纽带。

离开元数据的数字图书馆将是一盘散沙，将无法提供有效的检索和处理。

3. 元数据应用环境

3.1 Metadata的应用目的

（1）确认和检索（Discovery andentification），主要致力于如何帮助人们检索和确认所需要的资源，数据元素往往限于作者、标题、主题、位置等简单信息，Dublin Core是其典型代表。

（2）着录描述（Cataloging），用于对数据单元进行详细、全面的着录描述，数据元素囊括内容、载体、位置与获取方式、制作与利用方法、甚至相关数据单元方面等，数据元素数量往往较多，MARC、GILS和FGDC/CSDGM是这类Metadata的典型代表。

（3）资源管理（Resource Administration），支持资源的存储和使用管理，数据元素除比较全面的着录描述信息外，还往往包括权利管理（Rights/Privacy Management）、电子签名（Digital Signature）、资源评鉴（Seal of Approval/Rating）、使用管理（Access Management）、支付审计（Payment and Accounting）等方面的信息。

（4）资源保护与长期保存（Preservation and Archiving），支持对资源进行长期保存，数据元素除对资源进行描述和确认外，往往包括详细的格式信息、制作信息、保护条件、转换方式（Migration Methods）、保存责任等内容。

3.2 Metadata在不同领域的应用 根据不同领域的数据特点和应用需要，90年代以来，许多Metadata格式在各个不同领域出现

例如：
网络资源：Dublin Core、IAFA Template、CDF、Web Collections
文献资料：MARC（with 856 Field），Dublic Core
人文科学：TEI Header
社会科学数据集：ICPSR SGML Codebook
博物馆与艺术作品：CIMI、CDWA、RLG REACH Element Set、VRA Core
政府信息：GILS
地理空间信息：FGDC/CSDGM
数字图像：MOA2 metadata、CDL metadata、Open Archives Format、VRA Core、NISO/CLIR/RLG Technical Metadata for Images
档案库与资源集合：EAD
技术报告：RFC 1807
连续图像：MPEG-7

3.3 Metadata格式的应用程度

不同领域的Metadata处于不同的标准化阶段：
在网络资源描述方面，Dublin Core经过多年国际性努力，已经成为一个广为接受和应用的事实标准；

在政府信息方面，由于美国政府大力推动和有关法律、标准的实行，GILS已经成为政府信息描述标准，并在世界若干国家得到相当程度的应用，与此类似的还有地理空间信息处理的FGDC/CSDGM；

但在某些领域，由于技术的迅速发展变化，仍然存在多个方案竞争，典型的是数字图像的Metadata，现在提出的许多标准都处于实验和完善的阶段。
3.4 Metadata格式“标准化”程度问题

Metadata开发应用经验表明，很难有一个统一的Metadata格式来满足所有领域的数据描述需要；即使在同一个领域，也可能为了不同目的而需要不同的但可相互转换的Metadata格式。

同时，统一的集中计划式的Metadata格式标准也不适合Internet环境，不利于充分利用市场机制和各方面力量。

但在同一领域，应争取“标准化”，在不同领域，应妥善解决不同格式的互操作问题。

4. 元数据结构

4.1 总体结构定义方式 一个Metadata格式由多层次的结构予以定义：

（1）内容结构（Content Structure），对该Metadata的构成元素及其定义标准进行描述。

（2）句法结构（Syntax Structure），定义Metadata结构以及如何描述这种结构。

（3）语义结构（Semantic Structure），定义Metadata元素的具体描述方法。

4.2 内容结构

内容结构定义Metadata的构成元素，可包括： 描述性元素、技术性元素、管理性元素、结构性元素（例如与编码语言、Namespace、数据单元等的链接）。

这些数据元素很可能依据一定标准来选取，因此元数据内容结构中需要对此进行说明，例如MARC记录所依据的ISBD，EAD所参照的ISAD（G），ICPSR所依据的ICPSR Data Preparation Manual。

4.3 句法结构

句法结构定义格式结构及其描述方式，例如元素的分区分段组织、元素选取使用规则、元素描述方法（例如Dublin Core采用ISO/IEC 11179标准）、元素结构描述方法（例如MARC记录结构、SGML结构、XML结构）、结构语句描述语言（例如EBNF Notation）等。

有时，句法结构需要指出元数据是否与所描述的数据对象捆绑在一起、或作为单独数据存在但以一定形式与数据对象链接，还可能描述与定义标准、DTD结构和Namespace等的链接方式。

4.4 语义结构 语义结构定义元素的具体描述方法，例如 描述元素时所采用的标准、最佳实践（Best Practices）或自定义的描述要求（Instructions）。

有些元数据格式本身定义了语义结构，而另外一些则由具体采用单位规定语义结构，例如Dublin Core建议日期元素采用ISO 8601、资源类型采用Dublin Core Types、数据格式可采用MIME、识别号采用URL或DOI或ISBN；
又如OhioLink在使用VRA Core时要求主题元素使用A&AT、TGM和TGN，人名元素用ULAN。

5. 元数据编码语言与制作方式

5.1 元数据编码语言

元数据编码语言（Metadata Encoding Languages）指对元数据元素和结构进行定义和描述的具体语法和语义规则，常称为定义描述语言（DDL）。

在元数据发展初期人们常使用自定义的记录语言（例如MARC）或数据库记录结构（如ROADS等），但随着元数据格式的增多和互操作的要求，人们开始采用一些标准化的DDL来描述元数据，例如SGML和XML，其中以XML最有潜力。

5.2 元数据制作方式

（1）专门编制模块（例如对MARC、GILS、FGDC等）

（2）数据处理时自动编制（例如对Dublin Core等）

（3）数据物理处理时自动编制（例如数字图像扫描时的某些元数据参数）

（4）共享元数据（例如OCLC/CORC、IMESH

6. 元数据互操作性

6.1 元数据互操作性问题

由于不同的领域（甚至同一领域）往往存在多个元数据格式，当在用不同元数据格式描述的资源体系之间进行检索、资源描述和资源利用时，就存在元数据的互操作性问题（Interoperability）：
多个不同元数据格式的释读、转换和由多个元数据格式描述的数字化信息资源体系之间的透明检索。

6.2 元数据格式映射

利用特定转换程序对不同元数据元格式进行转换，称为元数据映射（Metadata Mapping/Crosswalking）。

目前已有大量的转换程序存在，供若干流行元数据格式之间的转化，例如
Dublin Core与USMARC； Dublin Core与EAD
Dublin Core与GILS； GILS与MARC TEI
Header与MARC FGDC与MARC

也可利用一种中介格式对同一格式框架下的多种元数据格式进行转换，例如UNIverse项目利用GRS格式进行各种MARC格式和其它记录格式的转换。格式映射转换准确、转换效率较高。不过，这种方法在面对多种元数据格式并存的开放式环境中的应用效率明显受到限制。

6.3 标准描述框架

解决元数据互操作性的另一种思路是建立一个标准的资源描述框架，用这个框架来描述所有元数据格式，那么只要一个系统能够解析这个标准描述框架，就能解读相应的Metadata格式． 实际上，XML和RDF从不同角度起着类似的作用。

XML通过其标准的DTD定义方式，允许所有能够解读XML语句的系统辨识用XML_DTD定义的Metadata格式，从而解决对不同格式的释读问题。

RDF定义了由Resources、Properties和Statements等三种对象组成的基本模型，其中Resources和Properties关系类似于E-R模型，而Statements则对该关系进行具体描述。

RDF通过这个抽象的数据模型为定义和使用元数据建立一个框架，元数据元素可看成其描述的资源的属性。

进一步地，RDF定义了标准Schema，规定了声明资源类型、声明相关属性及其语义的机制，以及定义属性与其它资源间关系的方法。另外，RDF还规定了利用XML Namespace方法调用已有定义规范的机制，

6.4 数字对象方式

建立包含元数据及其转换机制的数字对象可能从另一个角度解决元数据互操作性问题。

Cornell/FEDORA项目提出由内核（Structural Kernel）和功能传播层（Disseminator Layer）组成的复合数字对象。

内核里，可以容纳以比特流形式存在的文献内容、描述该文献的元数据、以及对这个文献及元数据进行存取控制的有关数据。

功能传播层，主功能传播器（PrimitiveDisseminator）支持有关解构内核数据类型和对内核数据读取的服务功能，还可有内容类型传播器（Content-Type Disseminators），它们可内嵌元数据格式转换机制。

例如，在一个数字对象的内核中存有MARC格式的元数据，在功能传播层装载有请求Dublin Core格式及其转换服务的内容类型传播器。当数字对象使用者要求读取以Dublin Core表示的元数据时，相应的内容类型传播器将通过网络请求存储有Dublin Core及其转换服务程序的数字对象，然后将被请求数字对象中的MARC形式元数据转换为Dublin Core形式，在输出给用户。

7. 几点建议

跟踪元数据发展、积极参与制定元数据标准、加快元数据应用、注意国际接轨。
加快研究有效利用元数据进行检索（包括异构系统透明检索）、相关性学习、个性化处理等的机制。
加快研究元数据与数字对象和数字化资源体系有机整合的途径与方法。
推进研究利用元数据进行基于知识的数据组织和知识发现。

C. 元数据的作用和意义是什么

元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。

元数据是数据仓库管理系统的重要组成部分，元数据管理是企业级数据仓库中的关键组件，贯穿数据仓库构建的整个过程，直接影响着数据仓库的构建、使用和维护。

• 构建数据仓库的主要步骤之一是ETL。这时元数据将发挥重要的作用，它定义了源数据系统到数据仓库的映射、数据转换的规则、数据仓库的逻辑结构、数据更新的规则、数据导入历史记录以及装载周期等相关内容。数据抽取和转换的专家以及数据仓库管理员正是通过元数据高效地构建数据仓库。

• 用户在使用数据仓库时，通过元数据访问数据，明确数据项的含义以及定制报表。

• 数据仓库的规模及其复杂性离不开正确的元数据管理，包括增加或移除外部数据源，改变数据清洗方法，控制出错的查询以及安排备份等。

元数据可分为技术元数据和业务元数据。技术元数据为开发和管理数据仓库的IT 人员使用，它描述了与数据仓库开发、管理和维护相关的数据，包括数据源信息、数据转换描述、数据仓库模型、数据清洗与更新规则、数据映射和访问权限等。而业务元数据为管理层和业务分析人员服务，从业务角度描述数据，包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等，帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。

由上可见，元数据不仅定义了数据仓库中数据的模式、来源、抽取和转换规则等，而且是整个数据仓库系统运行的基础，元数据把数据仓库系统中各个松散的组件联系起来，组成了一个有机的整体