导航:首页 > 数据处理 > 如何利用元数据管理资产

如何利用元数据管理资产

发布时间:2023-02-11 14:57:51

① 什么是元数据管理及其作用

元数据管理是一个根据使用这些资产的方式来管理组织的数据资产的流程。此流程能集成、链接和集中管理多个来源的元数据,便于在整个组织内妥善维护、分析、消费和解释数据。当从业务元数据和技术元数据中得出数据的含义时,可以更有效地汇总和集成数据。简言之,当有效管理元数据时,数据变得更有 价值。
IT 组织需要有效的元数据管理解决方案以:
• 简化数据发现和跟踪数据中央目录。大多数公司需要管理日益复杂的系统。通过管理元数据,IT 组织可以在能够快速发现数据资产的多个系统内创建数据资产库存。
• 通过重复使用数据加强一致性并消除冗余,从而提高工作效率并降低项目付时间。可以将中央元数据资料库当作“单一数据源”来发现开发人员可以充分利用的可重用组件。公司可以减少冗余或未使用数据的数量,从而允许进行硬件和软件整合并节省成本。
• 减少因人员流动而导致知识流失的风险。有关存储重要信息的位置和方式、以及经常未存档意味着什么,所有这些都只留在了某些员工的头脑里。当这些关键员工离开公司时,这方面的知识也就会随着他们一起消失。元数据管理系统内的中央元数据资料库保存了这方面的知识,从而减轻了此类信息随着离职员工一起消失的任何风险。
• 增加了向业务用户报告的数据交付的信心。跟踪数据沿袭:数据来自什么地方以及如何产生、处理和交付数据,这为业务用户提供了重要的背景知识。探查源系统中的数据可以暴露和解决数据不准确性和不一致性问题,从而产生可靠的高质量数据。
• 通过制定更有效的开发流程来提高 IT 部门对业务的响应度。元数据的集成和可见性可以帮助 IT 部门了解存在哪些数据、数据存储位置及其含义,从而最大限度地降低信息的复杂性。此外,这种可见性通过不断变更业务要求为分析变化所带来的影响提供了基础架构,并将会加快新数据集成项目的开发。数据集成开发人员可以依赖这些信息来轻松和准确地确定他们的数据集成项目所需的数据。并且,能够访问潜在变化所带来的影响也可以帮助管理人员快速评估项目的持续时间和资源成本。

② 数据资产的管理方法

在最近几年的业务发展中,数据都是各大公司建设的“宠儿”,几乎所有的业务都围绕数据展开,其重要性堪比信息化时代的“石油”。因此,大多数的公司都会建设自己的数据资产平台,一方面是为了做一些诸如统一数据口径一类的基础工作,另一方面也是为了深入挖掘数据的价值,为企业带来高额的利润回报。

回看过去的发展历史,围绕着数据的采集、建设、管理和应用,已经基本形成了体系化的建设方法。运营在做定价的时候,需要数据的支持;财务在评估预算的时候,需要数据的支持;法务在判定风险时,同样需要数据的支持…… 同时,随着企业发展的进行,数据口径的统一需要对数据进行治理;成本的管理需要对数据进行治理;支持业务的增多需要对数据进行治理…… 凡此种种,当我们缺少了数据资产门户的时候,很多的治理和查询工作,便很容易产生乱子。

某些意义上,数据资产的整理,是一种“脏活累活”,需要持续的维护和迭代,但做好之后,其发挥的价值,也是非常大的,只不过这种价值需要依附于别的项目才能体现出来。

因此,本文简单介绍一种整理数据资产的方法,供大家交流,篇幅不长,介绍思路更多一些。

其实数据的整理,用“运营”的思路来讲,更像是“品类规划”。只有把类目和索引做到了,全局层面便有了可视化的基础,后续资产的整理和归类,也会有科学的指引。

像比较大一点的互联网公司,业务通常不是单一的,因此如何仿照类目的思路,将一、二、三级索引做好,就是一个关键点和难点。

从消费者的视角,可以根据行为偏好、互动行为、个人属性、社交关系等方面构建类目,行为偏好又可以分为购买行为、点击行为、浏览行为,等等;从业务的视角,可以根据电商、金融、社交、媒体等业务属性构建类目,电商又可以分为B2C、C2C、B2B2C等不同的业务模式;从部门的视角,又可以根据XX事业部这种方式来建设,然后一级一级细分到具体负责的团队。总之,根据某一种分类的原则,将一二三级类目做完整,通常情况下可以很快的定位到需要的数据。

当然,只有类目也是不行的,这时候支持一个基本的搜索功能,将业务名、表名、字段名、属性名等做成模糊匹配的方法,供用户搜索和查询,便可以支持绝大多数的自行查询场景。

当然,因为表或者字段的展示格式都是固定的,因此搜索的结果可以做到非常的美观,配合手工打上的标签,90%以上的场景都可以支持用户自定义查询。

总结一下,资产的导航,适合以“类目”的方式进行组织,以搜索的方式配合使用,展示的接口以树形最佳,配合标签等个性化的内容,可以最大程度上满足查询诉求。

当用户查询到需要使用的数据时,下一步便是如何获取和使用数据。在通常的技术场景下,研发的同学只需要申请对应的表权限既可以获得。

但现在是有三种情况,我们需要分别看获取的方式:

一种是这种数据不适合直接开放底表,因为权限隔离的缘故,不能把所有权限开放出去,这时候就需要有资产分离的功能,也就是根据适用范围申请数据;

一种是非技术的同学申请,通常直接给一个表也是不知道怎么用的,可能给一个数据看板,或者是申请一个数据集,更合适一些,非研发的同学,可以使用报表工具自行配置。当然这种场景可以支持的数据查询能力会比较有限,需要尽可能的将报表的门户建设做好之后,再开放出去;

一种是有明确数据安全场景的诉求,比如最近刚出台的“个保法”,对于用户隐私的数据监管非常严格,这时候就需要配套有对应的法务审批或者是其他的数据安全接口人审批,这里的流程也是要单独设置的。

但不论哪种方式,都少不了完善的数据使用流程,这其实是属于“流程管理”的范畴,系统通常会默认指定审批人,但如果有特殊的需要,比如“个保法”,通常也需要能够自行设定审批流程。

总结一下,数据的获取,根据场景和使用人的不同,提供数据表、字段或者是报表等多种方式,同时要配合有相应的权限审批和资产分离的功能。

数据的治理也是一项比较重要但繁琐的工作。因为数据资产的录入,通常是人来维护的,那么相同的指标,录入多次的时候,用户以哪次为准呢?这就是最典型维护难题,因此,在录入或者自动更新数据的时候,提供一些提示性的功能,或者通过“精品”、“临时”等标签予以区分,也是一种可行的思路。

因而,通常情况下,技术提供的公共资产,一般以公共层的数据为准,只有明确使用场景的情况下,ADS才会被提供出来。

接下来,就是针对庞大的数据资产,构建自动化的诊断和分析功能了,关于如何用数据来治理资产,参考个人之前的文章《数据资产治理概要:用数据来治理数据》。标准化的治理之前,通常需要有全局的数据资产视图,才能制定出明确的目标、范围和结果。

最后,数据资产的使用,通常也是需要有稳定性的治理,比如每个表或者某一份数据,更新的频率、每次更新的时间等,都需要有说明提供给使用者,而开发来维护显然是不现实的,因此通过监控Hadoop集群的运行结果来自动更新,就是一种不错的方法。同时,一些执行明显偏慢但又使用者非常多的数据,也可以有相应的预警邮件提供给使用者。

数据资产的管理,底层也是基于数仓建模、数据平台、元数据标准、质量监控等基础的机制,配合组织的审批、管理等标准,最终才能服务于顶层战略。

③ 元数据管理框架如何制定,方法都在这!

元数据管理计划实施数量将持续增长到2021年以后。根据DATAVERSITY®数据管理趋势报告,有84%的业务受访者已经实施了元数据管理计划或已经开始制定计划。一家公司在元数据管理方面的成功取决于实施前是否依托于一个有用的元数据管理框架。

处理好元数据对于公司而言,在于遵守数据法规,提高数据质量,探索机器学习以及更好地使用数据。但是元数据管理超越技术,而主要依赖支持它的人员和政策。

一、什么是元数据管理框架?

元数据管理框架描述了一种使数据和元数据资产更易于访问和用于实现业务目标的组织方法。它根据组织的需求,动员并扩展了作为元数据管理基础的现有资源。

元数据管理框架发生在公司基础架构级别和运营级别。在更高层次上,元数据管理框架是伊恩·罗兰兹(Ian Rowlands)DAMA芝加哥一章中的解释说,需要行政支持和 数据策略制定更高的业务远景。此外,元数据管理框架还指导人员和自动化算法在日常工作中捕获、集成、管理和发布元数据。

从战略和战术角度考虑,元数据管理框架必须涵盖项目内部或与项目内进行交互的任何人。因此,元数据管理框架需要得到数据治理程序。

数据治理将有关元数据的可用性,具有元数据的组织优先级以及何时以及如何交付元数据的信息通知元数据管理框架。作为反馈,元数据管理框架将有关数据合规性、数据可访问性和数据质量的信息告知企业数据治理。将元数据管理和数据治理基础视为串联工作并提供数据解释。

二、选择元数据管理框架之前要考虑的因素

在创建任何元数据管理框架之前,请考虑以下事项:

获得元数据管理框架基准:即使组织中不存在正式的元数据管理框架,隐性的也存在。技术文件映射数据架构,经验丰富的业务分析师之外的人可以理解报告数据,而数据输入过程则提供了有关组织数据及其元数据管理框架片段的上下文。

获得有关人员,流程和技术已经存在以及它们如何通知组织的元数据管理框架的基准是很有意义的。使用“合格且知识渊博的数据专业l(和其他熟练的人才)来管理和解释“数据就绪性评估”以及“数据成熟度”模型,则提供了良好的元数据管理框架起点。进而,公司可以得到改善元数据管理框架的具体建议。

清楚元数据管理框架将实现的目标:清楚为什么组织需要管理元数据和实现元数据管理框架。元数据管理有助于降低培训成本,在整个数据系统中更好地使用数据并简化通信,但并不能解决所有数据问题。

如果组织优先于客户体验或开发产品和服务而不是数据共享和数据发现,那么与其他选择相比,元数据管理框架可能不是最佳解决方案。鉴于任何有用的数据管理框架都倾向于具有昂贵的设置,因此组织首先需要认真研究为什么要实施元数据管理框架。

提高集体数据素养:使用元数据需要已同步组织定义者,生产者和用户之间的协作和可重复的动作。认识到这类人存在于不同的组织部门中,并且有各种各样的跨功能技能。有些人具有很高的技术和分析能力,而另一些人则具有较软的技能。

不同的公司子集团可能会从非常不同的角度考虑并应用任何元数据管理框架。一个人的定义可能与另一个人的定义不同。

集体数据素养通过了解如何解释,交流和使用元数据更好地掌握公司数据资产,帮助利益相关者理解元数据管理框架。通过元数据进行规划,以全面了解业务需求,指导人们为什么以及如何使用任何元数据来完成工作或实现目标。

利用已经存在的元数据管理框架片段:在花钱购买工具和资源以建立新的元数据管理框架之前,请使用组织中已经存在的元数据管理框架来快速获胜并展示其价值。让知道如何解释客户报告含义的人记录该知识。更新现有的技术架构图,以包含更健壮的元数据,例如数据字典。

另外,请考虑有关构建或改进元数据管理框架的现有标准和实践。例如,国际统计分类由世界卫生组织(WHO)批准的《疾病分类》为临床医生,研究人员和医疗帐单人员定义了疾病和健康问题。如果与业务相关,请利用现有的权威元数据源。

三、总结

元数据管理框架不仅仅是技术解决方案。它描述了管理元数据,动员人员,技术和实践的方法和愿景。而且,元数据管理框架与数据治理紧密地交织在一起。做好元数据管理需要在整个组织中建立牢固的元数据管理框架基础。

四、元数据管理工具介绍

亿信华辰元数据管理平台(EsPowerMeta)提供了完善的元模型和元数据维护功能,采用多种方式简化元数据维护的复杂性。系统支持元数据的自动获取和时间调度管理,支持手工创建和变更元数据,并配合版本管理,能完整存储元数据整个生命周期动态和变化,方便用户跟踪业务运作的历史数据。亿信华辰元数据管理平台应用案例:

佛山某区政务服务数据管理局元数据管理平台

建设内容:

政务服务数据管理局基于区内各政府部门的数据进行汇总和治理,面向各部门提供统一的数据服务和应用,实现“用数据决策、用数据监管、用数据创业”的数据统筹发展运行机制。本项目通过元数据管理平台,梳理各类数据来源,实现卫计委、工商局、流管局等各政府部门的元数据自动采集,理清现有的数据流转流程和数据架构,并基于其构建一套新的数据架构,同时提供数据血缘分析、影响分析等,最后形成全区的政务数据地图。

项目价值:

帮助数据管理局确定数据来源和数据架构,为后续数据标准建设,数据质量管理打下坚实的基础,并为政务资源目录、自主填报系统、教育无纸化等应用提供支撑。

④ 如何有效的进行数据治理和数据管控

从技术实施角度看,主要包含“理”“采”“存”“管”“用”这五个,即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。

数据资源梳理:数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单,包含组织机构、业务事项、信息系统,以及以数据库、网页、文件和 API 接口形式存在的数据项资源,本步骤的输出物为分门别类的数据资源清单。

数据采集清洗:通过可视化的 ETL 工具(例如阿里的 DataX,Pentaho Data Integration)将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程,目的是将散落和零乱的数据集中存储起来。

基础库主题库建设:一般情况下,可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据,或称主数据,例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据,例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务主题数据综合分析而得的分析结果数据,例如市场监督管理局的企业综合评价、产业区域分布、高危企业分布等。那么基础库和主题库的建设就是在对业务理解的基础上,基于易存储、易管理、易使用的原则抽像数据存储结构,说白了,就是基于一定的原则设计数据库表结构,然后再根据数据资源清单设计数据采集清洗流程,将整洁干净的数据存储到数据库或数据仓库中。

元数据管理:元数据管理是对基础库和主题库中的数据项属性的管理,同时,将数据项的业务含义与数据项进行了关联,便于业务人员也能够理解数据库中的数据字段含义,并且,元数据是后面提到的自动化数据共享、数据交换和商业智能(BI)的基础。需要注意的是,元数据管理一般是对基础库和主题库中(即核心数据资产)的数据项属性的管理,而数据资源清单是对各类数据来源的数据项的管理。

血缘追踪:数据被业务场景使用时,发现数据错误,数据治理团队需要快速定位数据来源,修复数据错误。那么数据治理团队需要知道业务团队的数据来自于哪个核心库,核心库的数据又来自于哪个数据源头。我们的实践是在元数据和数据资源清单之间建立关联关系,且业务团队使用的数据项由元数据组合配置而来,这样,就建立了数据使用场景与数据源头之间的血缘关系。 数据资源目录:数据资源目录一般应用于数据共享的场景,例如政府部门之间的数据共享,数据资源目录是基于业务场景和行业规范而创建,同时依托于元数据和基础库主题而实现自动化的数据申请和使用。

质量管理:数据价值的成功发掘必须依托于高质量的数据,唯有准确、完整、一致的数据才有使用价值。因此,需要从多维度来分析数据的质量,例如:偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。需要注意的是,优秀的数据质量模型的设计必须依赖于对业务的深刻理解,在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响,例如 Hadoop,MapRece,HBase 等。

商业智能(BI):数据治理的目的是使用,对于一个大型的数据仓库来说,数据使用的场景和需求是多变的,那么可以使用 BI 类的产品快速获取需要的数据,并分析形成报表,像派可数据就属于专业的BI厂商。

数据共享交换:数据共享包括组织内部和组织之间的数据共享,共享方式也分为库表、文件和 API 接口三种共享方式,库表共享比较直接粗暴,文件共享方式通过 ETL 工具做一个反向的数据交换也就可以实现。我们比较推荐的是 API 接口共享方式,在这种方式下,能够让中心数据仓库保留数据所有权,把数据使用权通过 API 接口的形式进行了转移。API 接口共享可以使用 API 网关实现,常见的功能是自动化的接口生成、申请审核、限流、限并发、多用户隔离、调用统计、调用审计、黑白名单、调用监控、质量监控等等。

⑤ 公司如何做好元数据管理

最近Gartner在研究报告里明确指出,“元数据管理将是未来企业信息化的核心基础设施”。确实,在大数据环境中,如果企业不通过元数据管理把多种复杂的信息管理起来,很难做到信息的有效利用。但是,很多企业逐渐发现元数据管理直接给企业业务创新带来的价值非常有限。目前的元数据管理现状是什么?如何充分释放元数据管理的业务价值?有哪些实践经验可以借鉴?

目录:

一、现状分析:孤独的企业元数据管理

二、解决方案:面向业务释放元数据价值

三、技术实践:普元的企业元数据管理实践

一、现状分析:孤独的企业元数据管理

元数据管理不能给业务创新带来直接价值的主要原因,在于目前的元数据管理太“孤独”,这种孤独主要体现在以下四个方面:

⑥ 元数据的管理

初期的元数据管理通常是在事后由相应的元数据管理软件,从已开发完成的应用系统中抽取用户所关注的各类元数据,再由人工补录一些注释和管理用的属性。这种模式称之为基本元数据管理,由于存在元数据获取的不及时,存在为了减少工作量有些属性空缺的风险,存在对应用体验支持力度的不足,实际应用并不普遍。在新一代应用系统(AS2.0) 中,业务功能通常都是由相应的构件,以人机交互的形式,通过在人工业务语境的对话过程中组装实现的。这个过程中,不仅完成了业务应用所需要的应用软件元素,同时也完成了应用软件元素相对应的元数据的采集。这种模式称之为主动元数据管理。以下是元数据管理的主要功能,后2部分属于主动元数据管理的内容。 元模型管理。利用可视化的用户体验,实现包括元模型添加、删除、修改、发布等维护功能;并且能让用户直观地了解已有元模型的分类、统计、使用情况、变更追溯,以及每个元模型的生命周期管理等等。
元数据管理。元数据管理实现针对元数据的基本管理功能。如元数据的添加、删除、修改属性等维护功能;元数据之间关系的建立、删除和跟踪等关系维护功能;提供元数据发布流程管理,可以更好地管理和跟踪元数据的整个生命周期;元数据自身质量核查、元数据查询、元数据统计、元数据使用情况分析、元数据变更、元数据版本和生命周期管理等功能。
数据分析。元数据分析功能主要实现针对元数据的基本分析功能。包括血缘分析(血统分析)、影响分析、实体关联分析、实体影响分析、主机拓扑分析、指标一致性分析等。 各类应用软件元素产生的元数据进入元数据平台后,元数据管理可通过元数据服务功能,为需要这些元数据的工具软件或构件提供元数据服务。如将前面所述的各种工具软件的定义结果,以相应的标准协议进行打包形成方案(应用脚本),提供给其它应用环境中的物理表建立工具、ETL工具、多维模型建立工具、结果展现工具等底层工具,从而实现应用的重用和共享。同时,元数据服务还可为业务应用功能提供辅助的元数据帮助信息,如业务功能中加工结果和指标的说明、提示,及其血缘分析等,让用户可明确、直观地了解数据的来源、加工过程及加工算法等信息。

⑦ 什么是元数据管理及其作用

元数据管理定义如下:

1、元数据管理包括业务词汇表的发展,数据元素和实体的定义,业务规则和算法以及数据特征。

2、最基础的管理是管理业务元数据的收集、组织和维持。

3、对技术型元数据的应用对主数据管理和数据治理项目的成功至关重要。

元数据管理作用:

1、元数据是“所有系统、文档和流程中包含的所有数据的语境

2、如果没有元数据,组织IT系统中收集和存储的所有数据都会失去意义,也就没有业务价值。

3、元数据管理是一项和主数据管理、数据治理一样重要的功能,因为元数据管理是每一个这些准则的基础组件。

4、组织部署了数据治理项目,但没有解决元数据管理问题,仍然获得了成功,那是因为很多数据管家执行的活动和任务在聚焦元数据和元数据的管理流程。

⑧ 添加元数据后,资产会变得

您是想问添加元数据后,资产会有什么变化是吗?添加元数据后,资产会变得更加清晰好管理。元数据有利于企业盘点的企业的数据资产,以及进行数据之间的关联关系分析。元数据管理可借助管理工具使管理工作变得相对快速和简单一些,如元数据的采集、元数据存储、数据血统、数据地图、元数据整合等都可以通过元数据工具来实现。

⑨ 元数据管理及其作用是什么

元数据管理是一个根据使用这些资产的方式来管理组织的数据资产的流程。利用可视化的用户体验,实现包括元模型添加、删除、修改、发布等维护功能;并且能让用户直观地了解已有元模型的分类、统计、使用情况、变更追溯,以及每个元模型的生命周期管理等等

阅读全文

与如何利用元数据管理资产相关的资料

热点内容
行驶证能查询车辆什么信息 浏览:798
客户问如何知道你的产品是正品 浏览:501
什么是重命名数据类型 浏览:765
作为产品经理如何写app的逻辑 浏览:123
小米换机怎么选择第三方应用程序 浏览:248
酒店代理怎么推广 浏览:855
如何跟踪小程序交互代码 浏览:240
我想买个小程序在哪里找 浏览:612
日照运营商大数据多少钱一条 浏览:80
电子表格如何设置数据下拉排序 浏览:610
春雪食品有什么产品 浏览:229
车险怎么代理保险 浏览:623
怎么看狗币交易了多少 浏览:246
微信上小程序怎么绑定手机号 浏览:193
为什么数据网络延迟一直100 浏览:989
喜云怎么添加自己的产品 浏览:368
车易升obd怎么看数据 浏览:483
WEB应用程序设计专业学什么 浏览:177
旅游卡代理费用多少 浏览:191
网上怎么代理五谷磨房 浏览:534