1. 数据处理有什么流程
数据治理流程是从数据规划、数据采集、数据储存管理到数据应用整个流程的无序到有序的过程,也是标准化流程的构建过程。
根据每一个过程的特点,我们可以将数据治理流程总结为四个字,即“理”、“采”、“存”、“用”。
1.理:梳理业务流程,规划数据资源
对于企业来说,每天的实时数据都会超过TB级别,需要采集用户的哪些数据,这么多的数据放在哪里,如何放,以什么样的方式放?
这些问题都是需要事先进行规划的,需要有一套从无序变为有序的流程,这个过程需要跨部门的协作,包括了前端、后端、数据工程师、数据分析师、项目经理等角色的参与。
2.采:ETL采集、去重、脱敏、转换、关联、去除异常值
前后端将采集到的数据给到数据部门,数据部门通过ETL工具将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,目的是将散落和零乱的数据集中存储起来。
3.存:大数据高性能存储及管理
这么多的业务数据存在哪里?这需要有一高性能的大数据存储系统,在这套系统里面将数据进行分门别类放到其对应的库里面,为后续的管理及使用提供最大的便利。
4.用:即时查询、报表监控、智能分析、模型预测
数据的最终目的就是辅助业务进行决策,前面的几个流程都是为最终的查询、分析、监控做铺垫。
这个阶段就是数据分析师的主场,分析师们运用这些标准化的数据可以进行即时的查询、指标体系和报表体系的建立、业务问题的分析,甚至是模型的预测。
2. 数据化管理的数据化管理的基本流程
收集数据,是指将业务领域类的一切活动进行计量,然后由专人进行管理。计量的前提是要设计与业务活动实际相符合的表格单据(文件记录)。数据记录一般由一线的业务操作人员填写完成,最终通过各基层管理干部逐级上交。
收集数据中必须注意的是数据的真实性、准确性、时效性。对于基础数据的质疑可以采用统计方法进行检验判别。 整理数据,是指将收集完毕的数据进行归类,对有效的数据进行统计,剔除无效数据。整理数据中需要注意数据的真伪、时效等。
3、记录数据。
记录数据,是指将一切有效的数据记录在特定形式的数据文档中。在这个环节,需要设计一套适合业务实际的数据统计表格,命名为“业务名称+基础数据库.xls” 的形式,存储在固定的硬盘存储区域。此环节尤其要注意数据保存,切忌不能因重装系统、电脑损坏等造成基础数据遗失,因此,需要操作者进行必要的数据备份。 是指根据管理需要,从基础数据库中选取有关联的数据,通过常规的数据统计分析方法形成特定报表予以呈现。常规的数据分析方法包括:①数据展示(数据表格、数据图表)。即充分利用计算机操作软件,将数据进行直观的展示。②数据分析。数据分析常规方法是对比分析(包括同比、环比、定基比)、趋势分析(时间段趋势分析)、结构分析、异常分析等。数据分析过程中,需要大量运用常规的统计分析软件进行,包括一般人熟练使用的office excell、和专业统计分析软件SPSS、e-views Minitab等。③ 如果在对于管理者统计专业知识底子丰厚的情况下,还有必要对数据进行检验分析,以呈现数据的准确性。
以上数据分析载体为报表,报表设计应简洁、明确、适合管理层的接受能力,和必须注意时效性。 是指经过以上步骤形成的数据报表,基本能够明确指出业务工作中存在的基本状况,因此,在向管理层提供报表的同时,需要明确指出报表中显现的各类突出问题,并根据自己所掌握的能力提出合理的管理建议,以供管理者决策使用。