㈠ 数据分层法的什么是数据分层法
数据分层法的应用,主要是一种系统概念,即在于要想把相当复杂的资料进行处理,就得懂得如何把这些资料加以有系统有目的加以分门别类的归纳及统计。
科学管理强调的是以管理的技法来弥补以往靠经验靠视觉判断的管理的不足。而此管理技法,除了建立正确的理念外,更需要有数据的运用,才有办法进行工作解析及采取正确的措施。
如何建立原始的数据及将这些数据依据所需要的目的进行集计,也是诸多品管手法的最基础工作。
举个例子:我国航空市场近几年随着开放而竞争日趋激烈,航空公司为了争取市场除了加强各种措施外,也在服务品质方面下功夫。我们也可以经常在航机上看到客户满意度的调查。此调查是通过调查表来进行的。调查表的设计通常分为地面的服务品质及航机上的服务品质。地面又分为订票,候机;航机又分为空服态度,餐饮,卫生等。透过这些调查,将这些数据予以集计,就可得到从何处加强服务品质了。
㈡ 什么是分层法
分层法概念
数据分层法就是性质相同的,在同一条件下收集的数据归纳在一起,以便进行比较分析。因为在实际生产中,影响质量变动的因素很多如果不把这些困素区别开来,难以得出变化的规律。数据分层可根据实际情况按多种方式进行。例如,按不同时间,不同班次进行分层,按使用设备的种类进行分层,按原材料的进料时间,原材料成分进行分层,按检查手段,使用条件进行分层,按不同缺陷项目进行分层,等等。数据分层法经常与上述的统计分析表结合使用。
应用
数据分层法的应用,主要是一种系统概念,即在于要想把相当复杂的资料进行处理,就得懂得如何把这些资料加以有系统有目的加以分门别类的归纳及统计。
科学管理强调的是以管理的技法来弥补以往靠经验靠视觉判断的管理的不足。而此管理技法,除了建立正确的理念外,更需要有数据的运用,才有办法进行工作解析及采取正确的措施。
如何建立原始的数据及将这些数据依据所需要的目的进行集计,也是诸多品管手法的最基础工作。
举个例子:我国航空市场近几年随着开放而竞争日趋激烈,航空公司为了争取市场除了加强各种措施外,也在服务品质方面下功夫。我们也可以经常在航机上看到客户满意度的调查。此调查是通过调查表来进行的。调查表的设计通常分为地面的服务品质及航机上的服务品质。地面又分为订票,候机;航机又分为空服态度,餐饮,卫生等。透过这些调查,将这些数据予以集计,就可得到从何处加强服务品质了。
㈢ 什么是数据仓库,数据仓库如何分层
数据仓库分层的原因
1通过数据预处理提高效率,因为预处理,所以会存在冗余数据
2如果不分层而业务系统的业务规则发生变化,就会影响整个数据清洗过程,工作量巨大
3通过分层管理来实现分步完成工作,这样每一层的处理逻辑就简单了
标准的数据仓库分层:ods(临时存储层),pdw(数据仓库层),mid(数据集市层),app(应用层)
ods:历史存储层,它和源系统数据是同构的,而且这一层数据粒度是最细的,这层的表分为两种,一种是存储当前需要加载的数据,一种是用于存储处理完后的数据。
pdw:数据仓库层,它的数据是干净的数据,是一致的准确的,也就是清洗后的数据,它的数据一般都遵循数据库第三范式,数据粒度和ods的粒度相同,它会保存bi系统中所有历史数据
mid:数据集市层,它是面向主题组织数据的,通常是星状和雪花状数据,从数据粒度将,它是轻度汇总级别的数据,已经不存在明细的数据了,从广度来说,它包含了所有业务数量。从分析角度讲,大概就是近几年
app:应用层,数据粒度高度汇总,倒不一定涵盖所有业务数据,只是mid层数据的一个子集。
数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持。数据仓库的context也可以理解为:数据源,数据仓库,数据应用
数据仓库可以理解为中间集成化数据管理的一个平台
etl(抽取extra,转化transfer,装载load)是数据仓库的流水线,也可以认为是数据仓库的血液。
数据仓库的存储并不需要存储所有原始数据,因为比如你存储冗长的文本数据完全没必要,但需要存储细节数据,因为需求是多变的,而且数据仓库是导入数据必须经过整理和转换使它面向主题,因为前台数据库的数据是基于oltp操作组织优化的,这些可能不适合做分析,面向主题的组织形式才有利于分析。
多维数据模型就是说可以多维度交叉查询和细分,应用一般都是基于联机分析处理(online analytical process OLAP),面向特定需求群体的数据集市会基于多位数据模型构建
而报表展示就是将聚合数据和多维分析数据展示到报表,提供简单和直观的数据。
元数据,也叫解释性数据,或者数据字典,会记录数据仓库中模型的定义,各层级之间的映射关系,监控数据仓库的数据状态和etl的任务运行状态。一般通过元数据资料库来统一存储和管理元数据。
㈣ 各位大神,数据仓库分层 DWD DWB DWS 分别是什么缩写啊
DW :data warehouse 翻译成数据仓库
DW数据分层,由下到上为 DWD,DWB,DWS
DWD:data warehouse detail 细节数据层,有的也称为 ODS层,是业务层与数据仓库的隔离层。
DWB:data warehouse base 基础数据层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。
DWS:data warehouse service 服务数据层,基于DWB上的基础数据,整合汇总成分析某一个主题域的服务数据,一般是宽表。
(4)地产数据分层是什么扩展阅读
数据仓库分层的原因
1、通过数据预处理提高效率,因为预处理,所以会存在冗余数据
2、如果不分层而业务系统的业务规则发生变化,就会影响整个数据清洗过程,工作量巨大
3、通过分层管理来实现分步完成工作,这样每一层的处理逻辑就简单了
标准的数据仓库分层:ods(临时存储层),pdw(数据仓库层),mid(数据集市层),app(应用层)
4、空间换时间。通过建设多层次的数据模型供用户使用,避免用户直接使用操作型数据,可以更高效的访问数据。
5、把复杂问题简单化。讲一个复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单和容易理解。而且便于维护数据的准确性,当数据出现问题之后,可以不用修复所有的数据,只需要从有问题的步骤开始修复。
6、便于处理业务的变化。随着业务的变化,只需要调整底层的数据,对应用层对业务的调整零感知