① 各位大神,数据仓库分层 DWD DWB DWS 分别是什么缩写啊
DW :data warehouse 翻译成数据仓库
DW数据分层,由下到上为 DWD,DWB,DWS
DWD:data warehouse detail 细节数据层,有的也称为 ODS层,是业务层与数据仓库的隔离层。
DWB:data warehouse base 基础数据层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。
DWS:data warehouse service 服务数据层,基于DWB上的基础数据,整合汇总成分析某一个主题域的服务数据,一般是宽表。
(1)数据分层的因素有哪些扩展阅读
数据仓库分层的原因
1、通过数据预处理提高效率,因为预处理,所以会存在冗余数据
2、如果不分层而业务系统的业务规则发生变化,就会影响整个数据清洗过程,工作量巨大
3、通过分层管理来实现分步完成工作,这样每一层的处理逻辑就简单了
标准的数据仓库分层:ods(临时存储层),pdw(数据仓库层),mid(数据集市层),app(应用层)
4、空间换时间。通过建设多层次的数据模型供用户使用,避免用户直接使用操作型数据,可以更高效的访问数据。
5、把复杂问题简单化。讲一个复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单和容易理解。而且便于维护数据的准确性,当数据出现问题之后,可以不用修复所有的数据,只需要从有问题的步骤开始修复。
6、便于处理业务的变化。随着业务的变化,只需要调整底层的数据,对应用层对业务的调整零感知
② 为什么要对数据流图分层
对一个大型的系统,如用一张数据流图画出所有的数据流和加工,则图纸将极其庞大复杂,因而难以理解。为了控制复杂性,对数据流图分层,能够把复杂的数据简单化。
数据流图只有一层,但是如果编号为3的加工“付款”和编号为7的加工“复审”仍很复杂,一时难以理解,则可以将它们进一步分解成加工3.1、3.2、……,以及加工7.1、7.2、7.3、……。”等,如此继续下去,直到每个加工都足够简单易于理解为止。
逐层分解的方式不是一下子引进太多的细节,而是有控制地逐步增加细节,实现从抽象到具体的逐步过渡,这是有助于理解一个复杂的问题的。
用数据流图来描述“逐层分解”,就得到了一套分层的数据流图。