① 各位大神,數據倉庫分層 DWD DWB DWS 分別是什麼縮寫啊
DW :data warehouse 翻譯成數據倉庫
DW數據分層,由下到上為 DWD,DWB,DWS
DWD:data warehouse detail 細節數據層,有的也稱為 ODS層,是業務層與數據倉庫的隔離層。
DWB:data warehouse base 基礎數據層,存儲的是客觀數據,一般用作中間層,可以認為是大量指標的數據層。
DWS:data warehouse service 服務數據層,基於DWB上的基礎數據,整合匯總成分析某一個主題域的服務數據,一般是寬表。
(1)數據分層的因素有哪些擴展閱讀
數據倉庫分層的原因
1、通過數據預處理提高效率,因為預處理,所以會存在冗餘數據
2、如果不分層而業務系統的業務規則發生變化,就會影響整個數據清洗過程,工作量巨大
3、通過分層管理來實現分步完成工作,這樣每一層的處理邏輯就簡單了
標準的數據倉庫分層:ods(臨時存儲層),pdw(數據倉庫層),mid(數據集市層),app(應用層)
4、空間換時間。通過建設多層次的數據模型供用戶使用,避免用戶直接使用操作型數據,可以更高效的訪問數據。
5、把復雜問題簡單化。講一個復雜的任務分解成多個步驟來完成,每一層只處理單一的步驟,比較簡單和容易理解。而且便於維護數據的准確性,當數據出現問題之後,可以不用修復所有的數據,只需要從有問題的步驟開始修復。
6、便於處理業務的變化。隨著業務的變化,只需要調整底層的數據,對應用層對業務的調整零感知
② 為什麼要對數據流圖分層
對一個大型的系統,如用一張數據流圖畫出所有的數據流和加工,則圖紙將極其龐大復雜,因而難以理解。為了控制復雜性,對數據流圖分層,能夠把復雜的數據簡單化。
數據流圖只有一層,但是如果編號為3的加工「付款」和編號為7的加工「復審」仍很復雜,一時難以理解,則可以將它們進一步分解成加工3.1、3.2、……,以及加工7.1、7.2、7.3、……。」等,如此繼續下去,直到每個加工都足夠簡單易於理解為止。
逐層分解的方式不是一下子引進太多的細節,而是有控制地逐步增加細節,實現從抽象到具體的逐步過渡,這是有助於理解一個復雜的問題的。
用數據流圖來描述「逐層分解」,就得到了一套分層的數據流圖。