A. 什麼是數據倉庫為什麼要建立數據倉庫數據倉庫有什麼特點
數據倉庫概念:
英文名稱為Data Warehouse,可簡寫為DW或DWH。數據倉庫的目的是構建面向分析的集成化數據環境,為企業提供決策支持(Decision Support)。它出於分析性報告和決策支持目的而創建。
這就要從數倉能解決的問題或者痛點來說,大型公司的業務相對復雜,隨著公司業務的擴大,跨BU,跨BG的業務往來越來越多,而數據一般分散在各個部門,這樣需要統一的平台來存儲這樣的跨系統的數據。此外,近年來分庫分表等應用越來越多,僅通過傳統關系型資料庫做數據分析和挖掘已經不能滿足要求。當然隨著手機APP的大量使用,埋點等數據一般都以log日誌方式存在,需要一個新的介質後者方案來解析這些數據,為了解決這個問題,數倉技術應運而生。
反過來講,如果公司系統較為單純,數據量比較小,傳統關系型資料庫以及完全可以滿足數據檢索和分析的需求,就不需要花成本來構建數倉。
其實構建數倉的原因還有很多,但無非是用一個更可靠的平台把分散的低價值的數據通過清洗,整合,分析挖掘使得數據的價值最大化。
B. 數據倉庫有哪些模型舉例說明
1、星型模型
星型模型是一種由一點向外輻射的建模範例,中間有一單一對象沿半徑向外連接到多個對象。星型模型反映了最終用戶對商務查詢的看法:銷售事實、賠償、付款和貨物的托運都用一維或多維描述(按月、產品、地理位置)。星型模型中心的對象稱為「事實表」,與之相連的對象稱為「維表」。對事實表的查詢就是獲取指向維表的指針表,當對事實表的查詢與對維表的查詢結合在一起時,就可以檢索大量的信息。通過聯合,維表可以對查找標准細剖和聚集。
2、雪花模型
雪花模型是對星型模型的擴展,每一個點都沿半徑向外連接到多個點.雪花模型對星型的維表進一步標准化,它的優點是通過最大限度的減少數據存儲量以及把較小的標准化表(而不是大的非標准化表)聯合在一起來改善查詢性能。化及維的較低的粒度,雪花模型增加了應用程序的靈活性。
3、混合模型
混合模型是星型模型和雪花模型的一種折衷模式,其中星型模型由事實表和標准化的維表組成,雪花模型的所有維表都進行了標准化。在混合模型中,只有最大的維表才進行標准化,這些表一般包含一列列完全標准化的(重復的)數據。
C. 數據倉庫的主要特點有哪些
數據倉庫是面向主題的、集成的、非易失的和時變的數據集合,用以支持管理決策。
傳統資料庫中,最大的特點是面向應用進行數據的組織,各個業務系統可能是相互分離的。而數據倉庫則是面向主題的。主題是一個抽象的概念,是較高層次上企業信息系統中的數據綜合、歸類並進行分析利用的抽象。在邏輯意義上,它是對應企業中某一宏觀分析領域所涉及的分析對象。
通過對分散、獨立、異構的資料庫數據進行抽取、清理、轉換和匯總便得到了數據倉庫的數據,這樣保證了數據倉庫內的數據關於整個企業的一致性。
數據倉庫中的綜合數據不能從原有的資料庫系統直接得到。因此在數據進入數據倉庫之前,必然要經過統一與綜合,這一步是數據倉庫建設中最關鍵、最復雜的一步,所要完成的工作有:1.要統一源數據中所有矛盾之處,如欄位的同名異義、異名同義、單位不統一、字長不一致,等等。2.進行數據綜合和計算。數據倉庫中的數據綜合工作可以在從原有資料庫抽取數據時生成,但許多是在數據倉庫內部生成的,即進入數據倉庫以後進行綜合生成的。
非易失性
數據倉庫的數據反映的是一段相當長的時間內歷史數據的內容,是不同時點的資料庫快照的集合,以及基於這些快照進行統計、綜合和重組的導出數據。
數據非易失性主要是針對應用而言。數據倉庫的用戶對數據的操作大多是數據查詢或比較復雜的挖掘,一旦數據進入數據倉庫以後,一般情況下被較長時間保留。數據倉庫中一般有大量的查詢操作,但修改和刪除操作很少。因此,數據經加工和集成進入數據倉庫後是極少更新的,通常只需要定期的載入和更新。
數據倉庫包含各種粒度的歷史數據。數據倉庫中的數據可能與某個特定日期、星期、月份、季度或者年份有關。數據倉庫的目的是通過分析企業過去一段時間業務的經營狀況,挖掘其中隱藏的模式。雖然數據倉庫的用戶不能修改數據,但並不是說數據倉庫的數據是永遠不變的。分析的結果只能反映過去的情況,當業務變化後,挖掘出的模式會失去時效性。因此數據倉庫的數據需要更新,以適應決策的需要。從這個角度講,數據倉庫建設是一個項目,更是一個過程。數據倉庫的數據隨時間的變化表現在以下幾個方面:
(1) 數據倉庫的數據時限一般要遠遠長於操作型數據的數據時限。
(2) 操作型系統存儲的是當前數據,而數據倉庫中的數據是歷史數據。
(3) 數據倉庫中的數據是按照時間順序追加的,它們都帶有時間屬性。
D. 數據倉庫是什麼啊
數據倉庫是在企業管理和決策中面向主題的、集成的、與時間相關的、不可修改的數據集合
數據倉庫,英文名稱為Data Warehouse,可簡寫為DW。
數據倉庫之父Bill Inmon在1991年出版的「Building the Data Warehouse」一書中所提出的定義被廣泛接受——數據倉庫(Data Warehouse)是一個面向主題的(Subject Oriented)、集成的(Integrated)、相對穩定的(Non-Volatile)、反映歷史變化(Time Variant)的數據集合,用於支持管理決策(Decision Making Support)。
◆面向主題:操作型資料庫的數據組織面向事務處理任務,各個業務系統之間各自分離,而數據倉庫中的數據是按照一定的主題域進行組織的。
◆集成的:數據倉庫中的數據是在對原有分散的資料庫數據抽取、清理的基礎上經過系統加工、匯總和整理得到的,必須消除源數據中的不一致性,以保證數據倉庫內的信息是關於整個企業的一致的全局信息。
◆相對穩定的:數據倉庫的數據主要供企業決策分析之用,所涉及的數據操作主要是數據查詢,一旦某個數據進入數據倉庫以後,一般情況下將被長期保留,也就是數據倉庫中一般有大量的查詢操作,但修改和刪除操作很少,通常只需要定期的載入、刷新。
◆反映歷史變化:數據倉庫中的數據通常包含歷史信息,系統記錄了企業從過去某一時點(如開始應用數據倉庫的時點)到目前的各個階段的信息,通過這些信息,可以對企業的發展歷程和未來趨勢做出定量分析和預測。
數據倉庫是一個過程而不是一個項目。
數據倉庫系統是一個信息提供平台,他從業務處理系統獲得數據,主要以星型模型和雪花模型進行數據組織,並為用戶提供各種手段從數據中獲取信息和知識。
從功能結構化分,數據倉庫系統至少應該包含數據獲取(Data Acquisition)、數據存儲(Data Storage)、數據訪問(Data Access)三個關鍵部分
E. 什麼是數據倉庫
數據倉庫(DataWareHouse),簡稱為DW,是為給企業所有級別的決策制定過程,提供所有類型數據支持的戰略集合。被認為是商業智能的核心組件,由比爾·恩門於1990年提出。它是信息的中央存儲庫,出於分析性報告和決策支持目的而創建。
F. 什麼是數據倉庫,數據倉庫如何分層
數據倉庫分層的原因
1通過數據預處理提高效率,因為預處理,所以會存在冗餘數據
2如果不分層而業務系統的業務規則發生變化,就會影響整個數據清洗過程,工作量巨大
3通過分層管理來實現分步完成工作,這樣每一層的處理邏輯就簡單了
標準的數據倉庫分層:ods(臨時存儲層),pdw(數據倉庫層),mid(數據集市層),app(應用層)
ods:歷史存儲層,它和源系統數據是同構的,而且這一層數據粒度是最細的,這層的表分為兩種,一種是存儲當前需要載入的數據,一種是用於存儲處理完後的數據。
pdw:數據倉庫層,它的數據是干凈的數據,是一致的准確的,也就是清洗後的數據,它的數據一般都遵循資料庫第三範式,數據粒度和ods的粒度相同,它會保存bi系統中所有歷史數據
mid:數據集市層,它是面向主題組織數據的,通常是星狀和雪花狀數據,從數據粒度將,它是輕度匯總級別的數據,已經不存在明細的數據了,從廣度來說,它包含了所有業務數量。從分析角度講,大概就是近幾年
app:應用層,數據粒度高度匯總,倒不一定涵蓋所有業務數據,只是mid層數據的一個子集。
數據倉庫的目的是構建面向分析的集成化數據環境,為企業提供決策支持。數據倉庫的context也可以理解為:數據源,數據倉庫,數據應用
數據倉庫可以理解為中間集成化數據管理的一個平台
etl(抽取extra,轉化transfer,裝載load)是數據倉庫的流水線,也可以認為是數據倉庫的血液。
數據倉庫的存儲並不需要存儲所有原始數據,因為比如你存儲冗長的文本數據完全沒必要,但需要存儲細節數據,因為需求是多變的,而且數據倉庫是導入數據必須經過整理和轉換使它面向主題,因為前台資料庫的數據是基於oltp操作組織優化的,這些可能不適合做分析,面向主題的組織形式才有利於分析。
多維數據模型就是說可以多維度交叉查詢和細分,應用一般都是基於聯機分析處理(online analytical process OLAP),面向特定需求群體的數據集市會基於多位數據模型構建
而報表展示就是將聚合數據和多維分析數據展示到報表,提供簡單和直觀的數據。
元數據,也叫解釋性數據,或者數據字典,會記錄數據倉庫中模型的定義,各層級之間的映射關系,監控數據倉庫的數據狀態和etl的任務運行狀態。一般通過元數據資料庫來統一存儲和管理元數據。
G. 簡述數據倉庫有哪些主要的特徵
1、數據倉庫是面向主題的;操作型資料庫的數據組織面向事務處理任務,而數據倉庫中的數據是按照一定的主題域進行組織。主題是指用戶使用數據倉庫進行決策時所關心的重點方面,一個主題通常與多個操作型信息系統相關。
2、數據倉庫是集成的,數據倉庫的數據有來自於分散的操作型數據,將所需數據從原來的數據中抽取出來,進行加工與集成,統一與綜合之後才能進入數據倉庫;
數據倉庫中的數據是在對原有分散的資料庫數據抽取、清理的基礎上經過系統加工、匯總和整理得到的,必須消除源數據中的不一致性,以保證數據倉庫內的信息是關於整個企業的一致的全局信息。
數據倉庫的數據主要供企業決策分析之用,所涉及的數據操作主要是數據查詢,一旦某個數據進入數據倉庫以後,一般情況下將被長期保留,也就是數據倉庫中一般有大量的查詢操作,但修改和刪除操作很少,通常只需要定期的載入、刷新。
數據倉庫中的數據通常包含歷史信息,系統記錄了企業從過去某一時點(如開始應用數據倉庫的時點)到當前的各個階段的信息,通過這些信息,可以對企業的發展歷程和未來趨勢做出定量分析和預測。
3、數據倉庫是不可更新的,數據倉庫主要是為決策分析提供數據,所涉及的操作主要是數據的查詢;
4、數據倉庫是隨時間而變化的,傳統的關系資料庫系統比較適合處理格式化的數據,能夠較好的滿足商業商務處理的需求。穩定的數據以只讀格式保存,且不隨時間改變。
H. 數據倉庫的技術結構有哪些
是這個么
不懂哎
O(∩_∩)O~
(一)
數據源
是
數據倉庫
系統的
基礎
,是整個系統的數據源泉。通常包括企業
內部信息
和
外部信息
。內部信息包括存放於RDBMS中的各種業務處理數據和各類
文檔
數據。外部信息包括各類法律法規、
市場信息
和
競爭對手
的信息等等;
(二)數據的存儲與管理
是整個數據倉庫系統的
核心
。數據倉庫的真正
關鍵
是數據的存儲和管理。數據倉庫的組織管理方式決定了它有別於
傳統資料庫
,
同時
也決定了其對
外部數據
的表現形式。要決定採用什麼產品和技術來建立數據倉庫的核心,則需要從數據倉庫的技術特點著手分析。針對現有各業務系統的數據,進行抽取、清理,並有效集成,按照主題進行組織。數據倉庫按照數據的
覆蓋范圍
可以分為
企業級數據倉庫
和部門級數據倉庫(通常稱為
數據集市
)。
(三)OLAP(聯機分析處理)
伺服器
對分析需要的數據進行有效集成,按多維
模型
予以組織,以便進行
多角度
、多層次的分析,並發現
趨勢
。其具體實現可以分為:ROLAP(關系型在線分析處理)、MOLAP(多維在線分析處理)和HOLAP(混合型線上分析處理)。ROLAP基本數據和
聚合數據
均存放在RDBMS之中;MOLAP基本數據和聚合數據均存放於
多維資料庫
中;HOLAP基本數據存放於RDBMS之中,聚合數據存放於多維資料庫中。
(四)
前端
工具
主要包括各種
報表工具
、查詢工具、數據分析工具、
數據挖掘工具
以數據挖掘及各種基於數據倉庫或數據集市的應用開發工具。其中數據分析工具主要針對OLAP伺服器,報表工具、數據挖掘工具主要針對數據倉庫。
I. 數據倉庫的模型有哪些
1. 星型模式
星形模式(Star Schema)是最常用的維度建模方式。星型模式是以事實表為中心,所有的維度表直接連接在事實表上,像星星一樣。星形模式的維度建模由一個事實表和一組維表成,且具有以下特點:a. 維表只和事實表關聯,維表之間沒有關聯;b. 每個維表主鍵為單列,且該主鍵放置在事實表中,作為兩邊連接的外鍵;c. 以事實表為核心,維表圍繞核心呈星形分布;
星座模型