數據倉庫需要哪些知識

㈠ 請問作為數據倉庫人員需要掌握些什麼知識，用到些什麼軟體

sql基礎、數據挖掘理論、數據倉庫理論、報表工具、數據挖掘分析軟體、ETL軟體等等

歡迎來我的數據挖掘群一起討論。
群A:5152925（滿了好像）
群B：17375163 （還有點位子，呵呵）

㈡ 數據倉庫工程師所需具備的知識

資料庫基礎知識，資料庫挖掘原語，各種亂七八糟的模型，挖掘演算法基礎
先就這么多吧，以後還有很多數學有關的東西

㈢ 什麼是數據倉庫

數據倉庫是在企業管理和決策中面向主題的、集成的、與時間相關的、不可修改的數據集合

數據倉庫之父Bill Inmon在1991年出版的「Building the Data Warehouse」一書中所提出的定義被廣泛接受——數據倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、集成的（Integrated）、相對穩定的（Non-Volatile）、反映歷史變化（Time Variant）的數據集合，用於支持管理決策(Decision Making Support)。

◆面向主題：操作型資料庫的數據組織面向事務處理任務，各個業務系統之間各自分離，而數據倉庫中的數據是按照一定的主題域進行組織的。

◆集成的：數據倉庫中的數據是在對原有分散的資料庫數據抽取、清理的基礎上經過系統加工、匯總和整理得到的，必須消除源數據中的不一致性，以保證數據倉庫內的信息是關於整個企業的一致的全局信息。

◆相對穩定的：數據倉庫的數據主要供企業決策分析之用，所涉及的數據操作主要是數據查詢，一旦某個數據進入數據倉庫以後，一般情況下將被長期保留，也就是數據倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的載入、刷新。

◆反映歷史變化：數據倉庫中的數據通常包含歷史信息，系統記錄了企業從過去某一時點(如開始應用數據倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業的發展歷程和未來趨勢做出定量分析和預測。

數據倉庫系統是一個信息提供平台，他從業務處理系統獲得數據，主要以星型模型和雪花模型進行數據組織，並為用戶提供各種手段從數據中獲取信息和知識。

從功能結構化分，數據倉庫系統至少應該包含數據獲取（Data Acquisition）、數據存儲（Data Storage）、數據訪問（Data Access）三個關鍵部分

㈣ 數據倉庫主要解決哪些問題

數據倉庫主要解決哪些問題
企業信息化建設過程中，為了提高日常的工作效率以及提高本企業的市場適應能力，大部分企業會根據市場、客戶和企業本身建立不同的業務系統來滿足需求。但此系統往往因為市場需求、設計理念、建設時間、平台選擇等因素的不一致性而導致系統間相互獨立、信息分散等特點，從而形成信息孤島，為了解決上述問題，企業就需要一種行之有效的技術進行信息整合，通過集成不同的系統信息為企業提供統一的決策分析平台，幫助企業解決實際的業務問題（如：如何提高客戶滿意度和忠誠度，降低成本、提高利潤，合理分配資源，有效進行全面績效管理等）。人們往往會採用數據倉庫技術實現。
使用數據倉庫有3個方面的好處：
（1）數據倉庫能夠為業務部門提供准確、及時的的報表。雖然給業務系統也能夠提供報表功能，但由於業務處理系統是為實現某個業務功能開發的，業務處理系統中的報表只能提供局部的信息，無法提供關於企業整體的信息，使管理人員有「只見樹木，不見森林」的感覺。另外業務系統中的報表相對是比較固定的，對於業務人員臨時提出來的一些分析要求，必須經過軟體人員大量艱苦的開發工作才能實現，業務人員往往感覺報表功能不能滿足管理上的要求。而在數據倉庫中提供的靈活的報表工具，可以很方便地增加新的報表，適應業務的變化。
（2）數據倉庫可以賦予管理人員更強大的分析能力。聯機分析處理（OLAP）是數據倉庫中經常採用的一種分析手段。OLAP技術使得用戶能夠方便地從多個角度對信息進行分析，使業務人員可以了解更多的信息。例如，對於業務收入指標，我們可以了解到每個產品是通過哪些渠道銷售出去的，銷售給哪些類型的客戶，我們不僅可以看到某個區域總的銷售收入，而且可以看到在該區域中每個城市、每個商店的銷售情況，直到查看到具體的一筆銷售合同。OLAP分析的另一個好處是它採用業務名詞而不是技術術語對事物進行描述，因此業務人員可以清晰地了解數據對象的含義，並且無需依賴技術人員，就可以自主地進行業務分析。
（3）數據倉庫是進行數據挖掘、知識發現的基礎。利用數據挖掘技術，我們可以發現數據中存在的模式和規律，例如可以了解到不容的用戶群體具有什麼樣的消費行為，對於價格的敏感度如何。利用這些知識，可以幫助企業對未來的變化趨勢進行預測，制定更加准確的市場策略，實現交叉銷售/向上銷售的目標。由於數據倉庫已經實現了企業數據的整合，提供了反映企業全局的、一致的信息，因此，在數據倉庫的基礎上進行數據挖掘，可以使預測分析結果更加准確、更完整。
隨著雲計算、大數據的不斷深入，伴之而來的是海量的數據，那麼如何更好的從這些數據中提取有用的信息呢？那數據倉庫就發揮了他巨大的潛力。

㈤ 什麼是數據倉庫為什麼要建立數據倉庫數據倉庫有什麼特點

數據倉庫概念:
英文名稱為Data Warehouse，可簡寫為DW或DWH。數據倉庫的目的是構建面向分析的集成化數據環境，為企業提供決策支持（Decision Support）。它出於分析性報告和決策支持目的而創建。
這就要從數倉能解決的問題或者痛點來說，大型公司的業務相對復雜，隨著公司業務的擴大，跨BU，跨BG的業務往來越來越多，而數據一般分散在各個部門，這樣需要統一的平台來存儲這樣的跨系統的數據。此外，近年來分庫分表等應用越來越多，僅通過傳統關系型資料庫做數據分析和挖掘已經不能滿足要求。當然隨著手機APP的大量使用，埋點等數據一般都以log日誌方式存在，需要一個新的介質後者方案來解析這些數據，為了解決這個問題，數倉技術應運而生。

反過來講，如果公司系統較為單純，數據量比較小，傳統關系型資料庫以及完全可以滿足數據檢索和分析的需求，就不需要花成本來構建數倉。

其實構建數倉的原因還有很多，但無非是用一個更可靠的平台把分散的低價值的數據通過清洗，整合，分析挖掘使得數據的價值最大化。

㈥ 新接觸數據倉庫應該怎樣入門

額 我是做DW的 先說你第一個問題哈 ETL 表面意思是清洗轉換載入 這個不說了 網上自己搜就行，我要說的是，這個過程其實實施起來沒網上說的那麼復雜，ETL是為你的數據從業務資料庫流入到DW服務的 第二個問題 你現在有前台界面和資料庫建DW有這些東西足夠你用了，如果說還缺點什麼，最好把你們統計系統的資料庫數據字典搞一份 總結一下 你現在其實最缺的不是技術 是例子 因為我猜你還不知道DW應該長什麼樣 推薦你本書，拉爾夫的《數據倉庫工具箱》 另外補充樓上說的 數據量大小和用不用工具是沒有半毛錢關系的 新手推薦手寫

㈦ 資料庫工程師需要掌握哪些知識

一般資料庫工程師的主要工作包括:數據備份;資料庫日常維護;數據結構方面的設計;SQL調優;解決由於資料庫操作所造成的系統性能問題;給開發人員開展一些資料庫方面的培訓。那麼成為一名合格的資料庫工程師需掌握哪些知識技能呢？
一、資料庫應用系統分析及規劃：1.軟體工程與軟體生命周期。 2.資料庫系統生命周期。 3.資料庫開發方法與工具。 4.資料庫應用體系結構。 5.資料庫應用介面。
二、資料庫設計及實現：1．概念設計。 2.邏輯設計。 3.物理設計。 4.資料庫對象實現及操作。
三、資料庫存儲技術：1．存儲與文件結構。 2. 索引技術。
四、並發控制技術：1．事務管理。 2.並發控制技術。3.死鎖處理。
五、資料庫管理與維護：1、數據完整性。 2、資料庫安全性。 3、資料庫可靠性。 4、監控分析。 5、參數調整。 6、查詢優化。 7、空間管理。
六、資料庫技術的發展與新技術：1、分布式資料庫。 2、對象資料庫。 3、並行資料庫。 4、數據倉庫與數據挖掘。

㈧ 做數據倉庫要學哪些

熟悉主流資料庫，如oracle、DB2、SQL server 等，還要熟悉數據倉庫建模。

㈨ 數據倉庫是做什麼的

目前，數據倉庫一詞尚沒有一個統一的定義，著名的數據倉庫專家W.H.Inmon在其著作《Building the Data Warehouse》一書中給予如下描述：數據倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、集成的（Integrate）、相對穩定的（Non-Volatile）、反映歷史變化（Time Variant）的數據集合，用於支持管理決策。對於數據倉庫的概念我們可以從兩個層次予以理解，首先，數據倉庫用於支持決策，面向分析型數據處理，它不同於企業現有的操作型資料庫；其次，數據倉庫是對多個異構的數據源有效集成，集成後按照主題進行了重組，並包含歷史數據，而且存放在數據倉庫中的數據一般不再修改。

根據數據倉庫概念的含義，數據倉庫擁有以下四個特點：
1、面向主題。操作型資料庫的數據組織面向事務處理任務，各個業務系統之間各自分離，而數據倉庫中的數據是按照一定的主題域進行組織。主題是一個抽象的概念，是指用戶使用數據倉庫進行決策時所關心的重點方面，一個主題通常與多個操作型信息系統相關。

2、集成的。面向事務處理的操作型資料庫通常與某些特定的應用相關，資料庫之間相互獨立，並且往往是異構的。而數據倉庫中的數據是在對原有分散的資料庫數據抽取、清理的基礎上經過系統加工、匯總和整理得到的，必須消除源數據中的不一致性，以保證數據倉庫內的信息是關於整個企業的一致的全局信息。

3、相對穩定的。操作型資料庫中的數據通常實時更新，數據根據需要及時發生變化。數據倉庫的數據主要供企業決策分析之用，所涉及的數據操作主要是數據查詢，一旦某個數據進入數據倉庫以後，一般情況下將被長期保留，也就是數據倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的載入、刷新。

4、反映歷史變化。操作型資料庫主要關心當前某一個時間段內的數據，而數據倉庫中的數據通常包含歷史信息，系統記錄了企業從過去某一時點(如開始應用數據倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業的發展歷程和未來趨勢做出定量分析和預測。
企業數據倉庫的建設，是以現有企業業務系統和大量業務數據的積累為基礎。數據倉庫不是靜態的概念，只有把信息及時交給需要這些信息的使用者，供他們做出改善其業務經營的決策，信息才能發揮作用，信息才有意義。而把信息加以整理歸納和重組，並及時提供給相應的管理決策人員，是數據倉庫的根本任務。因此，從產業界的角度看，數據倉庫建設是一個工程，是一個過程。
整個數據倉庫系統是一個包含四個層次的體系結構，具體由下圖表示。

數據倉庫系統體系結構

·數據源：是數據倉庫系統的基礎，是整個系統的數據源泉。通常包括企業內部信息和外部信息。內部信息包括存放於RDBMS中的各種業務處理數據和各類文檔數據。外部信息包括各類法律法規、市場信息和競爭對手的信息等等；

·數據的存儲與管理：是整個數據倉庫系統的核心。數據倉庫的真正關鍵是數據的存儲和管理。數據倉庫的組織管理方式決定了它有別於傳統資料庫，同時也決定了其對外部數據的表現形式。要決定採用什麼產品和技術來建立數據倉庫的核心，則需要從數據倉庫的技術特點著手分析。針對現有各業務系統的數據，進行抽取、清理，並有效集成，按照主題進行組織。數據倉庫按照數據的覆蓋范圍可以分為企業級數據倉庫和部門級數據倉庫（通常稱為數據集市）。

·OLAP伺服器：對分析需要的數據進行有效集成，按多維模型予以組織，以便進行多角度、多層次的分析，並發現趨勢。其具體實現可以分為：ROLAP、MOLAP和HOLAP。ROLAP基本數據和聚合數據均存放在RDBMS之中；MOLAP基本數據和聚合數據均存放於多維資料庫中；HOLAP基本數據存放於RDBMS之中，聚合數據存放於多維資料庫中。

·前端工具：主要包括各種報表工具、查詢工具、數據分析工具、數據挖掘工具以及各種基於數據倉庫或數據集市的應用開發工具。其中數據分析工具主要針對OLAP伺服器，報表工具、數據挖掘工具主要針對數據倉庫。

㈩ 數據分析需要掌握些什麼知識

統計學，數學，邏輯學是數據分析的基礎，是數據分析師的內功，內功不扎實，學再多都是徒勞。

掌握統計學，我們才能知道每一種數據分析的模型，什麼樣的輸入，什麼樣的輸出，有什麼樣的作用，開始我們並不一定要把每個演算法都弄懂。

如果我們要做數據挖掘師，數據能力是我們吃飯的飯碗。

如果你沒有數學能力，用現成的模型也好，模塊也好，也能做，但一定會影響你的技術提升，當然更影響你的職位晉升。

業務方向

大家在招聘網站中搜索數據分析的職位，大概分為兩類：輔助業務的數據分析職位和數據分析師職位。

1)輔助業務的數據分析：一般在零售業里職位設置較多，該職位一定要對業務爛熟於心，對業務有長時間的積淀和理解，用數據發現業務流程中的問題，並提出合理化的解決方案，分析數據是為整個商業邏輯去做支撐。細分職位包括：市場調查、行業分析和經營分析三類。

2)數據分析師：業務方向的數據分析師，該職位招聘時一定前面有一個限定詞，什麼數據分析師，歸結起來分為三類：產品數據分析師，運營數據分析師和銷售數據分析師。

技術方向

技術方向主要指數據挖掘方向，分為三類：數據挖掘工程師(機器學習)、數據倉庫工程師(構架師)和數據開發工程師。在互聯網和金融行業崗位設置較多

普遍來說：技術方向的基礎崗的工資薪酬要比業務崗的薪酬高一個等級，但是做到管理崗的話，在中國，業務崗的薪酬比技術崗的薪酬要高。