數據倉庫的工具有哪些

① 大數據分析工具有哪些

大數據分析工具有：

1、R-編程

R 編程是對所有人免費的最好的大數據分析工具之一。它是一種領先的統計編程語言，可用於統計分析、科學計算、數據可視化等。R 編程語言還可以擴展自身以執行各種大數據分析操作。

在這個強大的幫助下；語言，數據科學家可以輕松創建統計引擎，根據相關和准確的數據收集提供更好、更精確的數據洞察力。它具有類數據處理和存儲。我們還可以在 R 編程中集成其他數據分析工具。

除此之外，您還可以與任何編程語言（例如 Java、C、Python）集成，以提供更快的數據傳輸和准確的分析。R 提供了大量可用於任何數據集的繪圖和圖形。

2、Apache Hadoop

Apache Hadoop 是領先的大數據分析工具開源。它是一個軟體框架，用於在商品硬體的集群上存儲數據和運行應用程序。它是由軟體生態系統組成的領先框架。

Hadoop 使用其 Hadoop 分布式文件系統或 HDFS 和 MapRece。它被認為是大數據分析的頂級數據倉庫。它具有在數百台廉價伺服器上存儲和分發大數據集的驚人能力。

這意味著您無需任何額外費用即可執行大數據分析。您還可以根據您的要求向其添加新節點，它永遠不會讓您失望。

3、MongoDB

MongoDB 是世界領先的資料庫軟體。它基於 NoSQL 資料庫，可用於存儲比基於 RDBMS 的資料庫軟體更多的數據量。MongoDB 功能強大，是最好的大數據分析工具之一。

它使用集合和文檔，而不是使用行和列。文檔由鍵值對組成，即MongoDB 中的一個基本數據單元。文檔可以包含各種單元。但是大小、內容和欄位數量因 MongoDB 中的文檔而異。

MongoDB 最好的部分是它允許開發人員更改文檔結構。文檔結構可以基於程序員在各自的編程語言中定義的類和對象。

MongoDB 有一個內置的數據模型，使程序員能夠理想地表示層次關系來存儲數組和其他元素。

4、RapidMiner

RapidMiner 是分析師集成數據准備、機器學習、預測模型部署等的領先平台之一。它是最好的免費大數據分析工具，可用於數據分析和文本挖掘。

它是最強大的工具，具有用於分析過程設計的一流圖形用戶界面。它獨立於平台，適用於 Windows、Linux、Unix 和 macOS。它提供各種功能，例如安全控制，在可視化工作流設計器工具的幫助下減少編寫冗長代碼的需要。

它使用戶能夠採用大型數據集在 Hadoop 中進行訓練。除此之外，它還允許團隊協作、集中工作流管理、Hadoop 模擬等。

它還組裝請求並重用 Spark 容器以對流程進行智能優化。RapidMiner有五種數據分析產品，即RapidMiner Studio Auto Model、Auto Model、RapidMiner Turbo Prep、RapidMiner Server和RapidMiner Radoop。

5、Apache Spark

Apache Spark 是最好、最強大的開源大數據分析工具之一。藉助其數據處理框架，它可以處理大量數據集。通過結合或其他分布式計算工具，在多台計算機上分發數據處理任務非常容易。

它具有用於流式 SQL、機器學習和圖形處理支持的內置功能。它還使該站點成為大數據轉換的最快速和通用的生成器。我們可以在內存中以快 100 倍的速度處理數據，而在磁碟中則快 10 倍。

除此之外，它還擁有 80 個高級運算元，可以更快地構建並行應用程序。它還提供 Java 中的高級 API。該平台還提供了極大的靈活性和多功能性，因為它適用於不同的數據存儲，如 HDFS、Openstack 和 Apache Cassandra。

6、Microsoft Azure

Microsoft Azure 是領先的大數據分析工具之一。Microsoft Azure 也稱為 Windows Azure。它是 Microsoft 處理的公共雲計算平台，是提供包括計算、分析、存儲和網路在內的廣泛服務的領先平台。

Windows Azure 提供兩類標准和高級的大數據雲產品。它可以無縫處理大量數據工作負載。

除此之外，Microsoft Azure 還擁有一流的分析能力和行業領先的 SLA 以及企業級安全和監控。它也是開發人員和數據科學家的最佳和高效平台。它提供了在最先進的應用程序中很容易製作的實時數據。

無需 IT 基礎架構或虛擬伺服器進行處理。它可以輕松嵌入其他編程語言，如 JavaScript 和 C#。

7、Zoho Analytics

Zoho Analytics 是最可靠的大數據分析工具之一。它是一種 BI 工具，可以無縫地用於數據分析，並幫助我們直觀地分析數據以更好地理解原始數據。

同樣，任何其他分析工具都允許我們集成多個數據源，例如業務應用程序、資料庫軟體、雲存儲、CRM 等等。我們還可以在方便時自定義報告，因為它允許我們生成動態且高度自定義的可操作報告。

在 Zoho 分析中上傳數據也非常靈活和容易。我們還可以在其中創建自定義儀錶板，因為它易於部署和實施。世界各地的用戶廣泛使用該平台。此外，它還使我們能夠在應用程序中生成評論威脅，以促進員工和團隊之間的協作。

它是最好的大數據分析工具，與上述任何其他工具相比，它需要的知識和培訓更少。因此，它是初創企業和入門級企業的最佳選擇。

以上內容參考 網路——大數據分析

② 大數據處理必備的十大工具！

大數據的日益增長,給企業管理大量的數據帶來了挑戰的同時也帶來了一些機遇。下面是用於信息化管理的大數據工具列表：

1.ApacheHive

Hive是一個建立在hadoop上的開源數據倉庫基礎設施，通過Hive可以很容易的進行數據的ETL,對數據進行結構化處理,並對Hadoop上大數據文件進行查詢和處理等。Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數據提供了方便。

2JaspersoftBI套件

Jaspersoft包是一個通過資料庫列生成報表的開源軟體。行業領導者發現Jaspersoft軟體是一流的,許多企業已經使用它來將SQL表轉化為pdf,，這使每個人都可以在會議上對其進行審議。另外，JasperReports提供了一個連接配置單元來替代HBase。

3.1010data

1010data創立於2000年，是一個總部設在紐約的分析型雲服務，旨在為華爾街的客戶提供服務，甚至包括NYSEEuronext、 游戲 和電信的客戶。它在設計上支持可伸縮性的大規模並行處理。它也有它自己的查詢語言,支持SQL函數和廣泛的查詢類型，包括圖和時間序列分析。這個私有雲的方法減少了客戶在基礎設施管理和擴展方面的壓力。

4.Actian

Actian之前的名字叫做IngresCorp，它擁有超過一萬客戶而且正在擴增。它通過Vectorwise以及對ParAccel實現了擴展。這些發展分別導致了ActianVector和ActianMatrix的創建。它有Apache，Cloudera，Hortonworks以及其他發行版本可供選擇。

5.PentahoBusinessAnalytics

從某種意義上說,Pentaho與Jaspersoft相比起來,盡管Pentaho開始於報告生成引擎，但它目前通過簡化新來源中獲取信息的過程來支持大數據處理。Pentaho的工具可以連接到NoSQL資料庫，例如MongoDB和Cassandra。PeterWayner指出,PentahoData(一個更有趣的圖形編程界面工具)有很多內置模塊，你可以把它們拖放到一個圖片上,然後將它們連接起來。

6.KarmasphereStudioandAnalyst

KarsmasphereStudio是一組構建在Eclipse上的插件,它是一個更易於創建和運行Hadoop任務的專用IDE。在配置一個Hadoop工作時，Karmasphere工具將引導您完成每個步驟並顯示部分結果。當出現所有數據處於同一個Hadoop集群的情況時，KarmaspehereAnalyst旨在簡化篩選的過程,。

7.Cloudera

Cloudera正在努力為開源Hadoop,提供支持，同時將數據處理框架延伸到一個全面的「企業數據中心」范疇,這個數據中心可以作為首選目標和管理企業所有數據的中心點。Hadoop可以作為目標數據倉庫，高效的數據平台，或現有數據倉庫的ETL來源。企業規模可以用作集成Hadoop與傳統數據倉庫的基礎。Cloudera致力於成為數據管理的「重心」。

8.

HP提供了用於載入Hadoop軟體發行版所需的參考硬體配置,因為它本身並沒有自己的Hadoop版本。計算機行業領袖將其大數據平台架構命名為HAVEn(意為Hadoop,Autonomy,Vertica,EnterpriseSecurityand「n」applications)。惠普在Vertica7版本中增加了一個「FlexZone」，允許用戶在定義資料庫方案以及相關分析、報告之前 探索 大型數據集中的數據。這個版本通過使用HCatalog作為元數據存儲，與Hadoop集成後為用戶提供了一種 探索 HDFS數據表格視圖的方法。

9.TalendOpenStudio

Talend』s工具用於協助進行數據質量、數據集成和數據管理等方面工作。Talend是一個統一的平台，它通過提供一個統一的，跨企業邊界生命周期管理的環境，使數據管理和應用更簡單便捷。這種設計可以幫助企業構建靈活、高性能的企業架構,在次架構下，集成並啟用百分之百開源服務的分布式應用程序變為可能。

10.ApacheSpark

ApacheSpark是Hadoop開源生態系統的新成員。它提供了一個比Hive更快的查詢引擎，因為它依賴於自己的數據處理框架而不是依靠Hadoop的HDFS服務。同時，它還用於事件流處理、實時查詢和機器學習等方面。

③ 請問數據倉庫都用什麼建立

1、首先你得搞清楚建設數倉的目的是什麼

是偏向於整合各系統數據，為數據分析決策服務，還是偏向於快速的完成分析決策需求？

如果是前者，那麼在數據倉庫建模的時候一般會選擇ER建模方法；

如果是後者，一般會選擇維度建模方法。

• ER建模：即實體關系建模，由數據倉庫之父BIll Inmon提出，核心思想是從全企業的高度去設計三範式模型，用實體關系描述企業服務。主張的是自上而下的架構，將不同的OLTP數據集中到面向主題的數據倉庫中。

• 維度建模：由Kimball提出，核心思想是從分析決策的需求出發構建模型。這種模型由事實表和維表組成，即星悶叢型模型和雪花模型。Kimball倡導自下而上的架構，可以針對獨立部門建立數據集市，再遞增的構建，匯總成數據倉庫。

2、敗罩攜其次你得進行深入的業務調研和數據調研

• 業務調研：深入的業務調研能使你更加明確數倉建設的目的；同時也利於後續的建模設計，隨著調研的開展，如何將實體業務抽象為數倉模型會更加明朗。
  

• 數據調研：各部門或各科室的數據現狀了解，包括數據分類、數據存儲方式、數據量、具體的數據內容等等。這對後續的主數據串聯或者維度一致性處理等等都是必須的基礎。

3、然後是數據倉庫工具選型

• 傳統型數據倉庫：一般會選擇第三方廠家的資料庫和配套ETL工具。因為有第三方支持，相對有保障；但缺點也很明顯，受約束以及成本較高。
  

• NoSQL型數據倉庫：一般是基於hadoop生態的數據倉庫。hadoop生態已經非常強大，可以找到各種開源組件去支持數據倉庫。缺點是需要招聘專門人士去摸索，並且相對會存在一些未知隱患。

4、最後是設計與實施

• 設計：包括數據架構中的數據層次劃分以及具體的模型設計；也包括程序架構中的數據質量管理、元數據管理、調度管理等；
  

• 實施：規范化的項目管理實施，但同時也需記住一點，數據倉庫不察伏是一個項目，它是一個過程。

④ 數據分析過程中有哪些實用工具

以前大數據分析會用到多種工具，比如數倉工具、數據建模工具、BI工具等等。現在的大數據分析平台，都是全能型數據分析平台，一個平台搞定所有。比如億信一站式數據分析平台，ABI融合了數據源適配、ETL數據處理、數據建模、數據分析、數據填報、工作流、門戶、移動應用等核心功能而打造的一站式數據處理分析平台。提供的數據分析工具豐富：除了中國式復雜報表、dashboard、大屏報表外，ABI還支持自助式分析，包括拖拽式多維分析、看板和看板集，業務用戶通過簡單拖拽即可隨心所欲的進行探索式自助分析。

⑤ 大數據分析需要哪些工具

說到大數據，肯定少不了分析軟體，這應該是大數據工作的根基，但市面上很多各種分析軟體，如果不是過來人，真的很難找到適合自己或符合企業要求的。小編通過各大企業對大數據相關行業的崗位要求，總結了以下幾點：
（1）SQL資料庫的基本操作，會基本的數據管理
（2）會用Excel/SQL做基本的數據分析和展示
（3）會用腳本語言進行數據分析，Python or R
（4）有獲取外部數據的能力，如爬蟲
（5）會基本的數據可視化技能，能撰寫數據報告
（6）熟悉常用的數據挖掘演算法：回歸分析、決策樹、隨機森林、支持向量機等
對於學習大數據，總體來說，先學基礎，再學理論，最後是工具。基本上，每一門語言的學習都是要按照這個順序來的。
1、學習數據分析基礎知識，包括概率論、數理統計。基礎這種東西還是要掌握好的啊，基礎都還沒扎實，知識大廈是很容易倒的哈。
2、你的目標行業的相關理論知識。比如金融類的，要學習證券、銀行、財務等各種知識，不然到了公司就一臉懵逼啦。
3、學習數據分析工具，軟體結合案列的實際應用，關於數據分析主流軟體有(從上手度從易到難)：Excel，SPSS，stata，R，Python，SAS等。
4、學會怎樣操作這些軟體，然後是利用軟體從數據的清洗開始一步步進行處理，分析，最後輸出結果，檢驗及解讀數據。

⑥ 常見的大數據採集工具有哪些

1、離線搜集工具：ETL

在數據倉庫的語境下，ETL基本上便是數據搜集的代表，包括數據的提取(Extract)、轉換(Transform)和載入(Load)。在轉換的過程中，需求針對具體的事務場景對數據進行治理，例如進行不合法數據監測與過濾、格式轉換與數據規范化、數據替換、確保數據完整性等。

2、實時搜集工具：Flume/Kafka

實時搜集首要用在考慮流處理的事務場景，比方，用於記錄數據源的履行的各種操作活動，比方網路監控的流量辦理、金融運用的股票記賬和 web 伺服器記錄的用戶訪問行為。在流處理場景，數據搜集會成為Kafka的顧客，就像一個水壩一般將上游源源不斷的數據攔截住，然後依據事務場景做對應的處理(例如去重、去噪、中心核算等)，之後再寫入到對應的數據存儲中。

3、互聯網搜集工具：Crawler, DPI等

Scribe是Facebook開發的數據(日誌)搜集體系。又被稱為網頁蜘蛛，網路機器人，是一種按照一定的規矩，自動地抓取萬維網信息的程序或者腳本，它支持圖片、音頻、視頻等文件或附件的搜集。

除了網路中包含的內容之外，關於網路流量的搜集能夠運用DPI或DFI等帶寬辦理技術進行處理。