大數據工具有哪些內容

『壹』 常見的大數據採集工具有哪些

1、離線搜集工具：ETL

在數據倉庫的語境下，ETL基本上便是數據搜集的代表，包括數據的提取(Extract)、轉換(Transform)和載入(Load)。在轉換的過程中，需求針對具體的事務場景對數據進行治理，例如進行不合法數據監測與過濾、格式轉換與數據規范化、數據替換、確保數據完整性等。

2、實時搜集工具：Flume/Kafka

實時搜集首要用在考慮流處理的事務場景，比方，用於記錄數據源的履行的各種操作活動，比方網路監控的流量辦理、金融運用的股票記賬和 web 伺服器記錄的用戶訪問行為。在流處理場景，數據搜集會成為Kafka的顧客，就像一個水壩一般將上游源源不斷的數據攔截住，然後依據事務場景做對應的處理(例如去重、去噪、中心核算等)，之後再寫入到對應的數據存儲中。

3、互聯網搜集工具：Crawler, DPI等

Scribe是Facebook開發的數據(日誌)搜集體系。又被稱為網頁蜘蛛，網路機器人，是一種按照一定的規矩，自動地抓取萬維網信息的程序或者腳本，它支持圖片、音頻、視頻等文件或附件的搜集。

除了網路中包含的內容之外，關於網路流量的搜集能夠運用DPI或DFI等帶寬辦理技術進行處理。

『貳』 大數據分析工具有哪些,好用的有嗎

大數據分析的前瞻性使得很多公司以及企業都開始使用大數據分析對公司的決策做出幫助，而大數據分析是去分析海量的數據，所以就不得不藉助一些工具去分析大數據，。一般來說，數據分析工作中都是有很多層次的，這些層次分別是數據存儲層、數據報表層、數據分析層、數據展現層。對於不同的層次是有不同的工具進行工作的。下面小編就對大數據分析工具給大家好好介紹一下。
首先我們從數據存儲來講數據分析的工具。我們在分析數據的時候首先需要存儲數據，數據的存儲是一個非常重要的事情，如果懂得資料庫技術，並且能夠操作好資料庫技術，這就能夠提高數據分析的效率。而數據存儲的工具主要是以下的工具。
1、MySQL資料庫，這個對於部門級或者互聯網的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。
2、SQL Server的最新版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了數據存儲，也包括了數據報表和數據分析了，甚至數據挖掘工具都在其中了。
3、DB2，Oracle資料庫都是大型資料庫了，主要是企業級，特別是大型企業或者對數據海量存儲需求的就是必須的了，一般大型資料庫公司都提供非常好的數據整合應用平台;
接著說數據報表層。一般來說，當企業存儲了數據後，首先要解決報表的問題。解決報表的問題才能夠正確的分析好資料庫。關於數據報表所用到的數據分析工具就是以下的工具。
1、Crystal Report水晶報表，Bill報表，這都是全球最流行的報表工具，非常規范的報表設計思想，早期商業智能其實大部分人的理解就是報表系統，不藉助IT技術人員就可以獲取企業各種信息——報表。
2、Tableau軟體，這個軟體是近年來非常棒的一個軟體，當然它已經不是單純的數據報表軟體了，而是更為可視化的數據分析軟體，因為很多人經常用它來從資料庫中進行報表和可視化分析。
第三說的是數據分析層。這個層其實有很多分析工具，當然我們最常用的就是Excel，我經常用的就是統計分析和數據挖掘工具;
1、Excel軟體，首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作!但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體;
2、SPSS軟體：當前版本是18，名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析，到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體。
最後說表現層的軟體。一般來說表現層的軟體都是很實用的工具。表現層的軟體就是下面提到的內容。
1、PowerPoint軟體：大部分人都是用PPT寫報告。
2、Visio、SmartDraw軟體：這些都是非常好用的流程圖、營銷圖表、地圖等，而且從這里可以得到很多零件;
3、Swiff Chart軟體：製作圖表的軟體，生成的是Flash。

『叄』 大數據分析常用的工具有哪些

第一類，數據存儲和管理類的大數據工具。
此類較為主流的使用工具本文為大家列出三種：
1.Cloudera
實際上，Cloudera只是增加了一些其它服務的Hadoop，因為大數據並不是容易搞，需要我們構建大數據集群， 而Cloudera的團隊就可以為我們提供這些服務，還能幫培訓員工。
2.MongoDB
這是一個資料庫，並且非常的受大家歡迎，大數據常常採用的是非結構化數據，而MongoDB最適用於管理此類數據。
3.Talend
Talend是數據集成和解決方案領域的領袖級企業，他們為公共雲和私有雲提供了一體化的數據平台。
我們都知道，大數據歸根結底還是數據，其根源還是始於數據的存儲，而大數據之所以稱之為「大」，就是因為它的數據量非常大，因此，存儲就變得至關重要。除此之外，將數據按照某種格式化的治理結構，也尤為重要，因為這樣，我們可以獲得洞察力。而以上三種工具，就是這方面常用的三種使用工具。
第二類，數據清理類工具。
1.OpenRefine
這是一款開源的，易於使用的，可以通過刪除重復項、空白欄位及其他錯誤來清理排列雜亂無章的數據的工具，在業內廣受好評。
2.Excel
這個不用多說，不僅在大數據，基本上所有的公司辦公軟體都會安裝Excel，在Excel中有許多的公式和函數，方便我們進行一系列的操作，當然其缺點也比較明顯，那就是不適用於龐大的數據集。
3.DataCleaner
就像它的名字一樣，DataCleaner是一款能對數據質量進行分析、比較和監督的軟體，也可以將半結構化的數據集轉化成干凈的可讀的數據集。

『肆』 大數據常用工具有哪些

第一，Hadoop

Hadoop是用於分布式處理的大量數據軟體框架。但是Hadoop以可靠，高效和可擴展的方式進行處理。Hadoop是可靠的，因為它假定計算元素和存儲將發生故障，因此它維護工作數據的多個副本以確保可以為故障節點重新分配處理。Hadoop之所以高效是因為它可以並行工作，並通過並行處理來加快處理速度。Hadoop還具有可伸縮性，可以處理PB級的數據。此外，Hadoop依賴社區伺服器，因此其成本相對較低，任何人都可以使用它。

第二，HPCC

HPCC，高性能計算和通信(High Performance Performance and Communications，高性能計算和通信)的縮寫。1993年，美國科學，工程和技術聯邦協調委員會向國會提交了有關“重大挑戰項目：高性能計算和通信”的報告，也被稱為HPCC計劃的報告，即美國。總統的科學戰略項目。目的是通過加強研發來解決許多重要的科學技術挑戰。HPCC是一項計劃在美國實施信息高速公路。該計劃的實施將耗資數百億美元。它的主要目標是開發可擴展的計算系統和相關軟體，以支持TB級網路傳輸性能並開發數千美元。兆位網路技術擴展了研究和教育機構以及網路連接能力。

第三，暴風雨

Storm是免費的開源軟體，是一種分布式的，容錯的實時計算系統。Storm可以非常可靠地處理大量數據流，並用於處理Hadoop批處理數據。Storm非常簡單，支持多種編程語言，並且使用起來非常有趣。Storm由Twitter開源，其他知名的應用程序公司包括Groupon，淘寶，支付寶，阿里巴巴，Le Element，Admaster等。

『伍』 大數據分析的工具有哪些

1、Hadoop

Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。

2、HPCC

HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了“重大挑戰項目：高性能計算與 通信”的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。

3、Storm

Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。

4、Apache Drill

為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為“Drill”的開源項目。Apache Drill 實現了 Google's Dremel.

據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，“Drill”已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。

5、RapidMiner

RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

6、Pentaho BI

Pentaho BI 平台不同於傳統的BI 產品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。

『陸』 大數據分析工具都有哪些

思邁特軟體Smartbi數據分析平台：定位為一站式滿足所有用戶全面需求場景的大數據分析平台。它融合了BI定義的所有階段，對接各種業務資料庫、數據倉庫和大數據分析平台，進行加工處理、分析挖掘和可視化展現；滿足所有用戶的各種數據分析應用需求，如大數據分析、可視化分析、探索式分析、企業報表平台、應用分享等等。
大數據分析的特點有以下幾點：第一，數據體量巨大。從TB級別，躍升到PB級別。第二，數據類型繁多，包括網路日誌、視頻、圖片、地理位置信息等等。第三，價值密度低。以視頻為例，連續不間斷監控過程中，可能有用的數據僅僅有一兩秒。第四，處理速度快。最後這一點也是和傳統的數據挖掘技術有著本質的不同。大數據分析軟體讓企業能夠從數據倉庫獲得洞察力，從而在數據驅動的業務環境中提供重要的競爭優勢。
Smartbi是目前國內大數據分析軟體的佼佼者。主打的是企業報表和自助式分析2個特點，最高可以支撐20億數據的秒級呈現，適用於企業中的技術人員、業務人員和數據分析師，可以完全自主的進行探索式分析，軟體在易用性和功能上做的都很不錯，說實話，國內的BI行業由於起步較晚，能做到這個程度的確是下了一番功夫。相較於國外產品而言，Smartbi最大的優勢在於Smartbi自主搭建的實施團隊和服務團隊，強大的服務讓它成為國內首屈一指的商業智能產品。