大數據開源工具有哪些

『壹』 大數據常用工具有哪些

第一，Hadoop

Hadoop是用於分布式處理的大量數據軟體框架。但是Hadoop以可靠，高效和可擴展的方式進行處理。Hadoop是可靠的，因為它假定計算元素和存儲將發生故障，因此它維護工作數據的多個副本以確保可以為故障節點重新分配處理。Hadoop之所以高效是因為它可以並行工作，並通過並行處理來加快處理速度。Hadoop還具有可伸縮性，可以處理PB級的數據。此外，Hadoop依賴社區伺服器，因此其成本相對較低，任何人都可以使用它。

第二，HPCC

HPCC，高性能計算和通信(High Performance Performance and Communications，高性能計算和通信)的縮寫。1993年，美國科學，工程和技術聯邦協調委員會向國會提交了有關“重大挑戰項目：高性能計算和通信”的報告，也被稱為HPCC計劃的報告，即美國。總統的科學戰略項目。目的是通過加強研發來解決許多重要的科學技術挑戰。HPCC是一項計劃在美國實施信息高速公路。該計劃的實施將耗資數百億美元。它的主要目標是開發可擴展的計算系統和相關軟體，以支持TB級網路傳輸性能並開發數千美元。兆位網路技術擴展了研究和教育機構以及網路連接能力。

第三，暴風雨

Storm是免費的開源軟體，是一種分布式的，容錯的實時計算系統。Storm可以非常可靠地處理大量數據流，並用於處理Hadoop批處理數據。Storm非常簡單，支持多種編程語言，並且使用起來非常有趣。Storm由Twitter開源，其他知名的應用程序公司包括Groupon，淘寶，支付寶，阿里巴巴，Le Element，Admaster等。

『貳』 大數據分析軟體有哪些

常用的大數據分析軟體有
1.專業的大數據分析工具
2.各種Python數據可視化第三方庫
3.其它語言的數據可視化框架
一、專業的大數據分析工具
1、FineReport
FineReport是一款純Java編寫的、集數據展示(報表)和數據錄入(表單)功能於一身的企業級web報表工具，只需要簡單的拖拽操作便可以設計復雜的中國式報表，搭建數據決策分析系統。
2、FineBI
FineBI是新一代自助大數據分析的商業智能產品，提供了從數據准備、自助數據處理、數據分析與挖掘、數據可視化於一體的完整解決方案，也是我比較推崇的可視化工具之一。
FineBI的使用感同Tableau類似，都主張可視化的探索性分析，有點像加強版的數據透視表。上手簡單，可視化庫豐富。可以充當數據報表的門戶，也可以充當各業務分析的平台。
二、Python的數據可視化第三方庫
Python正慢慢地成為數據分析、數據挖掘領域的主流語言之一。在Python的生態里，很多開發者們提供了非常豐富的、用於各種場景的數據可視化第三方庫。這些第三方庫可以讓我們結合Python語言繪制出漂亮的圖表。
1、pyecharts
Echarts(下面會提到)是一個開源免費的javascript數據可視化庫，它讓我們可以輕松地繪制專業的商業數據圖表。當Python遇上了Echarts，pyecharts便誕生了，它是由chenjiandongx等一群開發者維護的Echarts Python介面，讓我們可以通過Python語言繪制出各種Echarts圖表。
2、Bokeh
Bokeh是一款基於Python的互動式數據可視化工具，它提供了優雅簡潔的方法來繪制各種各樣的圖形，可以高性能地可視化大型數據集以及流數據，幫助我們製作互動式圖表、可視化儀錶板等。
三、其他數據可視化工具
1、Echarts
前面說過了，Echarts是一個開源免費的javascript數據可視化庫，它讓我們可以輕松地繪制專業的商業數據圖表。
大家都知道去年春節以及近期央視大規劃報道的網路大數據產品，如網路遷徙、網路司南、網路大數據預測等等，這些產品的數據可視化均是通過ECharts來實現的。
2、D3
D3（Data Driven Documents）是支持SVG渲染的另一種JavaScript庫。但是D3能夠提供大量線性圖和條形圖之外的復雜圖表樣式，例如Voronoi圖、樹形圖、圓形集群和單詞雲等。

『叄』 大數據分析工具都有哪些

思邁特軟體Smartbi數據分析平台：定位為一站式滿足所有用戶全面需求場景的大數據分析平台。它融合了BI定義的所有階段，對接各種業務資料庫、數據倉庫和大數據分析平台，進行加工處理、分析挖掘和可視化展現；滿足所有用戶的各種數據分析應用需求，如大數據分析、可視化分析、探索式分析、企業報表平台、應用分享等等。
大數據分析的特點有以下幾點：第一，數據體量巨大。從TB級別，躍升到PB級別。第二，數據類型繁多，包括網路日誌、視頻、圖片、地理位置信息等等。第三，價值密度低。以視頻為例，連續不間斷監控過程中，可能有用的數據僅僅有一兩秒。第四，處理速度快。最後這一點也是和傳統的數據挖掘技術有著本質的不同。大數據分析軟體讓企業能夠從數據倉庫獲得洞察力，從而在數據驅動的業務環境中提供重要的競爭優勢。
Smartbi是目前國內大數據分析軟體的佼佼者。主打的是企業報表和自助式分析2個特點，最高可以支撐20億數據的秒級呈現，適用於企業中的技術人員、業務人員和數據分析師，可以完全自主的進行探索式分析，軟體在易用性和功能上做的都很不錯，說實話，國內的BI行業由於起步較晚，能做到這個程度的確是下了一番功夫。相較於國外產品而言，Smartbi最大的優勢在於Smartbi自主搭建的實施團隊和服務團隊，強大的服務讓它成為國內首屈一指的商業智能產品。

『肆』 大數據常用開發工具

1. Apache Hive
Hive是一個建立在Hadoop上的開源數據倉庫基礎設施，通過Hive可以很容易的進行數據的ETL,對數據進行結構化處理,並對Hadoop上大數據文件進行查詢和處理等。Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數據提供了方便。
2. Apache Spark
Apache Spark是Hadoop開源生態系統的新成員。它提供了一個比Hive更快的查詢引擎，因為它依賴於自己的數據處理框架而不是依靠Hadoop的HDFS服務。同時，它還用於事件流處理、實時查詢和機器學習等方面。
3. Jaspersoft BI 套件
Jaspersoft包是一個通過資料庫列生成報表的開源軟體。行業領導者發現Jaspersoft軟體是一流的,許多企業已經使用它來將SQL表轉化為pdf,，這使每個人都可以在會議上對其進行審議。另外，JasperReports提供了一個連接配置單元來替代HBase。
4. Keen IO
Keen IO是個強大的移動應用分析工具。開發者只需要簡單到一行代碼， 就可以跟蹤他們想要的關於他們應用的任何信息。開發者接下來只需要做一些Dashboard或者查詢的工作就可以了。
5. Mortar Data
Mortar Data是專為開發者打造的Hadoop開發平台，它用Pig和Python的組合替代了MapRece以便開發者能簡單地編寫Hadoop管道（Pipeline）。
6. Placed Analytics
利用腳本語言以及API， PlacedAnalytics能夠提供針對移動和網路應用的詳細用戶行為分析。包括， 用戶使用時間和地理位置信息。 這些可以幫助開發者的應用更好地吸引廣告商， 也可以幫助開發者對自己的應用進行改善。
7. Ingres Corp
它擁有超過一萬客戶而且正在擴增。它通過Vectorwise以及對ParAccel實現了擴展。這些發展分別導致了Actian Vector和Actian Matrix的創建。它有Apache，Cloudera，Hortonworks以及其他發行版本可供選擇。

『伍』 常用的大數據工具有哪些

大數據分析的前瞻性使得很多公司以及企業都開始使用大數據分析對公司的決策做出幫助，而大數據分析是去分析海量的數據，所以就不得不藉助一些工具去分析大數據，。一般來說，數據分析工作中都是有很多層次的，這些層次分別是數據存儲層、數據報表層、數據分析層、數據展現層。對於不同的層次是有不同的工具進行工作的。下面小編就對大數據分析工具給大家好好介紹一下。

首先我們從數據存儲來講數據分析的工具。我們在分析數據的時候首先需要存儲數據，數據的存儲是一個非常重要的事情，如果懂得資料庫技術，並且能夠操作好資料庫技術，這就能夠提高數據分析的效率。而數據存儲的工具主要是以下的工具。

1、MySQL資料庫，這個對於部門級或者互聯網的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。

2、SQL Server的最新版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了數據存儲，也包括了數據報表和數據分析了，甚至數據挖掘工具都在其中了。

3、DB2，Oracle資料庫都是大型資料庫了，主要是企業級，特別是大型企業或者對數據海量存儲需求的就是必須的了，一般大型資料庫公司都提供非常好的數據整合應用平台;

接著說數據報表層。一般來說，當企業存儲了數據後，首先要解決報表的問題。解決報表的問題才能夠正確的分析好資料庫。關於數據報表所用到的數據分析工具就是以下的工具。

1、Crystal Report水晶報表，Bill報表，這都是全球最流行的報表工具，非常規范的報表設計思想，早期商業智能其實大部分人的理解就是報表系統，不藉助IT技術人員就可以獲取企業各種信息——報表。

2、Tableau軟體，這個軟體是近年來非常棒的一個軟體，當然它已經不是單純的數據報表軟體了，而是更為可視化的數據分析軟體，因為很多人經常用它來從資料庫中進行報表和可視化分析。

第三說的是數據分析層。這個層其實有很多分析工具，當然我們最常用的就是Excel，我經常用的就是統計分析和數據挖掘工具;

1、Excel軟體，首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作!但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體;

2、SPSS軟體：當前版本是18，名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析，到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體。

最後說表現層的軟體。一般來說表現層的軟體都是很實用的工具。表現層的軟體就是下面提到的內容。

1、PowerPoint軟體：大部分人都是用PPT寫報告。

2、Visio、SmartDraw軟體：這些都是非常好用的流程圖、營銷圖表、地圖等，而且從這里可以得到很多零件;

3、Swiff Chart軟體：製作圖表的軟體，生成的是Flash

『陸』 大數據處理工具有哪些

下面給你介紹幾種大數據處理工具：
Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。
Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。Storm由Twitter開源而來，其它知名的應用企業包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、 Admaster等等。
RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

『柒』 常用的大數據分析軟體有哪些

數據分析的工具千萬種，綜合起來萬變不離其宗。無非是數據獲取、數據存儲、數據管理、數據計算、數據分析、數據展示等幾個方面。而SAS、R、SPSS、python、excel是被提到頻率最高的數據分析工具。

『捌』 大數據分析的工具有哪些

1、Hadoop

Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。

2、HPCC

HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了“重大挑戰項目：高性能計算與 通信”的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。

3、Storm

Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。

4、Apache Drill

為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為“Drill”的開源項目。Apache Drill 實現了 Google's Dremel.

據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，“Drill”已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。

5、RapidMiner

RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

6、Pentaho BI

Pentaho BI 平台不同於傳統的BI 產品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。