⑴ 大數據專業都需要學習哪些軟體啊
大數據處理分析能力在21世紀至關重要。使用正確的大數據工具是企業提高自身優勢、戰勝競爭對手的必要條件。下面讓我們來了解一下最常用的30種大數據工具，緊跟大數據發展腳步。
第一部分、數據提取工具
Octoparse是一種簡單直觀的網路爬蟲，可以從網站上直接提取數據，不需要編寫代碼。無論你是初學者、大數據專家、還是企業管理層，都能通過其企業級的服務滿足需求。為了方便操作，Octoparse還添加了涵蓋30多個網站的「任務模板 (Task Templates)」，操作簡單易上手。用戶無需任務配置即可提取數據。隨著你對Octoparse的操作更加熟悉，你還可以使用其「向導模式 (Wizard Mode)」來構建爬蟲。除此之外，大數據專家們可以使用「高級模式 (Advanced Mode)」在數分鍾內提取企業批量數據。你還可以設置「自動雲提取 (Scheled Cloud Extraction)」，以便實時獲取動態數據，保持跟蹤記錄。
02
Content Graber
Content Graber是比較進階的網路爬網軟體，具有可用於開發、測試和生產伺服器的編程操作環境。用戶可以使用C#或VB.NET調試或編寫腳本來構建爬蟲。Content Graber還允許你在爬蟲的基礎上添加第三方擴展軟體。憑借全面的功能，Content Grabber對於具有基本技術知識的用戶來說功能極其強大。
Import.io是基於網頁的數據提取工具。Import.io於2016年首次啟動，現已將其業務模式從B2C轉變為B2B。2019年，Import.io並購了Connotate，成為了一個網路數據集成平台 (Web Data Integration Platform)。憑借廣泛的網路數據服務，Import.io成為了商業分析的絕佳選擇。
Parsehub是基於網頁的數據爬蟲。它可以使用AJax，JavaScript等等從網站上提取動態的的數據。Parsehub提供為期一周的免費試用，供用戶體驗其功能。
Mozenda是網路數據抓取軟體，提供企業級數據抓取服務。它既可以從雲端也可以從內部軟體中提取可伸縮的數據。
第二部分、開源數據工具
01Knime
KNIME是一個分析平台，可以幫助你分析企業數據，發現潛在的趨勢價值，在市場中發揮更大潛能。KNIME提供Eclipse平台以及其他用於數據挖掘和機器學習的外部擴展。KNIME為數據分析師提供了2,000多個模塊。
02OpenRefine（過去的Google Refine）是處理雜亂數據的強有力工具，可用於清理、轉換、鏈接數據集。藉助其分組功能，用戶可以輕松地對數據進行規范化。
03R-Programming
R大家都不陌生，是用於統計計算和繪制圖形的免費軟體編程語言和軟體環境。R語言在數據挖掘中很流行，常用於開發統計軟體和數據分析。近年來，由於其使用方便、功能強大，得到了很大普及。
04RapidMiner
與KNIME相似，RapidMiner通過可視化程序進行操作，能夠進行分析、建模等等操作。它通過開源平台、機器學習和模型部署來提高數據分析效率。統一的數據科學平台可加快從數據准備到實施的數據分析流程，極大地提高了效率。
第三部分、數據可視化工具
01
Datawrapper
Microsoft PowerBI既提供本地服務又提供雲服務。它最初是作為Excel附加組件引入的，後來因其強大的功能而廣受歡迎。截至目前，它已被視為數據分析領域的領頭羊，並且可以提供數據可視化和商業智能功能，使用戶能夠以較低的成本輕松創建美觀的報告或BI儀錶板。
02
Solver
Solver專用於企業績效管理 (CPM) 數據可視化。其BI360軟體既可用於雲端又可用於本地部署，該軟體側重於財務報告、預算、儀錶板和數據倉庫的四個關鍵分析領域。
03
Qlik
Qlik是一種自助式數據分析和可視化工具。可視化的儀錶板可幫助公司有效地「理解」其業務績效。
04
Tableau Public
Tableau是一種互動式數據可視化工具。與大多數需要腳本的可視化工具不同，Tableau可幫助新手克服最初的困難並動手實踐。拖放功能使數據分析變得簡單。除此之外，Tableau還提供了入門工具包和豐富的培訓資源來幫助用戶創建報告。
05
Google Fusion Tables
Fusion Table是Google提供的數據管理平台。你可以使用它來收集，可視化和共享數據。Fusion Table與電子表格類似，但功能更強大、更專業。你可以通過添加CSV，KML和電子表格中的數據集與同事進行協作。你還可以發布數據作品並將其嵌入到其他網路媒體資源中。
06
Infogram
Infogram提供了超過35種互動式圖表和500多種地圖，幫助你進行數據可視化。多種多樣的圖表（包括柱形圖，條形圖，餅形圖和文字雲等等）一定會使你的聽眾印象深刻。
第四部分、情感分析工具
01
HubSpot』s ServiceHub
HubSpot具有客戶反饋工具，可以收集客戶反饋和評論，然後使用自然語言處理 (NLP) 分析數據以確定積極意圖或消極意圖，最終通過儀錶板上的圖形和圖表將結果可視化。你還可以將HubSpot』s ServiceHub連接到CRM系統，將調查結果與特定聯系人聯系起來。這樣，你可以識別不滿意的客戶，改善服務，以增加客戶保留率。
02
Semantria
Semantria是一款從各種社交媒體收集帖子、推文和評論的工具。Semantria使用自然語言處理來解析文本並分析客戶的態度。通過Semantria，公司可以了解客戶對於產品或服務的感受，並提出更好的方案來改善產品或服務。
03
Trackur
Trackur的社交媒體監控工具可跟蹤提到某一用戶的不同來源。它會瀏覽大量網頁，包括視頻、博客、論壇和圖像，以搜索相關消息。用戶可以利用這一功能維護公司聲譽，或是了解客戶對品牌和產品的評價。
04
SAS Sentiment Analysis
SAS Sentiment Analysis是一款功能全面的軟體。網頁文本分析中最具挑戰性的部分是拼寫錯誤。SAS可以輕松校對並進行聚類分析。通過基於規則的自然語言處理，SAS可以有效地對消息進行分級和分類。
05
Hootsuit Insight
Hootsuit Insight可以分析評論、帖子、論壇、新聞站點以及超過50種語言的上千萬種其他來源。除此之外，它還可以按性別和位置對數據進行分類，使用戶可以制定針對特定群體的戰略營銷計劃。你還可以訪問實時數據並檢查在線對話。
第五部分、資料庫
01
Oracle
毫無疑問，Oracle是開源資料庫中的佼佼者，功能豐富，支持不同平台的集成，是企業的最佳選擇。並且，Oracle可以在AWS中輕松設置，是關系型資料庫的可靠選擇。除此之外，Oracle集成信用卡等私人數據的高安全性是其他軟體難以匹敵的。
02
PostgreSQL
PostgreSQL超越了Oracle、MySQL和Microsoft SQL Server，成為第四大最受歡迎的資料庫。憑借其堅如磐石的穩定性，它可以處理大量數據。
03
Airtable
Airtable是基於雲端的資料庫軟體，善於捕獲和顯示數據表中的信息。Airtable提供一系列入門模板，例如：潛在客戶管理、錯誤跟蹤和申請人跟蹤等，使用戶可以輕松進行操作。
04
MariaDB
MariaDB是一個免費的開源資料庫，用於數據存儲、插入、修改和檢索。此外，Maria提供強大的社區支持，用戶可以在這里分享信息和知識。
05
Improvado
Improvado是一種供營銷人員使用自動化儀錶板和報告將所有數據實時地顯示在一個地方的工具。作為營銷和分析領導者，如果你希望在一個地方查看所有營銷平台收集的數據，那麼Inprovado對你再合適不過了。你可以選擇在Improvado儀錶板中查看數據，也可以將其通過管道傳輸到你選擇的數據倉庫或可視化工具中，例如Tableau、Looker、Excel等。品牌，代理商和大學往往都喜歡使用Improvado，以大大節省人工報告時間和營銷花費。
⑵ 大數據專業都需要學習哪些軟體啊
一、Phoenix
簡介：這是一個Java中間層，可以讓開發者在Apache HBase上執行SQL查詢。Phoenix完全使用Java編寫，代碼位於GitHub上，並且提供了一個客戶端可嵌入的JDBC驅動。
Phoenix查詢引擎會將SQL查詢轉換為一個或多個HBase scan，並編排執行以生成標準的JDBC結果集。直接使用HBase API、協同處理器與自定義過濾器，對於簡單查詢來說，其性能量級是毫秒，對於百萬級別的行數來說，其性能量級是秒。
Phoenix最值得關注的一些特性有：
❶嵌入式的JDBC驅動，實現了大部分的java.sql介面，包括元數據API❷可以通過多部行鍵或是鍵/值單元對列進行建模❸完善的查詢支持，可以使用多個謂詞以及優化的掃描鍵❹DDL支持：通過CREATE TABLE、DROP TABLE及ALTER TABLE來添加/刪除列❺版本化的模式倉庫：當寫入數據時，快照查詢會使用恰當的模式❻DML支持：用於逐行插入的UPSERT VALUES、用於相同或不同表之間大量數據傳輸的UPSERT ❼SELECT、用於刪除行的DELETE❽通過客戶端的批處理實現的有限的事務支持❾單表——還沒有連接，同時二級索引也在開發當中➓緊跟ANSI SQL標准
二、Stinger
簡介：原叫Tez，下一代Hive,Hortonworks主導開發，運行在YARN上的DAG計算框架。
某些測試下，Stinger能提升10倍左右的性能，同時會讓Hive支持更多的SQL，其主要優點包括：
❶讓用戶在Hadoop獲得更多的查詢匹配。其中包括類似OVER的字句分析功能，支持WHERE查詢，讓Hive的樣式系統更符合SQL模型。
❷優化了Hive請求執行計劃，優化後請求時間減少90%。改動了Hive執行引擎，增加單Hive任務的被秒處理記錄數。
❸在Hive社區中引入了新的列式文件格式（如ORC文件），提供一種更現代、高效和高性能的方式來儲存Hive數據。
❹引入了新的運行時框架——Tez，旨在消除Hive的延時和吞吐量限制。Tez通過消除不必要的task、障礙同步和對HDFS的讀寫作業來優化Hive job。這將優化Hadoop內部的執行鏈，徹底加速Hive負載處理。
三、Presto
簡介：Facebook開源的數據查詢引擎Presto ，可對250PB以上的數據進行快速地互動式分析。該項目始於 2012 年秋季開始開發，目前該項目已經在超過 1000 名 Facebook 雇員中使用，運行超過 30000 個查詢，每日數據在 1PB 級別。Facebook 稱 Presto 的性能比諸如 Hive 和 Map*Rece 要好上 10 倍有多。
Presto 當前支持 ANSI SQL 的大多數特效，包括聯合查詢、左右聯接、子查詢以及一些聚合和計算函數；支持近似截然不同的計數(DISTINCT COUNT)等。
⑶ 大數據時代的數據管理可以使用哪些軟體(大數據用什麼軟體)
數據是平台運營商襲簡的重要資產，可能提供API介面允許第三方有限度地使用，但是顯然是為了增強自身的業務，與此目的抵觸的行為都會受到約束。
收集數據主要是通過計算機和網路。凡是經過計算機處理的數據都很容易收集，比如瀏覽器里的粗中搜索、點擊、網上購物、其他數據拍凳褲（比如氣溫、海水鹽度、地震波）可以通過感測器轉化成數字信號輸入計算機。
收集到的數據一般要先經過整理，常用的軟體：Tableau和Impure是功能比較全面的，Refine和Wrangler是比較純粹的數據整理工具，Weka用於數據挖掘。
Hadoop是一個能夠對大量數據進行分布式處理的軟體框架。用於統計分析的R語言有個擴展RHadoop，可以在Hadoop集群上運行R代碼。更具體的自己搜索吧。
可視化輸出的工具很多。建議參考wikipedia的「數據可視化」條目。
Tableau、Impure都有可視化功能。R語言也可以繪圖。
還有很多可以用來在網頁上實現可視化輸出的框架或者控制項。
大致基於四種技術：Flash(Flex)或者JS(HTML5)或者Java或者ASP.NET(Silverlight)
Flash的有Degrafa、BirdEye、Axiis、OpenFlashChart
JS的有Ajax.org、SenchaExtJS、Filament、jQchart、Flot、Sparklines、gRaphael、TufteGraph、Exhibit、PlotKit、、MilkChart、GoogleChartAPI、Protovis
Java的有Choosel、google--java、GWTChronoscope、JFreeChart
ASP.NET的有TelerikCharts、Visifire、DundasChart
目前我比較喜歡d3(Data-DrivenDocuments)，圖形種類豐富，有交互能力，你可以去d3js.org看看，有很多種圖形的demo。
⑷ 做數據分析比較好用的軟體有哪些
Excel：普遍適用，既有基礎，又有中高級。
Excel透視表：中級一般用Excel透視表。尺兆鋒
hihidata：比較小眾的數據分析工具，三分鍾就可以學會直接上手，無需下載安裝，猜圓直接在線就可以使用。
Eview：比較小眾，建立一些經濟類的模型還是很有用的，計量經濟學中經常用到。
SPSS：採用類似EXCEL表格的方式輸入與管理數據，數據介面較為通用，能方便的從其他資料庫中讀入數據。其統計過程包陵晌括了常用的、較為成熟的統計過程，完全可以滿足大部分的工作需要。
MATLAB：是美國MathWorks公司出品的商業數學軟體，用於演算法開發、數據可視化、數據分析以及數值計算的高級技術計算語言和互動式環境使用的。
SAS：是把數據存取，管理，分析和展現有機地融為一體。其功能非常強大統計方法齊，全，新。
⑸ 常見的數據分析軟體有哪些
好的數據分析工具可以讓數據分析事半功倍，更容易處理數據。分析一下市面上流行的四款大數據分析軟體:
一、Excel
Excel使用人群眾多是新手入門級數據分析工具，也是最基本的數據分析工具之一。Excel主要學習使用常用函數、快捷鍵操作、基本圖表製作、數據透視表等。Excel具有多種強大的功能，可以滿足大多數數據分析工作的需要。而且Excel提供了相當友好的操作界面，對於有基本統計理論的用戶來說更容易上手。
二、SQL軟體
SQL是一種資料庫語言，它具有數據操作和數據定義功能，交互性強，能給用戶帶來很大方便。SQL專注於Select、聚合函數和條件查詢。關聯庫是目前應用較廣的資料庫管理系統，技術較為成熟。這類資料庫包括mysql.SQLServer.Oracle.Sybase.DB2等等。
SQL作為一種操作命令集，以其豐富的功能受到業界的廣泛歡迎，成為提高資料庫運行效率的保證。SQLServer資料庫的應用可以有效提高數據請求和返回速度，有效處理復雜任務，是提高工作效率的關鍵。
三、Python軟體
Python提供了能夠簡單有效地對對象進行編程的高級數據結構。Python語法和動態類型，以及解釋性語言的本質，使它成為大多數平台上寫腳本和快速開發應用的編程語言，並可用於可定製軟體中的擴展程序語言。豐富的Python標准庫提供了源代碼或機器代碼，適用於各種主要系統平台。Python有極其簡單的解釋文檔，所以更容易上手。
四、BI工具
BI工具是商業智能(Busines Inteligence)分析工具的英文縮寫。它是一個完整的大數據分析解決方案，可以有效地整合企業中現有的數據，快速准確地提供報表和幫助領導作出決策的數據依據，幫助企業做出明智的業務決策。BI工具是根據數據分析過程設計的。首先是數據處理，數據清理，然後是數據建模，最後是數據可視化，用圖表識別問題，影響決策。
在思邁特軟體Smartbi的例子中，Smartbi以工作流的形式為庫表提取數據模型的語義，通過可視化工具來處理數據，使其成為具有語義一致性和完整性的數據模型；它也增強了自助式數據集建立數據模型的能力。該系統支持的數據預處理方法有：采樣、分解、過濾與映射、列選擇、空值處理、合並列、合並行、元數據編輯、線選擇、重復值清除、排序等等。
它能通過表格填寫實現數據採集和補錄，並能對數據源進行預先整合和處理，通過簡單的拖放產生各種可視圖。同時，提供了豐富的圖標組件，可實時顯示相關信息，便於利益相關者對整個企業進行評估。
目前市場上的大數據分析軟體很多，如何選擇取決於企業自身的需求。因此，企業在購買數據分析軟體之前，首先要了解企業數據分析的目的是什麼。假如你是數據分析的新手，對需求了解不多，不妨多試試BI工具，BI工具在新手數據分析方面還是比較有優勢的。