處理大量數據用什麼

⑴ 如何進行大數據分析及處理

提取有用信息和形成結論。

用適當的統計、分析方法對收集來的大量數據進行分析，將它們加以匯總和理解並消化，以求最大化地開發數據的功能，發揮數據的作用。數據分析為了提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。

要求在標題欄中註明各個量的名稱、符號、數量級和單位等：根據需要還可以列出除原始數據以外的計算欄目和統計欄目等。從圖線上可以簡便求出實驗需要的某些結果，還可以把某些復雜的函數關系，通過一定的變換用圖形表示出來。

(1)處理大量數據用什麼擴展閱讀：

大數據分析及處理的相關要求規定：

1、以數據流引領技術流、物質流、資金流、人才流，將深刻影響社會分工協作的組織模式，促進生產組織方式的集約和創新。

2、大數據推動社會生產要素的網路化共享、集約化整合、協作化開發和高效化利用，改變了傳統的生產方式和經濟運行機制，可顯著提升經濟運行水平和效率。

3、大數據持續激發商業模式創新，不斷催生新業態，已成為互聯網等新興領域促進業務創新增值、提升企業核心價值的重要驅動力。大數據產業正在成為新的經濟增長點，將對未來信息產業格局產生重要影響。

⑵ 如何進行大數據分析及處理

1.可視化分析

大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。

2. 數據挖掘演算法

大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計 學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。

另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如 果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。

3. 預測性分析

大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。

4. 語義引擎

非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。

語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。

5.數據質量和數據管理。

大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。

大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。

大數據的技術

數據採集： ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。

數據存取： 關系資料庫、NOSQL、SQL等。

基礎架構： 雲存儲、分布式文件存儲等。

數據處理： 自然語言處理(NLP，Natural Language Processing)是研究人與計算機交互的語言問題的一門學科。

處理自然語言的關鍵是要讓計算機」理解」自然語言，所以自然語言處理又叫做自然語言理解也稱為計算語言學。

一方面它是語言信息處理的一個分支，另一方面它是人工智慧的核心課題之一。

統計分析： 假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、 方差分析 、 卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、 因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。

數據挖掘： 分類 （Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)

模型預測 ：預測模型、機器學習、建模模擬。

結果呈現： 雲計算、標簽雲、關系圖等。

大數據的處理

1. 大數據處理之一：採集

大數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的 數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。

比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除 此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。

在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶 來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。

並且如何在這些資料庫之間 進行負載均衡和分片的確是需要深入的思考和設計。

2. 大數據處理之二：導入/預處理

雖然採集端本身會有很多資料庫，但是如果要對這些海量數據進行有效的分析，還是應該將這 些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。

也有一些用戶會在導入時使 用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。

導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。

3. 大數據處理之三：統計/分析

統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通 的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於 MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。

統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。

4. 大數據處理之四：挖掘

與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數 據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。

比較典型演算法有用於聚類的Kmeans、用於 統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。

該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並 且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。

整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理。

⑶ 數據分析用什麼軟體

做數據分析，比較好用的軟體有哪些？
數據分析軟體有很多種，每一種都適合不同類型的人員。

簡單說：

Excel：普遍適用，既有基礎，又有中高級。中級一般用Excel透視表，高級的用Excel VBA。

hihidata：比較小眾的數據分析工具。三分鍾就可以學會直接上手。無需下載安裝，直接在線就可以使用。

SPSS：專業統計軟體，沒有統計功底很難用的。同時包含了數據挖掘等高大功能。

SAS：專業統計軟體，專業人士用的，不懂編程還是不要碰了。

MARLAB：建立統計與數學模型，但是比較難學，很難上手。

Eview：比較小眾，建立一些經濟類的模型還是很有用的。計量經濟學中經常用到。

各種BI與報表工具：FineBI，FineReport，tableau，QlikView等。
比較好的數據分析軟體有哪些？
SPSS是軟體里比較簡單的 ，學校里使用的比較多一些，可以採用菜單的模式 帶少量的命令編輯MATLAB常常在建立統計和數學模型的時候比較好用 但是很難學 反正我學了一個學期楞是就知道個皮毛Finereport 兼顧了基本的數據錄入與展現功能，一般的數據源都支持，學習成本比較低，比較適合企業級用戶使用，SAS我沒用過
網站數據分析工具哪個好用些阿？
推薦吆喝科技的ab測試，軟體分析的數據比較全面和精準
學數據分析需要熟悉哪些軟體基礎
軟體只是一個工具 看你要從事的數據分析的方向很深度而定

一般的用excel也可以進行常規簡單的數據分析

再深入一點的用spss、stata、sas

如果要搞數據挖掘的話，用spss modeler / sas

不過一般的常規數據分析用excel和spss基本上能夠應付
常用的數據分析工具有哪些
數據分析的概念太寬泛了，做需要的是側重於數據展示、數據挖掘、還是數據存儲的？是個人用還是企業、部門用呢？應用的場景是製作簡單的個人圖表，還是要做銷售、財務還是供應鏈的分析？

那就說說應用最廣的BI吧，企業級應用，其實功能上已經涵蓋了我上面所述的部分，主要用於數據整合，構建分析，展示數據供決策分析的，譬如FineBI，是能夠」智能」分析數據的工具了。
android數據分析工具用什麼軟體
1. 開源大數據生態圈

Hadoop HDFS、Hadoop MapRece, HBase、Hive 漸次誕生，早期Hadoop生態圈逐步形成。

開源生態圈活躍，並免費，但Hadoop對技術要求高，實時性稍差。

2. 商用大數據分析工具

一體機資料庫/數據倉庫（費用很高）

IBM PureData(Netezza), Oracle Exadata, SAP Hana等等。

數據倉庫（費用較高）

Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

數據集市（費用一般）

QlikView、 Tableau 、國內永洪科技Yonghong Data Mart 等等。

前端展現

用於展現分析的前端開源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用於展現分析商用分析工具有Cognos,BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 、國內永洪科技Yonghong Z-Suite等等。
數據分析軟體有哪些，他們分別的特點是什麼
除了EXCEL 數據分析用的多的有以下幾個軟體，你看看你們公司符合哪個

SPSS（StatisticalProct and Service Solutions），「統計產品與服務解決方案」軟體，是數據定量分析的工具，適用於社會科學（如經濟分析，市場調研分析）和自然科學等林林總總的統計分析，國內使用的最多，領域也多。

SPSS就如一個傻瓜相機，界面友好，使用簡單，但是功能強大，可以編程，能解決絕大部分統計學問題，適合初學者。它有一個可以點擊的交互界面，能夠使用下拉菜單來選擇所需要執行的命令。它也有一個通過拷貝和粘貼的方法來學習其「句法」語言，但是這些句法通常非常復雜而且不是很直觀。

SPSS致力於簡便易行（其口號是「真正統計，確實簡單」），並且取得了成功。但是如果你是高級用戶，隨著時間推移你會對它喪失興趣。SPSS是制圖方面的強手，由於缺少穩健和調查的方法，處理前沿的統計過程是其弱項。

SAS是全球最大的軟體公司之一，是全球商業智能和分析軟體與服務領袖。SAS由於其功能強大而且可以編程，很受高級用戶的歡迎，也正是基於此，它是最難掌握的軟體之一，多用於企業工作之中。

SAS就如一台單反相機，你需要編寫SAS程序來處理數據，進行分析。如果在一個程序中出現一個錯誤，找到並改正這個錯誤將是困難的。在所有的統計軟體中，SAS有最強大的繪圖工具，由SAS/Graph模塊提供。然而，SAS/Graph模塊的學習也是非常專業而復雜，圖形的製作主要使用程序語言。SAS適合高級用戶使用。它的學習過程是艱苦的，正所謂「五年入門，十年精通」，最初的階段會使人灰心喪氣。然而它還是以強大的數據管理和同時處理大批數據文件的功能，得到高級用戶的青睞。

R 是用於統計分析、繪圖的語言和操作環境，屬於GUN系統的一個自由、免費、源代碼開放的軟體，它是一個用於統計計算和統計制圖的優秀工具，多用於論文，科研領域。

R的思想是：它可以提供一些集成的統計工具，但更大量的是它提供各種數學計算、統計計算的函數，從而使使用者能靈活機動的進行數據分析，甚至創造出符合需要的新的統計計算方法。因此R有很多最新的模型和檢驗方法，但是非常難自學，對英語的要求很高。R與SAS的區別在於，R是開放免費的，處理更靈活，同時對編程要求較高。
大數據是什麼意思？哪些軟體適合大數據分析？
大數據定義什麼的網路很多。個人理解：現有的互聯網數據量越來越大，面對這么大的數據量，如何利用好這些數據是極具挑戰性的。一方面數據量提升，數據處理的方法必須改變，才能提高數據處理速度，比如大規模，高並發的網站訪問，12306，淘寶天貓什麼的；另一方面從這些海量數據中挖掘出有用的信息，比如根據淘寶根據用戶點擊訪問，反饋出用戶的喜好，給用戶推薦相關商品。

推薦Hadoop，適合大數據處理的。

網上學習資料很多，自己搜去！

當然你也可以自己使用資料庫MYSQL等去做大數據處理，這樣很多Hadoop做好的東西都需要你自己去做。要是熟悉某個資料庫，並且應用明確就用資料庫自己去做吧！

加油！
數據分析軟體哪個好
最常用的是spss,屬於非專業統計學的! sas是專業的統計分析軟體,需要編程用,都是專業人士用的 數據分析中的數據挖掘,可以使用spss公司的clementine
大數據分析一般用什麼工具分析
在大數據處理分析過程中常用的六大工具：

Hadoop

Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。

HPCC

HPCC，High Performance puting and munications(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了「重大挑戰項目：高性能計算與 通信」的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。

Storm

Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。

Apache Drill

為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為「Drill」的開源項目。Apache Drill 實現了 Google's Dremel.

據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，「Drill」已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。

RapidMiner

RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

Pentaho BI

Pentaho BI 平台不同於傳統的BI 產品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。

⑷ 處理大量excel 數據用什麼筆記本電腦

可以選聯想、華碩、惠普、戴爾、宏基。

筆記本電腦（Laptop），簡稱筆記本，又稱「攜帶型電腦，手提電腦、掌上電腦或膝上型電腦」，特點是機身小巧。比台式機攜帶方便，是一種小型、便於攜帶的個人電腦。通常重1-3公斤。

當前發展趨勢是體積越來越小，重量越來越輕，功能越來越強。

為了縮小體積，筆記本電腦採用液晶顯示器（液晶LCD屏）。除鍵盤外，還裝有觸控板Touchpad或觸控點（Pointing stick）作為定位設備（Pointing device）。

筆記本電腦和台式機的區別在於便攜性，它對主板、CPU、內存、顯卡、硬碟的容量等有不同要求。

當今的筆記本電腦正在根據用途分化出不同的趨勢，上網本趨於日常辦公以及電影；商務本趨於穩定低功耗獲得更長久的續航時間。

家用本擁有不錯的性能和很高的性價比，游戲本則是專門為了迎合少數人群外出遊戲使用的；發燒級配置，娛樂體驗效果好，當然價格不低，電池續航時間也不理想。

全球市場上有很多品牌的筆記本電腦。依次為：蘋果（Apple）、聯想（Lenovo）、惠普（HP）、華碩、宏_（Acer）等。

筆記本電腦的品牌分三線，一線、准一線、二線和三線。

配置不變、功能不變、機身變薄、重量變輕，這樣的筆記本電腦才能真正體現出所謂「筆記本」的感覺。

報道指出，隨著筆記本電腦行業技術的不斷提高，以及第二代SandyBridge處理器的面市，如今8～12英寸屏幕的筆記本電腦已經趨於簡單型筆記本電腦那樣，正在趨於價格、性能與攜帶方便的均衡。

超薄筆記本電腦其內部配置，不論是從處理器、內存到硬碟等主要配件，在性能方面絕不輸於那些體型較大的筆記本電腦。

當然，要說到差異也並不是沒有的，最明顯的就是一般超薄型筆記本電腦由於體積、散熱、內存等原因，一般不會使用高端配置，另外電池的體積也在一定程度上決定了性能與續航時間的關系。

輕薄的上網本一般不使用內置光碟機、網線介面（部分電腦沒有數字小鍵盤）。無線區域網WLAN、藍牙等功能早已普及，尺寸同樣輕巧。

不過，高配置不是沒有代價的，這個相信大家都明白，這樣高配置的超薄型筆記本電腦其價格就不見得和藹可親。

筆記本系列推出了超級本，這種筆記本不僅配置高，可以滿足更多專業人士的需求，還方便了攜帶。

⑸ 大數據處理軟體用什麼比較好

常見的數據處理軟體有Apache Hive、SPSS、Excel、Apache Spark、Jaspersoft BI 套件。

1、Apache Hive

Hive是一個建立在Hadoop上的開源數據倉庫基礎設施，通過Hive可以很容易的進行數據的ETL,對數據進行結構化處理,並對Hadoop上大數據文件進行查詢和處理等。 Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數據提供了方便。

數據分析與處理方法：

採集

在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。

並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。

統計/分析

統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的大量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於MySQL的列式存儲Infobright等。

而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。

導入/預處理

雖然採集端本身會有很多資料庫，但是如果要對這些大量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。

也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。

⑹ 處理大量excel 數據用什麼筆記本電腦處理報表

現在的主流計算機計算日常的報表基本都沒有壓力，內存稍微大點（建議8g）基本就可以了。
如果是長期、大量的數據計算（比如表格動輒幾萬行，經常使用全局計算函數），就需要對配置有一定的要求，建議價格在6k以上的非輕薄筆記本就好了（最好是固態硬碟）。