怎麼做大數據

A. 如何進行大數據分析及處理

大數據的分析從所周知，大數據已經不簡簡單單是數據大的事實了，而最重要的現實是對大數據進行分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。那麼越來越多的應用涉及到大數據，而這些大數據的屬性，包括數量，速度，多樣性等等都是呈現了大數據不斷增長的復雜性，所以大數據的分析方法在大數據領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。基於如此的認識，大數據分析普遍存在的方法理論有哪些呢？1. 可視化分析。大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。2. 數據挖掘演算法。大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。3. 預測性分析。大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。4. 語義引擎。非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。5.數據質量和數據管理。大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。大數據的技術數據採集：ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。數據存取：關系資料庫、NOSQL、SQL等。基礎架構：雲存儲、分布式文件存儲等。數據處理：自然語言處理(NLP，Natural Language Processing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機」理解」自然語言，所以自然語言處理又叫做自然語言理解(NLU，Natural Language Understanding)，也稱為計算語言學(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智慧(AI, Artificial Intelligence)的核心課題之一。統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。數據挖掘：分類（Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)模型預測：預測模型、機器學習、建模模擬。結果呈現：雲計算、標簽雲、關系圖等。大數據的處理1. 大數據處理之一：採集大數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。2. 大數據處理之二：導入/預處理雖然採集端本身會有很多資料庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。3. 大數據處理之三：統計/分析統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。4. 大數據處理之四：挖掘與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理。End.

B. 調研報告大數據分析怎麼做

1、明確思路

明確數據分析的目的以及思路是確保數據分析過程有效進行的首要條件。它作用的是可以為數據的收集、處理及分析提供清晰的指引方向。可以說思路是整個分析流程的起點。首先目的不明確則會導致方向性的錯誤。當明確目的後，就要建分析框架，把分析目的分解成若干個不同的分析要點，即如何具體開展數據分析，需要從哪幾個角度進行分析，採用哪些分析指標。

2、收集數據

收集數據是按照確定的數據分析框架收集相關數據的過程，它為數據分析提供了素材和依據。這里所說的數據包括第一手數據與第二手數據，第一手數據主要指可直接獲取的數據，第二手數據主要指經過加工整理後得到的數據。

3、處理數據

處理數據是指對收集到的數據進行加工整理，形成適合數據分析的樣式，它是數據分析前必不可少的階段。數據處理的基本目的是從大量的、雜亂無章、難以理解的數據中，抽取並推導出對解決問題有價值、有意義的數據。數據處理主要包括數據清洗、數據轉化、數據提取、數據計算等處理方法。

4、分析數據

分析數據是指用適當的分析方法及工具，對處理過的數據進行分析，提取有價值的信息，形成有效結論的過程。由於數據分析多是通過軟體來完成的，這就要求數據分析師不僅要掌握各種數據分析方法，還要熟悉數據分析軟體的操作。而數據挖掘其實是一種高級的數據分析方法，就是從大量的數據中挖掘出有用的信息，它是根據用戶的特定要求，從浩如煙海的數據中找出所需的信息，以滿足用戶的特定需求。

5、展現數據

一般情況下，數據是通過表格和圖形的方式來呈現的，我們常說用圖表說話就是這個意思。常用的數據圖表包括餅圖、柱形圖、條形圖、折線圖、散點圖、雷達圖等，當然可以對這些圖表進一步整理加工，使之變為我們所需要的圖形。

6、撰寫報告

數據分析報告其實是對整個數據分析過程的一個總結與呈現。通過報告，把數據分析的起因、過程、結果及建議完整地呈現出來，供決策者參考。一份好的數據分析報告，首先需要有一個好的分析框架，並且圖文並茂，層次明晰，能夠讓閱讀者一目瞭然。另外，數據分析報告需要有明確的結論，沒有明確結論的分析稱不上分析，同時也失去了報告的意義，因為我們最初就是為尋找或者求證一個結論才進行分析的，所以千萬不要舍本求末。最後，好的分析報告一定要有建議或解決方案。

C. 大數據分析怎麼做最好

數據分析是基於商業目的，有目的的進行收集、整理、加工和分析數據，提煉有價信息的一個過程。

其過程概括起來主要包括：明確分析目的與框架、數據收集、數據處理、數據分析、數據展現和撰寫報告等6個階段。

一、明確分析目的與框架

一個分析項目，你的數據對象是誰？商業目的是什麼？要解決什麼業務問題？數據分析師對這些都要瞭然於心。

基於商業的理解，整理分析框架和分析思路。例如，減少新客戶的流失、優化活動效果、提高客戶響應率等等。不同的項目對數據的要求，使用的分析手段也是不一樣的。

二、數據收集

數據收集是按照確定的數據分析和框架內容，有目的的收集、整合相關數據的一個過程，它是數據分析的一個基礎。

三、數據處理

數據處理是指對收集到的數據進行加工、整理，以便開展數據分析，它是數據分析前必不可少的階段。這個過程是數據分析整個過程中最占據時間的，也在一定程度上取決於數據倉庫的搭建和數據質量的保證。

數據處理主要包括數據清洗、數據轉化等處理方法。

四、數據分析

數據分析是指通過分析手段、方法和技巧對准備好的數據進行探索、分析，從中發現因果關系、內部聯系和業務規律，為商業目提供決策參考。

到了這個階段，要能駕馭數據、開展數據分析，就要涉及到工具和方法的使用。其一要熟悉常規數據分析方法，最基本的要了解例如方差、回歸、因子、聚類、分類、時間序列等多元和數據分析方法的原理、使用范圍、優缺點和結果的解釋；其二是熟悉1+1種數據分析工具，Excel是最常見，一般的數據分析我們可以通過Excel完成，後而要熟悉一個專業的分析軟體，如數據分析工具SPSS/SAS/R/Matlab/Tableau/QlikView/大數據魔鏡（國產）等，便於進行一些專業的統計分析、數據建模等。

五、數據展現

一般情況下，數據分析的結果都是通過圖、表的方式來呈現，俗話說：字不如表，表不如圖。。藉助數據展現手段，能更直觀的讓數據分析師表述想要呈現的信息、觀點和建議。。

常用的圖表包括餅圖、折線圖、柱形圖/條形圖、散點圖、雷達圖等、金字塔圖、矩陣圖、漏斗圖、帕雷托圖等。

六、撰寫報告

最後階段，就是撰寫數據分析報告，這是對整個數據分析成果的一個呈現。通過分析報告，把數據分析的目的、過程、結果及方案完整呈現出來，以供商業目的提供參考。

一份好的數據分析報告，首先需要有一個好的分析框架，並且圖文並茂，層次明晰，能夠讓閱讀者一目瞭然。結構清晰、主次分明可以使閱讀者正確理解報告內容；圖文並茂，可以令數據更加生動活潑，提高視覺沖擊力，有助於閱讀者更形象、直觀地看清楚問題和結論，從而產生思考。

另外，數據分析報告需要有明確的結論、建議和解決方案，不僅僅是找出問題，後者是更重要的，否則稱不上好的分析，同時也失去了報告的意義，數據的初衷就是為解決一個商業目的才進行的分析，不能舍本求末。

D. 大數據怎麼做

如果對大數據了解不多的話建議體系化的看課程視頻跟著多易教育的老師好好學習學習。

E. 互聯網公司是如何做大數據的

互聯網公司是如何做大數據的
大數據」炙手可熱，很多企業都不會錯失機會，谷歌已經從一個網頁索引發展成為一個實時數據中心樞紐，可以估量任何可以測量的數據，將輸入的查詢與所有可用數據相匹配，確定用戶查找的信息;對臉譜網來說大數據就是「人」，公司也利用這一點在十幾年之內成為世界上最大的公司之一。
亞馬遜通過分析用戶習慣，將用戶與其他可能符合用戶需求的產品和建議相匹配;領英幫助求職者根據自己的技能和經驗來匹配空缺職位，幫助招聘人員找到與特定資料相匹配的人才，這些都是大數據應用的典型例子，但也只是其中一部分，越來越多的數據易獲得，復雜工具也會隨之涌現，大數據的利用可以改變我們個人生活和商業活動。
當下，每個人都聽說過人們如何利用大數據治癒癌症、終結恐怖主義和養活飢餓人口來改變世界。
當然，也很明顯，有些人正利用它來賺大錢——據估計，到2030年，世界經濟將增加15萬億美元。
很多人可能會想「那太好了，但實際上和我沒什麼關系。」只有擁有數百萬美元資產的大型科技公司才會真正受益。那你需要大量的數據才能開始一項新的研究嗎?
其實並不是這樣的。事實上，利用近年在數據收集、分析上的巨大突破，很容易改善我們的個人和商業生活。很多人先前可能沒有認識到這點。
以下是大數據作為日常生活工具和服務的一部分的一些細節。
谷歌——語義分析與用戶畫像
盡管谷歌並沒有把自己標榜成數據公司，但實際上它的確是數據寶庫和處理問題的工具。它已經從一個網頁索引發展成為一個實時數據中心樞紐，幾乎可以估量任何可以測量的數據（比如：天氣信息、旅行延遲、股票和股份、購物……以及其他很多事情）。
大數據分析——也就是說，當我們進行搜索時大數據就會起作用，可以使用工具來對數據分類和理解。谷歌計算程序運行復雜的演算法，旨在將輸入的查詢與所有可用數據相匹配。它將嘗試確定你是否正在尋找新聞、事實、人物或統計信息，並從適當的資料庫中提取數據。
對於更復雜的操作，例如翻譯，谷歌會調用其他基於大數據的內置演算法。谷歌的翻譯服務研究了數以百萬計的翻譯文本或演講稿，旨在為顧客提供最准確的解釋。
經常利用大數據分析的對象從最大的企業到單人樂隊，當他們通過谷歌的Adwords進行廣告宣傳時就是對大數據的利用。通過分析我們瀏覽的網頁(很明顯能看出我們喜歡什麼網頁)，谷歌可以向我們展示我們可能感興趣的產品和服務的廣告。廣告商使用Adwords和谷歌分析等其他服務，以吸引符合其客戶資料的人員到其網站和商店時，廣告商就利用了大數據分析。
臉譜網——圖像識別與「人」的大數據
盡管臉譜網與谷歌在市場營銷上差異巨大，但實際上它們的業務和數據模式非常相似。眾所周知，兩個公司都選擇將自己的企業形象定位重點放在大數據方面。
對谷歌來說，大數據是在線信息、數據和事實。對臉譜網來說大數據就是「人」。臉譜網讓我們與朋友和家人保持聯系越來越方便，利用這個巨大的吸引力，該公司在十幾年之內成為世界上最大的公司之一。這也意味著他們收集了大量的數據，同時我們也可以自己使用這些大數據。當我們搜索老朋友時，大數據就會發揮作用，將我們的搜索結果與我們最有可能聯系的人進行匹配。
由臉譜網開創的先進技術包括圖像識別——一種大數據技術，通過利用數百萬種其他圖像進行訓練，能教會機器識別圖片或視頻中的主題或細節。在我們告訴它圖片中的人是誰之前，機器可以通過標簽來識別圖片中的人。這也是為什麼，當我們的朋友分享或給圖片「點贊」時，如果它發現我們喜歡看例如嬰兒或貓的圖片，在我們的信息流中就會看到更多這種類型的圖片。
對人們興趣及其利益的詳細了解也使臉譜網能夠向任何企業出售極具針對性的廣告。臉譜網可以幫助企業根據詳細的人口統計數據和興趣數據找到潛在客戶，或者可以僅僅讓他們通過查找與企業已有客戶相似的其他客戶來完成他們的大數據「魔術」。
亞馬遜——基於大數據的推薦引擎
亞馬遜作為世界上最大的在線商店，也是世界上最大的數據驅動型組織之一。亞馬遜和本文提到的其他互聯網巨頭之間的差別很大程度上取決於市場營銷。與谷歌和一樣，亞馬遜提供了廣泛的在線服務，包括信息搜索、關注朋友和家人的賬號以及廣告，但其品牌建立在最初以購物聞名的服務上。
亞馬遜將我們瀏覽和購買的產品與全球數百萬其他客戶進行比較。通過分析我們的習慣，可以將我們與其他可能符合我們需求的產品和建議相匹配。大數據技術在亞馬遜的應用就是推薦引擎，而亞馬遜是推薦引擎的鼻祖，其也是最復雜的。除了購物，亞馬遜還讓客戶利用自己的平台賺錢。任何在自己的平台上建立交易的人都會受益於數據驅動的推薦，從理論上講，這將吸引合適的客戶來購買產品。
領英——被篩選過的精準大數據
如果你是一名僱主，或是正在找工作的人，領英會提供一些可以幫助你的大數據。
求職者可以根據自己的技能和經驗來匹配空缺職位，甚至可以找到與公司其他員工以及其他可能競爭該職位的員工的數據。
對招聘人員來說，領英的大數據可以找到與特定資料相匹配的人才，例如現任員工或前雇員。
領英對其數據採取了「圍牆的花園」方式（註：「圍牆花園」是相對於「完全開放」的互聯網，把用戶限制在一個特定的范圍內，允許用戶訪問指定的內容），當你選擇在何處尋找和使用大數據時，這個不同之處值得考慮。領英的招聘人員和申請人的服務都是由公司內部和由服務本身控制的數據進行的，而谷歌是(在美國也提供招聘信息)從大量外部資源中獲取收數據。領英的方法提供了潛在的更高質量的信息，而另一方面，它可能不全面。谷歌的方法提供了更大容量的數據，但這些數據可能是你想要的，也可能不是。
這些只是應用大數據的幾種方式——遠非資源豐富的公司和技術精英的工具，而是我們大部分人在日常生活中已經從中受益的東西。隨著越來越多的數據變得容易獲取，越來越復雜的工具涌現出來，從中獲得價值，肯定會有更多的數據產生。

F. 如何入門大數據

大數據
數據科學並沒有一個獨立的學科體系，統計學，機器學習，數據挖掘，資料庫，分布式計算，雲計算，信息可視化等技術或方法來對付數據。
但從狹義上來看，我認為數據科學就是解決三個問題：
1. data pre-processing;(數據預處理）
2. data interpretation；（數據解讀）
3.data modeling and analysis.（數據建模與分析）
這也就是我們做數據工作的三個大步驟：
1、原始數據要經過一連串收集、提取、清洗、整理等等的預處理過程，才能形成高質量的數據；
2、我們想看看數據「長什麼樣」，有什麼特點和規律；
3、按照自己的需要，比如要對數據貼標簽分類，或者預測，或者想要從大量復雜的數據中提取有價值的且不易發現的信息，都要對數據建模，得到output。
這三個步驟未必嚴謹，每個大步驟下面可能依問題的不同也會有不同的小步驟，但按我這幾年的經驗來看，按照這個大思路走，數據一般不會做跑偏。
這樣看來，數據科學其實就是門復合型的技術，既然是技術就從編程語言談起吧，為了簡練，只說說R和Python。但既然是薦數據科學方面的書，我這里就不提R/Python編程基礎之類的書了，直接上跟數據科學相關的。
R programming
如果只是想初步了解一下R語言已經R在數據分析方面的應用，那不妨就看看這兩本：
R in action：我的R語言大數據101。其實對於一個沒有任何編程基礎的人來說，一開始就學這本書，學習曲線可能會比較陡峭。但如果配合上一些輔助材料，如官方發布的R basics（http://cran.r-project.org/doc/contrib/usingR.pdf），stackoverflow上有tag-R的問題集（Newest 『r』 Questions），遇到復雜的問題可在上面搜索，總會找到解決方案的。這樣一來，用這本書拿來入門學習也問題不大。而且這本書作者寫得也比較輕松，緊貼實戰。
Data analysis and graphics using R：使用R語言做數據分析的入門書。這本書的特點也是緊貼實戰，沒有過多地講解統計學理論，所以喜歡通過情境應用來學習的人應該會喜歡這本入門書。而且這本書可讀性比較強，也就是說哪怕你手頭沒電腦寫不了代碼，有事沒事拿出這本書翻一翻，也能讀得進去。
但如果你先用R來從事實實在在的數據工作，那麼上面兩本恐怕不夠，還需要這些：
Modern applied statistics with S：這本書里統計學的理論就講得比較多了，好處就是你可以用一本書既復習了統計學，又學了R語言。（S/Splus和R的關系就類似於Unix和Linux，所以用S教程學習R，一點問題都沒有）
Data manipulation with R：這本書實務性很強，它教給你怎麼從不同格式的原始數據文件里讀取、清洗、轉換、整合成高質量的數據。當然和任何一本注重實戰的書一樣，本書也有豐富的真實數據或模擬數據供你練習。對於真正從事數據處理工作的人來說，這本書的內容非常重要，因為對於任何研究，一項熟練的數據預處理技能可以幫你節省大量的時間和精力。否則，你的研究總是要等待你的數據。
R Graphics Cookbook：想用R做可視化，就用這本書吧。150多個recipes，足以幫你應付絕大多數類型的數據。以我現在極業余的可視化操作水平來看，R是最容易做出最漂亮的圖表的工具了。
An introction to statistical learning with application in R：這本書算是著名的the element of statistical learning的姊妹篇，後者更注重統計（機器）學習的模型和演算法，而前者所涉及的模型和演算法原沒有後者全面或深入，但卻是用R來學習和應用機器學習的很好的入口。
A handbook of statistical analysis using R：這本書內容同樣非常扎實，很多統計學的學生就是用這本書來學慣用R來進行統計建模的。
Python
Think Python，Think Stats，Think Bayes：這是Allen B. Downey寫的著名的Think X series三大卷。其實是三本精緻的小冊子，如果想快速地掌握Python在統計方面的操作，好好閱讀這三本書，認真做習題，答案鏈接在書里有。這三本書學通了，就可以上手用Python進行基本的統計建模了。
Python For Data Analysis： 作者是pandas的主要開發者，也正是Pandas使Python能夠像R一樣擁有dataframe的功能，能夠處理結構比較復雜的數據。這本書其實analysis講得不多，說成數據處理應該更合適。掌握了這本書，處理各種糟心的數據就問題不大了。
Introction to Python for Econometrics, Statistics and Data Analysis：這本書第一章就告訴你要安裝Numpy, Scipy, Matplotlib, Pandas, IPython等等。然後接下來的十好幾章就是逐一介紹這幾個庫該怎麼用。很全面，但讀起來比較枯燥，可以用來當工具書。
Practical Data Analysis： 這本書挺奇葩，貌似很暢銷，但作者把內容安排得東一榔頭西一棒子，什麼都講一點，但一個都沒講透。這本書可以作為我們學習數據分析的一個索引，看到哪塊內容有意思，就順著它這個藤去摸更多的瓜。
Python Data Visualization Cookbook： 用Python做可視化的教材肯定不少，我看過的也就這一本，覺得還不錯。其實這類書差別都不會很大，咬住一本啃下來就是王道。
Exploratory Data Analysis 和 Data Visualization
Exploratory Data Analysis：John Tukey寫於1977年的經典老教材，是這一領域的開山之作。如今EDA已經是統計學里的重要一支，但當時還是有很多人對他的工作不屑一顧。可他愛數據，堅信數據可以以一種出人意料的方式呈現出來。正是他的努力，讓數據可視化成為一門無比迷人的技術。但這本書不推薦閱讀了，內容略過時。要想完整地了解EDA，推薦下一本：
Exploratory Data Analysis with MATLAB：這本書雖然標題帶了個MATLAB，但實際上內容幾乎沒怎麼講MATLAB，只是每講一個方法的時候就列出對應的MATALB函數。這本書的重要之處在於，這是我讀過的講EDA最系統的一本書，除了對visualization有不輸於John Tucky的講解外，對於高維的數據集，通過怎樣的方法才能讓我們從中找到潛在的pattern，這本書也做了詳盡的講解。全書所以案例都有對應的MATALB代碼，而且還提供了GUI（圖形用戶界面）。所以這本書學起來還是相當輕松愉悅的。
Visualize This：中譯本叫「鮮活的數據」，作者是個「超級數據迷」，建立了一個叫http://flowingdata.com的網頁展示他的數據可視化作品，這本書告訴你該選擇什麼樣的可視化工具，然後告訴你怎樣visualize關系型數據、時間序列、空間數據等，最後你就可以用數據講故事了。如果你只想感受一下數據可視化是個什麼，可以直接點開下面這個鏈接感受下吧！A tour through the visualization zoo（A Tour Through the Visualization Zoo）
Machine Learning & Data Mining
這一塊就不多說了，不是因為它不重要，而是因為它太太太重要。所以這一部分就推兩本書，都是」世界名著「，都比較難讀，需要一點點地啃。這兩本書拿下，基本就算是登堂入室了。其實作為機器學習的延伸和深化，概率圖模型（PGM）和深度學習（deep learning）同樣值得研究，特別是後者現在簡直火得不得了。但PGM偏難，啃K.Daphne那本大作實在太燒腦，也沒必要，而且在數據領域的應用也不算很廣。deep learning目前工業界的步子邁得比學術界的大，各個domain的應用如火如荼，但要有公認的好教材問世則還需時日，所以PGM和deep learning這兩塊就不薦書了。
The Element of Statistical Learning：要學機器學習，如果讓我只推薦一本書，我就推薦這本巨著。Hastie、Tibshirani、Friedman這三位大牛寫書寫得太用心了，大廈建得夠高夠大，結構也非常嚴謹，而且很有前瞻性，納入了很多前沿的內容，而不僅僅是一部綜述性的教材。（圖表也做得非常漂亮，應該是用R語言的ggplot2做的。）這本書注重講解模型和演算法本身，所以需要具備比較扎實的數理基礎，啃起這本書來才不會太吃力。事實上掌握模型和演算法的原理非常重要。機器學習（統計學習）的庫現在已經非常豐富，即使你沒有完全搞懂某個模型或演算法的原理和過程，只要會用那幾個庫，機器學習也能做得下去。但你會發現你把數據代進去，效果永遠都不好。但是，當你透徹地理解了模型和演算法本身，你再調用那幾個庫的時候，心情是完全不一樣的，效果也不一樣。
Data Mining: Concepts and Techniques, by Jiawei Han and Micheline Kamber 數據挖掘的教材汗牛充棟，之所以推薦這本韓家煒爺爺的，是因為雖然他這本書的出發點是應用，但原理上的內容也一點沒有落下，內容非常完整。而且緊跟時代，更新的很快，我看過的是第二版，就已經加進去了social network analysis這種當時的前沿內容。現在已經有第三版了，我還沒看過，但應該也加入了不少新內容。其實這本書並不難讀，只是篇幅較長，啃起來比較耗時。
其實這兩本書里單拎出來一塊內容可能又是幾本書的節奏，比如bayesian方法，再拿出兩三本書來講也不為過，我個人用到的比較多，而且也確實有不少好書。但並非是所有data scientist都要用到，所以這一塊就不再細說。
還有一些印象比較深刻的書：
Big Data Glossary： 主要講解大數據處理技術及工具，內容涵蓋了NoSQL，MapRece，Storage，Servers，NLP庫與工具包，機器學習工具包，數據可視化工具包，數據清洗，序列化指南等等。總之，是一本辭典式的大數據入門指導。
Mining of Massive Datasets：這本書是斯坦福大學Web Mining的講義，裡面很多內容與韓家煒的Data Mining那本書重合，但這本書里詳細地講了MapRece的設計原理，PageRank（Google創業時期的核心排序演算法，現在也在不斷優化更新）講解得也比較詳細。
Developing Analytic Talent： 作者是個從事了十幾年數據工作的geek，技術博客寫得很有個人風格，寫的內容都比較偏門，通常只有具備相關數據處理經驗的人能體會出來，絲毫不照顧初學者的感受。比如他會談到當數據流更新太快時該怎麼辦，或者MapRece在什麼時候不好用的問題，才不管你懂不懂相關基礎原理。所以這本書不太適合初學者閱讀。這本書其實是作者的博客文章的集結，用how to become a data scientist的邏輯把他近幾年的博客文章串聯了起來。
Past, Present and Future of Statistical Science：這本書是由COPSS（統計學社主席委員會，由國際各大統計學會的帶頭人組成）在50周年出版的一本紀念冊，裡面有50位統計學家每人分別貢獻出的一兩篇文章，有的回憶了自己當年如何走上統計學這條路，有的探討了一些統計學的根本問題，有的談了談自己在從事的前沿研究，有的則給年輕一代寫下了寄語。非常有愛的一本書。
其它資料
Harvard Data Science：這是H大的Data science在線課，我沒有修過，但口碑很好。這門課需要費用8千刀左右，比起華盛頓大學的4千刀的Data science在線課雖貴一倍，但比斯坦福的14千刀要便宜將近一半（而且斯坦福的更偏計算機）。如果想自學，早有好心人分享了slides: （https://drive.google.com/folderview?id=0BxYkKyLxfsNVd0xicUVDS1dIS0k&usp=sharing）和homeworks and solutions: （https://github.com/cs109/content）
PyData：PyData是來自各個domain的用Python做數據的人每年舉行一次的聚會，期間會有各路牛人舉行一些規模不大的seminar或workshop，有好心人已經把video上傳到github，有興趣的去認領吧（DataTau/datascience-anthology-pydata · GitHub）
工具
R/Python/MATLAB（必備）：如果是做數據分析和模型開發，以我的觀察來看，使用這三種工具的最多。R生來就是一個統計學家開發的軟體，所做的事也自然圍繞統計學展開。MATLAB雖然算不上是個專業的數據分析工具，但因為很多人不是專業做數據的，做數據還是為了自己的domain expertise（特別是科學計算、信號處理等），而MATLAB又是個強大無比的Domain expertise工具，所以很多人也就順帶讓MATLAB也承擔了數據處理的工作，雖然它有時候顯得效率不高。Python雖然不是做數據分析的專業軟體，但作為一個面向對象的高級動態語言，其開源的生態使Python擁有無比豐富的庫，Numpy, Scipy 實現了矩陣運算/科學計算，相當於實現了MATLAB的功能，Pandas又使Python能夠像R一樣處理dataframe，scikit-learn又實現了機器學習。
SQL（必備）：雖然現在人們都說傳統的關系型資料庫如Oracle、MySQL越來越無法適應大數據的發展，但對於很多人來說，他們每天都有處理數據的需要，但可能一輩子都沒機會接觸TB級的數據。不管怎麼說，不論是用關系型還是非關系型資料庫，SQL語言是必須要掌握的技能，用什麼資料庫視具體情況而定。
MongoDB（可選）：目前最受歡迎的非關系型資料庫NoSQL之一，不少人認為MongoDB完全可以取代mySQL。確實MongoDB方便易用，擴展性強，Web2.0時代的必需品。
Hadoop/Spark/Storm（可選）: MapRece是當前最著名也是運用最廣泛的分布式計算框架，由Google建立。Hadoop/Spark/storm都是基於MapRece的框架建立起來的分布式計算系統，要說他們之間的區別就是，Hadoop用硬碟存儲數據，Spark用內存存儲數據，Storm只接受實時數據流而不存儲數據。一言以蔽之，如果數據是離線的，如果數據比較復雜且對處理速度要求一般，就Hadoop，如果要速度，就Spark，如果數據是在線的實時的流數據，就Storm。
OpenRefine（可選）：Google開發的一個易於操作的數據清洗工具，可以實現一些基本的清洗功能。
Tableau（可選）：一個可交互的數據可視化工具，操作簡單，開箱即用。而且圖表都設計得非常漂亮。專業版1999美刀，終身使用。媒體和公關方面用得比較多。
Gephi（可選）：跟Tableau類似，都是那種可交互的可視化工具，不需要編程基礎，生成的圖表在美學和設計上也是花了心血的。更擅長復雜網路的可視化。

G. 大數據初學者應該怎麼學

大數據大家一定都不陌生，現在這個詞幾乎是紅遍了大江南北，不管是男女老幼幾乎都聽說過大數據。大數據作為一個火爆的行業，很多人都想從事這方面相關的工作，所以大家就開始加入了學習大數據的行列。

目前，市面上不僅是學習大數據的人數在增加，隨之而來的是大數據培訓機構數量的迅速上升。因為很多人認為這是一門難學的技術，只有經過培訓才能夠很好的學習到相關技術，最終完成就業的目的。其實，也並不都是這樣的，學習大數據的方法有很多，只有找到適合自己的就能夠達到目的。

那麼，大數據初學者應該怎麼學？

1、如果是零基礎的初學者，對於大數據不是很了解，也沒有任何基礎的話，學習能力弱，自律性差的建議選擇大數據培訓學習更有效；

2、有一定的基礎的學員，雖然對於大數據不是很了解，但有其它方面的編程開發經驗，可以嘗試去選擇自學的方式去學習，如果後期感覺需要大數據培訓的話再去報名學習；

3、就是要去了解大數據行業的相關工作都需要掌握哪些內容，然後根據了解的內容去選擇需要學習的大數據課程。

大數據學習路線圖：

H. 大數據如何入門

首先我們要了解Java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。

大數據

Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。

Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。

Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

I. 初學者如何高效學習大數據技術

【導讀】大數據的高薪和發展前景，吸引著越來越多的人想要加入大數據行業，而想做大數據，前提是需要掌握相應的技術，才能獲得在行業立足的資本。尤其是很多零基礎學習者，學習大數據是需要跨過的第一道關卡。那麼，初學者如何高效學習大數據技術?

目前想要轉型做大數據的人群當中，零基礎的學習者不在少數，對於零基礎學習者，比較中肯的建議是不要自學。大數據作為一門新興技術，市面上能夠找到的學習資料非常有限，並且大數據技術不斷在更新迭代，自學很難跟上最新技術趨勢。

對於大部分零基礎學習者來說，想要學大數據，通過大數據培訓是效率最高的方式。而市面上的大數據培訓，可以分為線上培訓和線下培訓兩種模式，不管是這些機構課程如何宣傳，作為初學者，應該重視的是，如果能夠達到高效的學習。

大數據線上培訓，有直接賣錄制好的視頻的，也有視頻直播課程，相對來說，視頻直播課程具有更好的課堂互動性，如果能堅持下來，那麼應當也能有一定的收獲。

而大數據線下培訓，應該說是各種培訓模式下，學習效率和學習效果都最好的方式了。大數據線下培訓有完備的教學體系，系統化的大數據課程，資深的專業講師，三管齊下，能夠幫助學習者更快地入門，打下良好的基礎。

在大數據的學習中，除了基礎技術知識的學習，更重要的是理論與實踐的結合，畢竟我們最終還是要將技術知識運用到工作實際中，這也是就業當中的核心競爭力來源。

大數據線下培訓，擁有良好的硬體環境支持，在不同的學習階段，還有相應的實戰項目來做聯系，大大提升學習者的技術實戰能力。

以上就是小編今天給大家整理發送的關於「初學者如何高效學習大數據技術?」的全部內容，希望對大家有所幫助。所謂不做不打無准備之仗，總的來說隨著大數據在眾多行業中的應用，大數據技術工作能力的工程師和開發人員是很吃香的。希望各位大家在學習之前做好准備，下足功夫不要憑空想像的想要取得優異的成績。

J. 大數據營銷怎麼做

隨著互聯網的發展，大數據技術、AI演算法技術應用越加普及。大數據在營銷中的應用也越加廣泛。例如，1.對用戶個體特徵與行為的分析，例如MobTech企業覆蓋138億+設備，自有數據龐大，利用自有數據與第一方數據匹配，幫助企業做精準的用戶畫像和標簽補充，進而通過數據分析進行廣告與營銷信息的精準推送，現在的RTB廣告等應用則向我們展示了比以前更好的精準性，而其背後靠的是大數據支撐。MobTech用戶標簽維度達到6000+，覆蓋性別、年齡段、收入水平預估、消費傾向、媒介使用傾向等，精細化描述用戶的各維度數據。