大數據統計和硬輔哪個好

1. 怎樣進行大數據的入門級學習

怎樣進行大數據的入門級學習？

文 | 郭小賢

數據科學並沒有一個獨立的學科體系，統計學，機器學習，數據挖掘，資料庫，分布式計算，雲計算，信息可視化等技術或方法來對付數據。

但從狹義上來看，我認為數據科學就是解決三個問題：

1. datapre-processing；(數據預處理）

2. datainterpretation；（數據解讀）

3.datamodeling and analysis.（數據建模與分析）

這也就是我們做數據工作的三個大步驟：

1、原始數據要經過一連串收集、提取、清洗、整理等等的預處理過程，才能形成高質量的數據；

2、我們想看看數據「長什麼樣」，有什麼特點和規律；

3、按照自己的需要，比如要對數據貼標簽分類，或者預測，或者想要從大量復雜的數據中提取有價值的且不易發現的信息，都要對數據建模，得到output。

這三個步驟未必嚴謹，每個大步驟下面可能依問題的不同也會有不同的小步驟，但按我這幾年的經驗來看，按照這個大思路走，數據一般不會做跑偏。

這樣看來，數據科學其實就是門復合型的技術，既然是技術就從編程語言談起吧，為了簡練，只說說R和Python。但既然是薦數據科學方面的書，我這里就不提R/Python編程基礎之類的書了，直接上跟數據科學相關的。

R programming

如果只是想初步了解一下R語言已經R在數據分析方面的應用，那不妨就看看這兩本：

R inaction：我的R語言大數據101。其實對於一個沒有任何編程基礎的人來說，一開始就學這本書，學習曲線可能會比較陡峭。但如果配合上一些輔助材料，如官方發布的R basics（http：//cran.r-project.org/doc/contrib/usingR.pdf），stackoverflow上有tag-R的問題集（Newest 『r』 Questions），遇到復雜的問題可在上面搜索，總會找到解決方案的。這樣一來，用這本書拿來入門學習也問題不大。而且這本書作者寫得也比較輕松，緊貼實戰。

Dataanalysis and graphics using R：使用R語言做數據分析的入門書。這本書的特點也是緊貼實戰，沒有過多地講解統計學理論，所以喜歡通過情境應用來學習的人應該會喜歡這本入門書。而且這本書可讀性比較強，也就是說哪怕你手頭沒電腦寫不了代碼，有事沒事拿出這本書翻一翻，也能讀得進去。

但如果你先用R來從事實實在在的數據工作，那麼上面兩本恐怕不夠，還需要這些：

Modernapplied statistics with S：這本書里統計學的理論就講得比較多了，好處就是你可以用一本書既復習了統計學，又學了R語言。（S/Splus和R的關系就類似於Unix和Linux，所以用S教程學習R，一點問題都沒有）

Datamanipulation with R：這本書實務性很強，它教給你怎麼從不同格式的原始數據文件里讀取、清洗、轉換、整合成高質量的數據。當然和任何一本注重實戰的書一樣，本書也有豐富的真實數據或模擬數據供你練習。對於真正從事數據處理工作的人來說，這本書的內容非常重要，因為對於任何研究，一項熟練的數據預處理技能可以幫你節省大量的時間和精力。否則，你的研究總是要等待你的數據。

RGraphics Cookbook：想用R做可視化，就用這本書吧。150多個recipes，足以幫你應付絕大多數類型的數據。以我現在極業余的可視化操作水平來看，R是最容易做出最漂亮的圖表的工具了。

Anintroction to statistical learning with application in R：這本書算是著名的the element of statistical learning的姊妹篇，後者更注重統計（機器）學習的模型和演算法，而前者所涉及的模型和演算法原沒有後者全面或深入，但卻是用R來學習和應用機器學習的很好的入口。

Ahandbook of statistical analysis using R：這本書內容同樣非常扎實，很多統計學的學生就是用這本書來學慣用R來進行統計建模的。

Python

Think Python，ThinkStats，Think Bayes：這是AllenB. Downey寫的著名的Think X series三大卷。其實是三本精緻的小冊子，如果想快速地掌握Python在統計方面的操作，好好閱讀這三本書，認真做習題，答案鏈接在書里有。這三本書學通了，就可以上手用Python進行基本的統計建模了。

PythonFor Data Analysis： 作者是pandas的主要開發者，也正是Pandas使Python能夠像R一樣擁有dataframe的功能，能夠處理結構比較復雜的數據。這本書其實analysis講得不多，說成數據處理應該更合適。掌握了這本書，處理各種糟心的數據就問題不大了。

Introctionto Python for Econometrics， Statistics and DataAnalysis：這本書第一章就告訴你要安裝Numpy， Scipy， Matplotlib， Pandas， IPython等等。然後接下來的十好幾章就是逐一介紹這幾個庫該怎麼用。很全面，但讀起來比較枯燥，可以用來當工具書。

PracticalData Analysis： 這本書挺奇葩，貌似很暢銷，但作者把內容安排得東一榔頭西一棒子，什麼都講一點，但一個都沒講透。這本書可以作為我們學習數據分析的一個索引，看到哪塊內容有意思，就順著它這個藤去摸更多的瓜。

PythonData Visualization Cookbook： 用Python做可視化的教材肯定不少，我看過的也就這一本，覺得還不錯。其實這類書差別都不會很大，咬住一本啃下來就是王道。

Exploratory Data Analysis 和 Data Visualization

Exploratory DataAnalysis：John Tukey寫於1977年的經典老教材，是這一領域的開山之作。如今EDA已經是統計學里的重要一支，但當時還是有很多人對他的工作不屑一顧。可他愛數據，堅信數據可以以一種出人意料的方式呈現出來。正是他的努力，讓數據可視化成為一門無比迷人的技術。但這本書不推薦閱讀了，內容略過時。要想完整地了解EDA，推薦下一本：

ExploratoryData Analysis with MATLAB：這本書雖然標題帶了個MATLAB，但實際上內容幾乎沒怎麼講MATLAB，只是每講一個方法的時候就列出對應的MATALB函數。這本書的重要之處在於，這是我讀過的講EDA最系統的一本書，除了對visualization有不輸於John Tucky的講解外，對於高維的數據集，通過怎樣的方法才能讓我們從中找到潛在的pattern，這本書也做了詳盡的講解。全書所以案例都有對應的MATALB代碼，而且還提供了GUI（圖形用戶界面）。所以這本書學起來還是相當輕松愉悅的。

VisualizeThis：中譯本叫「鮮活的數據」，作者是個「超級數據迷」，建立了一個叫http：//flowingdata.com的網頁展示他的數據可視化作品，這本書告訴你該選擇什麼樣的可視化工具，然後告訴你怎樣visualize關系型數據、時間序列、空間數據等，最後你就可以用數據講故事了。如果你只想感受一下數據可視化是個什麼，可以直接點開下面這個鏈接感受下吧！A tour through the visualization zoo（A TourThrough the Visualization Zoo）

Machine Learning & Data Mining

這一塊就不多說了，不是因為它不重要，而是因為它太太太重要。所以這一部分就推兩本書，都是」世界名著「，都比較難讀，需要一點點地啃。這兩本書拿下，基本就算是登堂入室了。其實作為機器學習的延伸和深化，概率圖模型（PGM）和深度學習（deep learning）同樣值得研究，特別是後者現在簡直火得不得了。但PGM偏難，啃K.Daphne那本大作實在太燒腦，也沒必要，而且在數據領域的應用也不算很廣。deep learning目前工業界的步子邁得比學術界的大，各個domain的應用如火如荼，但要有公認的好教材問世則還需時日，所以PGM和deep learning這兩塊就不薦書了。

TheElement of Statistical Learning：要學機器學習，如果讓我只推薦一本書，我就推薦這本巨著。Hastie、Tibshirani、Friedman這三位大牛寫書寫得太用心了，大廈建得夠高夠大，結構也非常嚴謹，而且很有前瞻性，納入了很多前沿的內容，而不僅僅是一部綜述性的教材。（圖表也做得非常漂亮，應該是用R語言的ggplot2做的。）這本書注重講解模型和演算法本身，所以需要具備比較扎實的數理基礎，啃起這本書來才不會太吃力。事實上掌握模型和演算法的原理非常重要。機器學習（統計學習）的庫現在已經非常豐富，即使你沒有完全搞懂某個模型或演算法的原理和過程，只要會用那幾個庫，機器學習也能做得下去。但你會發現你把數據代進去，效果永遠都不好。但是，當你透徹地理解了模型和演算法本身，你再調用那幾個庫的時候，心情是完全不一樣的，效果也不一樣。

DataMining： Concepts and Techniques， by Jiawei Han and Micheline Kamber 數據挖掘的教材汗牛充棟，之所以推薦這本韓家煒爺爺的，是因為雖然他這本書的出發點是應用，但原理上的內容也一點沒有落下，內容非常完整。而且緊跟時代，更新的很快，我看過的是第二版，就已經加進去了social network analysis這種當時的前沿內容。現在已經有第三版了，我還沒看過，但應該也加入了不少新內容。其實這本書並不難讀，只是篇幅較長，啃起來比較耗時。

其實這兩本書里單拎出來一塊內容可能又是幾本書的節奏，比如bayesian方法，再拿出兩三本書來講也不為過，我個人用到的比較多，而且也確實有不少好書。但並非是所有data scientist都要用到，所以這一塊就不再細說。

還有一些印象比較深刻的書：

Big DataGlossary： 主要講解大數據處理技術及工具，內容涵蓋了NoSQL，MapRece，Storage，Servers，NLP庫與工具包，機器學習工具包，數據可視化工具包，數據清洗，序列化指南等等。總之，是一本辭典式的大數據入門指導。

Mining ofMassive Datasets：這本書是斯坦福大學Web Mining的講義，裡面很多內容與韓家煒的Data Mining那本書重合，但這本書里詳細地講了MapRece的設計原理，PageRank（Google創業時期的核心排序演算法，現在也在不斷優化更新）講解得也比較詳細。

DevelopingAnalytic Talent： 作者是個從事了十幾年數據工作的geek，技術博客寫得很有個人風格，寫的內容都比較偏門，通常只有具備相關數據處理經驗的人能體會出來，絲毫不照顧初學者的感受。比如他會談到當數據流更新太快時該怎麼辦，或者MapRece在什麼時候不好用的問題，才不管你懂不懂相關基礎原理。所以這本書不太適合初學者閱讀。這本書其實是作者的博客文章的集結，用how to become a data scientist的邏輯把他近幾年的博客文章串聯了起來。

Past， Present and Future of Statistical Science：這本書是由COPSS（統計學社主席委員會，由國際各大統計學會的帶頭人組成）在50周年出版的一本紀念冊，裡面有50位統計學家每人分別貢獻出的一兩篇文章，有的回憶了自己當年如何走上統計學這條路，有的探討了一些統計學的根本問題，有的談了談自己在從事的前沿研究，有的則給年輕一代寫下了寄語。非常有愛的一本書。

其它資料

Harvard Data Science：這是H大的Data science在線課，我沒有修過，但口碑很好。這門課需要費用8千刀左右，比起華盛頓大學的4千刀的Data science在線課雖貴一倍，但比斯坦福的14千刀要便宜將近一半（而且斯坦福的更偏計算機）。如果想自學，早有好心人分享了slides：（https：//drive.google.com/folderview？id=0BxYkKyLxfsNVd0xicUVDS1dIS0k&usp=sharing）和homeworks and solutions： （https：//github.com/cs109/content）

PyData：PyData是來自各個domain的用Python做數據的人每年舉行一次的聚會，期間會有各路牛人舉行一些規模不大的seminar或workshop，有好心人已經把video上傳到github，有興趣的去認領吧（DataTau/datascience-anthology-pydata · GitHub）

工具

R/Python/MATLAB（必備）：如果是做數據分析和模型開發，以我的觀察來看，使用這三種工具的最多。R生來就是一個統計學家開發的軟體，所做的事也自然圍繞統計學展開。MATLAB雖然算不上是個專業的數據分析工具，但因為很多人不是專業做數據的，做數據還是為了自己的domain expertise（特別是科學計算、信號處理等），而MATLAB又是個強大無比的Domain expertise工具，所以很多人也就順帶讓MATLAB也承擔了數據處理的工作，雖然它有時候顯得效率不高。Python雖然不是做數據分析的專業軟體，但作為一個面向對象的高級動態語言，其開源的生態使Python擁有無比豐富的庫，Numpy， Scipy 實現了矩陣運算/科學計算，相當於實現了MATLAB的功能，Pandas又使Python能夠像R一樣處理dataframe，scikit-learn又實現了機器學習。

SQL（必備）：雖然現在人們都說傳統的關系型資料庫如Oracle、MySQL越來越無法適應大數據的發展，但對於很多人來說，他們每天都有處理數據的需要，但可能一輩子都沒機會接觸TB級的數據。不管怎麼說，不論是用關系型還是非關系型資料庫，SQL語言是必須要掌握的技能，用什麼資料庫視具體情況而定。

MongoDB（可選）：目前最受歡迎的非關系型資料庫NoSQL之一，不少人認為MongoDB完全可以取代mySQL。確實MongoDB方便易用，擴展性強，Web2.0時代的必需品。

Hadoop/Spark/Storm（可選）： MapRece是當前最著名也是運用最廣泛的分布式計算框架，由Google建立。Hadoop/Spark/storm都是基於MapRece的框架建立起來的分布式計算系統，要說他們之間的區別就是，Hadoop用硬碟存儲數據，Spark用內存存儲數據，Storm只接受實時數據流而不存儲數據。一言以蔽之，如果數據是離線的，如果數據比較復雜且對處理速度要求一般，就Hadoop，如果要速度，就Spark，如果數據是在線的實時的流數據，就Storm。

OpenRefine（可選）：Google開發的一個易於操作的數據清洗工具，可以實現一些基本的清洗功能。

Tableau（可選）：一個可交互的數據可視化工具，操作簡單，開箱即用。而且圖表都設計得非常漂亮。專業版1999美刀，終身使用。媒體和公關方面用得比較多。

Gephi（可選）：跟Tableau類似，都是那種可交互的可視化工具，不需要編程基礎，生成的圖表在美學和設計上也是花了心血的。更擅長復雜網路的可視化。

來自知乎

以上是小編為大家分享的關於怎樣進行大數據的入門級學習？的相關內容，更多信息可以關注環球青藤分享更多干貨

2. 大數據學習需要哪些課程

1、Java編程技術

Java編程技術是大數據學習的基礎，Java是一種強類型語言，擁有極高的跨平台能力，可以編寫桌面應用程序、Web應用程序、分布式系統和嵌入式系統應用程序等，是大數據工程師最喜歡的編程工具，因此，想學好大數據，掌握Java基礎是必不可少的!

2、Linux命令

對於大數據開發通常是在Linux環境下進行的，相比Linux操作系統，Windows操作系統是封閉的操作系統，開源的大數據軟體很受限制，因此，想從事大數據開發相關工作，還需掌握Linux基礎操作命令。

3、Hadoop

Hadoop是大數據開發的重要框架，其核心是HDFS和MapRece，HDFS為海量的數據提供了存儲，MapRece為海量的數據提供了計算，因此，需要重點掌握，除此之外，還需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高級管理等相關技術與操作!

4、Hive

Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapRece任務進行運行，十分適合數據倉庫的統計分析。對於Hive需掌握其安裝、應用及高級操作等。

5、Avro與Protobuf

Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapRece任務進行運行，十分適合數據倉庫的統計分析。對於Hive需掌握其安裝、應用及高級操作等。

6、ZooKeeper

ZooKeeper是Hadoop和Hbase的重要組件，是一個為分布式應用提供一致性服務的軟體，提供的功能包括：配置維護、域名服務、分布式同步、組件服務等，在大數據開發中要掌握ZooKeeper的常用命令及功能的實現方法。

7、HBase

HBase是一個分布式的、面向列的開源資料庫，它不同於一般的關系資料庫，更適合於非結構化數據存儲的資料庫，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，大數據開發需掌握HBase基礎知識、應用、架構以及高級用法等。

8、phoenix

phoenix是用Java編寫的基於JDBC API操作HBase的開源SQL引擎，其具有動態列、散列載入、查詢伺服器、追蹤、事務、用戶自定義函數、二級索引、命名空間映射、數據收集、行時間戳列、分頁查詢、跳躍查詢、視圖以及多租戶的特性，大數據開發需掌握其原理和使用方法。

9、Redis

phoenix是用Java編寫的基於JDBC API操作HBase的開源SQL引擎，其具有動態列、散列載入、查詢伺服器、追蹤、事務、用戶自定義函數、二級索引、命名空間映射、數據收集、行時間戳列、分頁查詢、跳躍查詢、視圖以及多租戶的特性，大數據開發需掌握其原理和使用方法。

3. 一個小白學習學習數據分析師有多難

以下是一個文科生小白轉行數據分析的人生歷程，分享給你，相信可以幫助正處人生十字路口的朋友或正處於迷茫搖擺時期的人們一些啟發或借鑒。
1、在選擇數據分析師這條路之前，一定要思考再三，雖然這條路看著光鮮靚麗（至少職業的薪酬收入類比其他行業不會好不少），但也是一條艱難前行之路，充滿著未知、荊棘和困惑，尤其是對於文科出身的我，付出的努力更是一般理工男的好幾倍吧應該……
2、雖然數據分析這個行業有著天然的專業鄙視鏈（文理科的邏輯思維功底、編程語言接受程度上以及數理統計基礎實實在在的存在差別，這也是甲方更信賴理工科出身的重要原因，因為社科或文藝類專業，很少有學校會嚴格地按照數理邏輯去制定學生的課程培養計劃），但是並不代表文科生沒有任何機會，因為大學以前，其實我們都沒正式接觸過編程或統計學，大學本科更多的是提升一個人的思維、而不是過硬的專研能力。所以文科專業的朋友，興趣和決定也是重要因素，不能單單憑借客觀的專業背景就否定自己。
3、如果你要堅定的選擇這條路，就必須克服各種依賴症，比如安裝一個R語言或Python軟體，從龐大的數據中得出客觀的結論過程，用學到的知識去分析數據的價值等等，一定要動手動腦去實戰，不要單憑以前的文科思維（更注重思維的創造和個性的發揚），理性思維和客觀科學更重要。因為這種學習習慣決定著你必然會被同行的有心者遠遠地摔在後面，網路、谷歌、Stack Overflow永遠向你免費敞開大門；
4、動手實踐和實習參與項目是很好的數據科學或者數據分析的開端，只學不練假把式，只有直接用於實戰，才能看出來你學的東西到底有多少能夠落地，能夠用於提升業務的價值；
5、在求職以前，倘若時間允許，把R語言、Python（數據科學相關模塊）、SQL（可以選擇一個平台，比如MySQL）這三大關卡早點過了。（如果你不想再天天加班補的話）；
6、如果你還是在校學生，學會分清各種事情的輕重緩急，比如各種無聊拉人湊場子講座、聽課發禮品的營銷洗腦課，各種……的無效應酬社交，如果全部都用在數據分析的學習上，你會發現你的時間多了很多，自然你也可以更早地追上同行的腳步；
7、腳踏實地的去走自己的路，不會的多寫、多看、多問（問真正有價值的問題）、多總結、多交流，給自己足夠的轉行周期（如果你是科班出身的【統計、數學、計算機】，也許會走的順風順水，但也不可以掉以輕心，倘若不是，請一定要慎重選擇，起碼要給自己一到兩年的轉行緩沖期【具體視自己的專業背景和技術實力而定】，什麼7天精通機器學習、三個月精通人工智慧，你自己敢信嘛？）
8、學會融會貫通不同領域的知識，觸類旁通、橫向遷移，這樣學起來才有越學越有通透的感覺，否則你只能增加筆記本的厚度，徒增煩惱罷了。
其實文科生學習數據分析或零基礎轉行的痛快和糾結大家都有，但任何的時間節點上，倘若一直停滯不前、猶豫不決，那麼所有可以有或可能有的機會都會錯失。慶幸我雖然渾渾噩噩，一路上也是披荊斬棘，但時光不負我，付出終究收獲成果！願所有文科生想進入數據分析行業或轉行的小夥伴一切都順利。

4. 什麼是大數據，看完這篇就明白了

什麼是大數據

如果從字面上解釋的話，大家很容易想到的可能就是大量的數據，海量的數據。這樣的解釋確實通俗易懂，但如果用專業知識來描述的話，就是指數據集的大小遠遠超過了現有普通資料庫軟體和工具的處理能力的數據。

大數據的特點

海量化

這里指的數據量是從TB到PB級別。在這里順帶給大家科普一下這是什麼概念。

MB，全稱MByte，計算機中的一種儲存單位，含義是「兆位元組」。

1MB可儲存1024×1024=1048576位元組（Byte）。

位元組（Byte）是存儲容量基本單位，1位元組（1Byte）由8個二進制位組成。

位（bit）是計算機存儲信息的最小單位，二進制的一個「0」或一個「1」叫一位。

通俗來講，1MB約等於一張網路通用圖片（非高清）的大小。

1GB=1024MB，約等於下載一部電影（非高清）的大小。

1TB=1024GB，約等於一個固態硬碟的容量大小，能存放一個不間斷的監控攝像頭錄像（200MB/個）長達半年左右。

1PB=1024TB，容量相當大，應用於大數據存儲設備，如伺服器等。

1EB=1024PB，目前還沒有單個存儲器達到這個容量。

多樣化

大數據含有的數據類型復雜，超過80%的數據是非結構化的。而數據類型又分成結構化數據，非結構化數據，半結構化數據。這里再對三種數據類型做一個分類科普。

①結構化數據

結構化的數據是指可以使用關系型資料庫(例如:MySQL,Oracle,DB2)表示和存儲，表現為二維形式的數據。一般特點是：數據以行為單位，一行數據表示一個實體的信息，每一行數據的屬性是相同的。所以，結構化的數據的存儲和排列是很有規律的，這對查詢和修改等操作很有幫助。

但是，它的擴展性不好。比如，如果欄位不固定，利用關系型資料庫也是比較困難的，有人會說，需要的時候加個欄位就可以了，這樣的方法也不是不可以，但在實際運用中每次都進行反復的表結構變更是非常痛苦的，這也容易導致後台介面從資料庫取數據出錯。你也可以預先設定大量的預備欄位，但這樣的話，時間一長很容易弄不清除欄位和數據的對應狀態，即哪個欄位保存有哪些數據。

②半結構化數據

半結構化數據是結構化數據的一種形式，它並不符合關系型資料庫或其他數據表的形式關聯起來的數據模型結構，但包含相關標記，用來分隔語義元素以及對記錄和欄位進行分層。因此，它也被稱為自描述的結構。半結構化數據，屬於同一類實體可以有不同的屬性，即使他們被組合在一起，這些屬性的順序並不重要。常見的半結構數據有XML和JSON。

③非結構化數據

非結構化數據是數據結構不規則或不完整，沒有預定義的數據模型，不方便用資料庫二維邏輯表來表現的數據。包括所有格式的辦公文檔、文本、圖片、各類報表、圖像和音頻/視頻信息等等。非結構化數據其格式非常多樣，標准也是多樣性的，而且在技術上非結構化信息比結構化信息更難標准化和理解。所以存儲、檢索、發布以及利用需要更加智能化的IT技術，比如海量存儲、智能檢索、知識挖掘、內容保護、信息的增值開發利用等。

快速化

隨著物聯網、電子商務、社會化網路的快速發展，全球大數據儲量迅猛增長，成為大數據產業發展的基礎。根據國際數據公司(IDC)的監測數據顯示，2013年全球大數據儲量為4.3ZB(相當於47.24億個1TB容量的移動硬碟)，2014年和2015年全球大數據儲量分別為6.6ZB和8.6ZB。近幾年全球大數據儲量的增速每年都保持在40%，2016年甚至達到了87.21%的增長率。2016年和2017年全球大數據儲量分別為16.1ZB和21.6ZB，2018年全球大數據儲量達到33.0ZB。預測未來幾年，全球大數據儲量規模也都會保持40%左右的增長率。在數據儲量不斷增長和應用驅動創新的推動下，大數據產業將會不斷豐富商業模式，構建出多層多樣的市場格局，具有廣闊的發展空間。

核心價值

大數據的核心價值，從業務角度出發，主要有如下的3點：

a.數據輔助決策：為企業提供基礎的數據統計報表分析服務。分析師能夠輕易獲取數據產出分析報告指導產品和運營，產品經理能夠通過統計數據完善產品功能和改善用戶體驗，運營人員可以通過數據發現運營問題並確定運營的策略和方向，管理層可以通過數據掌握公司業務運營狀況，從而進行一些戰略決策；

b.數據驅動業務：通過數據產品、數據挖掘模型實現企業產品和運營的智能化，從而極大的提高企業的整體效能產出。最常見的應用領域有基於個性化推薦技術的精準營銷服務、廣告服務、基於模型演算法的風控反欺詐服務徵信服務，等等。

c.數據對外變現：通過對數據進行精心的包裝，對外提供數據服務，從而獲得現金收入。市面上比較常見有各大數據公司利用自己掌握的大數據，提供風控查詢、驗證、反欺詐服務，提供導客、導流、精準營銷服務，提供數據開放平台服務，等等。

大數據能做什麼？

1、海量數據快速查詢(離線)

能夠在海量數據的基礎上進行快速計算，這里的「快速」是與傳統計算方案對比。海量數據背景下，使用傳統方案計算可能需要一星期時間。使用大數據 技術計算只需要30分鍾。

2.海量數據實時計算（實時）

在海量數據的背景下，對於實時生成的最新數據，需要立刻、馬上傳遞到大數據環境，並立刻、馬上進行相關業務指標的分析，並把分析完的結果立刻、馬上展示給用戶或者領導。

3.海量數據的存儲（數據量大，單個大文件）

大數據能夠存儲海量數據,大數據時代數據量巨大,1TB=1024*1G 約26萬首歌(一首歌4M),1PB=1024 * 1024 * 1G約2.68億首歌(一首歌4M)

大數據能夠存儲單個大文件。目前市面上最大的單個硬碟大小約為10T左右。若有一個文件20T,將 無法存儲。大數據可以存儲單個20T文件，甚至更大。

4.數據挖掘（挖掘以前沒有發現的有價值的數據）

挖掘前所未有的新的價值點。原始企業內數據無法計算出的結果，使用大數據能夠計算出。

挖掘（演算法）有價值的數據。在海量數據背景下，使用數據挖掘演算法，挖掘有價值的指標（不使用這些演算法無法算出）

大數據行業的應用？

1.常見領域

2.智慧城市

3.電信大數據

4.電商大數據

大數據行業前景(國家政策)？

2014年7月23日，國務院常務會議審議通過《企業信息公示暫行條例（草案）》

2015年6月19日，國家主席、總理同時就「大數據」發表意見：《國務院辦公廳關於運用大數據加強對市場主體服務和監管的若干意見》

2015年8月31日，國務院印發《促進大數據發展行動綱要》。國發〔2015〕50號

2016年12月18日，工業和信息化部關於印發《大數據產業發展規劃》

2018年1月23日。中央全面深化改革領導小組會議審議通過了《科學數據管理辦法》

2018年7月1日，國務院辦公廳印發《關於運用大數據加強對市場主體服務和監管的若干意見》

2019年政府工作報告中總理指出「深化大數據、人工智慧等研發應用，培育新一代信息技術、高端裝備、生物醫葯、新能源汽車、新材料等新興產業集群，壯大數字經濟。」

總結

我國著名的電商之父，阿里巴巴創始人馬雲先生曾說過，未來10年，乃至20年，將是人工智慧的時代，大數據的時代。對於現在正在學習大數據的我們來說，未來對於我們更是充滿了各種機遇與挑戰。

python學習網，大量的免費python視頻教程，歡迎在線學習！