大數據時代出現什麼

1. 大數據常見的應用場景有哪些

大數據時代的出現簡單的講是海量數據同完美計算能力結合的結果，確切的說是移動互聯網、物聯網產生了海量的數據，大數據計算技術完美地解決了海量數據的收集、存儲、計算、分析的問題。
對於大數據的應用場景，包括各行各業對大數據處理和分析的應用，最核心的還是用戶需求。
一、醫療大數據看病更高效
除了較早前就開始利用大數據的互聯網公司，醫療行業是讓大數據分析最先發揚光大的傳統行業之一。
二、生物大數據改良基因
當下，我們所說的生物大數據技術主要是指大數據技術在基因分析上的應用，通過大數據平台人類可以將自身和生物體基因分析的結果進行記錄和存儲，利用建立基於大數據技術的基因資料庫。
三、金融大數據理財利器
大數據在金融行業的應用可以總結為以下五個方面：精準營銷、風險管控、決策支持、效率提升、產品設計等。
四、零售大數據最懂消費者
零售行業大數據應用有兩個層面，一個層面是零售行業可以了解客戶消費喜好和趨勢，進行商品的精準營銷，降低營銷成本。另一層面是依據客戶購買產品，為客戶提供可能購買的其它產品，擴大銷售額，也屬於精準營銷范疇。另外零售行業可以通過大數據掌握未來消費趨勢，有利於熱銷商品的進貨管理和過季商品的處理。
五、電商大數據精準營銷法寶
電商是最早利用大數據進行精準營銷的行業，除了精準營銷，電商可以依據客戶消費習慣來提前為客戶備貨，並利用便利店作為貨物中轉點，在客戶下單15分鍾內將貨物送上門，提高客戶體驗。
六、農牧大數據量化生產
大數據在農業應用主要是指依據未來商業需求的預測來進行農牧產品生產，降低菜賤傷農的概率。同時大數據的分析將會更見精確預測未來的天氣氣候，幫助農牧民做好自然災害的預防工作。大數據同時也會幫助農民依據消費者消費習慣決定來增加哪些品種的種植，減少哪些品種農作物的生產，提高單位種植面積的產值，同時有助於快速銷售農產品，完成資金迴流。
七、交通大數據暢通出行
交通作為人類行為的重要組成和重要條件之一，對於大數據的感知也是最急迫的。
盡管現在已經基本實現了數字化，但是數字化和數據化還根本不是一回事，只是局部的提高了採集、存儲和應用的效率，本質上並沒有太大的改變。而大數據時代的到來必然帶來破解難題的重大機遇。
八、教育大數據因材施教
隨著技術的發展，信息技術已在教育領域有了越來越廣泛的應用。考試、課堂、師生互動、校園設備使用、家校關系……只要技術達到的地方，各個環節都被數據包裹。在課堂上，數據不僅可以幫助改善教育教學，在重大教育決策制定和教育改革方面，大數據更有用武之地。
九、體育大數據奪冠精靈
大數據對於體育的改變可以說是方方面面，從運動員本身來講，可穿戴設備收集的數據可以讓自己更了解身體狀況。媒體評論員，通過大數據提供的數據更好的解說比賽，分析比賽。數據已經通過大數據分析轉化成了洞察力，為體育競技中的勝利增加籌碼，也為身處世界各地的體育愛好者隨時隨地觀賞比賽提供了個性化的體驗。盡管鮮有職業網球選手願意公開承認自己利用大數據來制定比賽策劃和戰術，但幾乎每一個球員都會在比賽前後使用大數據服務。
十、環保大數據對抗PM2.5
氣象對社會的影響涉及到方方面面。傳統上依賴氣象的主要是農業、林業和水運等行業部門，而如今，氣象儼然成為了二十一世紀社會發展的資源，並支持定製化服務滿足各行各業用戶需要。藉助於大數據技術，天氣預報的准確性和實效性將會大大提高，預報的及時性將會大大提升，同時對於重大自然災害，例如龍卷風，通過大數據計算平台，人們將會更加精確地了解其運動軌跡和危害的等級，有利於幫助人們提高應對自然災害的能力。
十一、食品大數據舌尖上的安全
大數據不僅能帶來商業價值，亦能產生社會價值。隨著信息技術的發展，食品監管也面臨著眾多的各種類型的海量數據，如何從中提取有效數據成為關鍵所在。可見，大數據管理是一項巨大挑戰，一方面要及時提取數據以滿足食品安全監管需求；另一方面需在數據的潛在價值與個人隱私之間進行平衡。相信大數據管理在食品監管方面的應用，可以為食品安全撐起一把有力的保護傘。
十二、調控和財政支出大數據令其有條不紊
政府利用大數據技術可以了解各地區的經濟發展情況，各產業發展情況，消費支出和產品銷售情況，依據數據分析結果，科學地制定宏觀政策，平衡各產業發展，避免產能過剩，有效利用自然資源和社會資源，提高社會生產效率。
十三、輿情監控大數據
國家正在將大數據技術用於輿情監控，其收集到的數據除了解民眾訴求，降低群體事件之外，還可以用於犯罪管理。

2. 大數據時代有哪些主要特點

大數據有4個特點，為別為：Volume（大量）、Variety（多樣）、Velocity（高速）、Value（價值），一般我們稱之為4V。

1．大量。大數據的特徵首先就體現為「大」，從先Map3時代，一個小小的MB級別的Map3就可以滿足很多人的需求，然而隨著時間的推移，存儲單位從過去的GB到TB，乃至現在的PB、EB級別。

隨著信息技術的高速發展，數據開始爆發性增長。社交網路（微博、推特、臉書）、移動網路、各種智能工具，服務工具等，都成為數據的來源。淘寶網近4億的會員每天產生的商品交易數據約20TB；臉書約10億的用戶每天產生的日誌數據超過300TB。

迫切需要智能的演算法、強大的數據處理平台和新的數據處理技術，來統計、分析、預測和實時處理如此大規模的數據。

2．多樣。廣泛的數據來源，決定了大數據形式的多樣性。任何形式的數據都可以產生作用，目前應用最廣泛的就是推薦系統，如淘寶，網易雲音樂、今日頭條等，這些平台都會通過對用戶的日誌數據進行分析，從而進一步推薦用戶喜歡的東西。

日誌數據是結構化明顯的數據，還有一些數據結構化不明顯，例如圖片、音頻、視頻等，這些數據因果關系弱，就需要人工對其進行標注。

3．高速。大數據的產生非常迅速，主要通過互聯網傳輸。生活中每個人都離不開互聯網，也就是說每天個人每天都在向大數據提供大量的資料。

並且這些數據是需要及時處理的，因為花費大量資本去存儲作用較小的歷史數據是非常不劃算的，對於一個平台而言，也許保存的數據只有過去幾天或者一個月之內，再遠的數據就要及時清理，不然代價太大。

基於這種情況，大數據對處理速度有非常嚴格的要求，伺服器中大量的資源都用於處理和計算數據，很多平台都需要做到實時分析。數據無時無刻不在產生，誰的速度更快，誰就有優勢。

4.價值。這也是大數據的核心特徵。現實世界所產生的數據中，有價值的數據所佔比例很小。

相比於傳統的小數據，大數據最大的價值在於通過從大量不相關的各種類型的數據中，挖掘出對未來趨勢與模式預測分析有價值的數據，並通過機器學習方法、人工智慧方法或數據挖掘方法深度分析。

發現新規律和新知識，並運用於農業、金融、醫療等各個領域，從而最終達到改善社會治理、提高生產效率、推進科學研究的效果。

3. 什麼是大數據時代

大數據是互聯網發展到一定階段的必然產物，由於互聯網在資源整合方面的能力在不斷增強，互聯網本身必須通過數據來體現出自身的價值，所以從這個角度來看，大數據正在充當互聯網價值的體現者。

隨著更多的社會資源進行網路化和數據化改造，大數據所能承載的價值也必將不斷提到提高，大數據的應用邊界也會不斷得到拓展，所以在未來的網路化時代，大數據自身不僅能夠代表價值，大數據自身更是能夠創造價值。

但是只有技術支撐，還不足以引起大數據時代的到來，另外一個重要因素，就是數據產生方式的變革，數據產生的方式在過去這些年經歷了三個階段：

第一階段，運營式系統階段。在上世紀七八十年代，用戶購物時產生的記錄一條條輸入資料庫，當時都是由這些運營系統生成這些數據的。

第二階段，由用戶原創內容階段。2002年的時候，開始有了博客，後來發展成微博，到後來出現的微信，這些讓每個網民都成了自媒體，都可以自己隨心所欲地向網路發布相關的信息，這個時候數據產生的速度要遠遠大於之前的僅僅由運營系統產生的數據。

第三階段，感知式系統階段。真正讓大數據時代由量變到質變是因為數據產生的方式到了第三個階段——感知式系統階段。

感知式系統階段也就是物聯網的大規模普及，物聯網的迅速發展讓大數據時代最終到來。

4. 大數據時代發展歷程是什麼

大數據技術發展史：大數據的前世今生

今天我們常說的大數據技術，其實起源於Google在2004年前後發表的三篇論文，也就是我們經常聽到的「三駕馬車」，分別是分布式文件系統GFS、大數據分布式計算框架MapRece和NoSQL資料庫系統BigTable。

你知道，搜索引擎主要就做兩件事情，一個是網頁抓取，一個是索引構建，而在這個過程中，有大量的數據需要存儲和計算。這「三駕馬車」其實就是用來解決這個問題的，你從介紹中也能看出來，一個文件系統、一個計算框架、一個資料庫系統。

現在你聽到分布式、大數據之類的詞，肯定一點兒也不陌生。但你要知道，在2004年那會兒，整個互聯網還處於懵懂時代，Google發布的論文實在是讓業界為之一振，大家恍然大悟，原來還可以這么玩。

因為那個時間段，大多數公司的關注點其實還是聚焦在單機上，在思考如何提升單機的性能，尋找更貴更好的伺服器。而Google的思路是部署一個大規模的伺服器集群，通過分布式的方式將海量數據存儲在這個集群上，然後利用集群上的所有機器進行數據計算。 這樣，Google其實不需要買很多很貴的伺服器，它只要把這些普通的機器組織到一起，就非常厲害了。

當時的天才程序員，也是Lucene開源項目的創始人Doug Cutting正在開發開源搜索引擎Nutch，閱讀了Google的論文後，他非常興奮，緊接著就根據論文原理初步實現了類似GFS和MapRece的功能。

兩年後的2006年，Doug Cutting將這些大數據相關的功能從Nutch中分離了出來，然後啟動了一個獨立的項目專門開發維護大數據技術，這就是後來赫赫有名的Hadoop，主要包括Hadoop分布式文件系統HDFS和大數據計算引擎MapRece。

當我們回顧軟體開發的歷史，包括我們自己開發的軟體，你會發現，有的軟體在開發出來以後無人問津或者寥寥數人使用，這樣的軟體其實在所有開發出來的軟體中佔大多數。而有的軟體則可能會開創一個行業，每年創造數百億美元的價值，創造百萬計的就業崗位，這些軟體曾經是Windows、Linux、Java，而現在這個名單要加上Hadoop的名字。

如果有時間，你可以簡單瀏覽下Hadoop的代碼，這個純用Java編寫的軟體其實並沒有什麼高深的技術難點，使用的也都是一些最基礎的編程技巧，也沒有什麼出奇之處，但是它卻給社會帶來巨大的影響，甚至帶動一場深刻的科技革命，推動了人工智慧的發展與進步。

我覺得，我們在做軟體開發的時候，也可以多思考一下，我們所開發軟體的價值點在哪裡？真正需要使用軟體實現價值的地方在哪裡？你應該關注業務、理解業務，有價值導向，用自己的技術為公司創造真正的價值，進而實現自己的人生價值。而不是整天埋頭在需求說明文檔里，做一個沒有思考的代碼機器人。

Hadoop發布之後，Yahoo很快就用了起來。大概又過了一年到了2007年，網路和阿里巴巴也開始使用Hadoop進行大數據存儲與計算。

2008年，Hadoop正式成為Apache的頂級項目，後來Doug Cutting本人也成為了Apache基金會的主席。自此，Hadoop作為軟體開發領域的一顆明星冉冉升起。

同年，專門運營Hadoop的商業公司Cloudera成立，Hadoop得到進一步的商業支持。

這個時候，Yahoo的一些人覺得用MapRece進行大數據編程太麻煩了，於是便開發了Pig。Pig是一種腳本語言，使用類SQL的語法，開發者可以用Pig腳本描述要對大數據集上進行的操作，Pig經過編譯後會生成MapRece程序，然後在Hadoop上運行。

編寫Pig腳本雖然比直接MapRece編程容易，但是依然需要學習新的腳本語法。於是Facebook又發布了Hive。Hive支持使用SQL語法來進行大數據計算，比如說你可以寫個Select語句進行數據查詢，然後Hive會把SQL語句轉化成MapRece的計算程序。

這樣，熟悉資料庫的數據分析師和工程師便可以無門檻地使用大數據進行數據分析和處理了。Hive出現後極大程度地降低了Hadoop的使用難度，迅速得到開發者和企業的追捧。據說，2011年的時候，Facebook大數據平台上運行的作業90%都來源於Hive。

隨後，眾多Hadoop周邊產品開始出現，大數據生態體系逐漸形成，其中包括：專門將關系資料庫中的數據導入導出到Hadoop平台的Sqoop；針對大規模日誌進行分布式收集、聚合和傳輸的Flume；MapRece工作流調度引擎Oozie等。

在Hadoop早期，MapRece既是一個執行引擎，又是一個資源調度框架，伺服器集群的資源調度管理由MapRece自己完成。但是這樣不利於資源復用，也使得MapRece非常臃腫。於是一個新項目啟動了，將MapRece執行引擎和資源調度分離開來，這就是Yarn。2012年，Yarn成為一個獨立的項目開始運營，隨後被各類大數據產品支持，成為大數據平台上最主流的資源調度系統。

同樣是在2012年，UC伯克利AMP實驗室（Algorithms、Machine和People的縮寫）開發的Spark開始嶄露頭角。當時AMP實驗室的馬鐵博士發現使用MapRece進行機器學習計算的時候性能非常差，因為機器學習演算法通常需要進行很多次的迭代計算，而MapRece每執行一次Map和Rece計算都需要重新啟動一次作業，帶來大量的無謂消耗。還有一點就是MapRece主要使用磁碟作為存儲介質，而2012年的時候，內存已經突破容量和成本限制，成為數據運行過程中主要的存儲介質。Spark一經推出，立即受到業界的追捧，並逐步替代MapRece在企業應用中的地位。

一般說來，像MapRece、Spark這類計算框架處理的業務場景都被稱作批處理計算，因為它們通常針對以「天」為單位產生的數據進行一次計算，然後得到需要的結果，這中間計算需要花費的時間大概是幾十分鍾甚至更長的時間。因為計算的數據是非在線得到的實時數據，而是歷史數據，所以這類計算也被稱為大數據離線計算。

而在大數據領域，還有另外一類應用場景，它們需要對實時產生的大量數據進行即時計算，比如對於遍布城市的監控攝像頭進行人臉識別和嫌犯追蹤。這類計算稱為大數據流計算，相應地，有Storm、Flink、Spark Streaming等流計算框架來滿足此類大數據應用的場景。 流式計算要處理的數據是實時在線產生的數據，所以這類計算也被稱為大數據實時計算。

在典型的大數據的業務場景下，數據業務最通用的做法是，採用批處理的技術處理歷史全量數據，採用流式計算處理實時新增數據。而像Flink這樣的計算引擎，可以同時支持流式計算和批處理計算。

除了大數據批處理和流處理，NoSQL系統處理的主要也是大規模海量數據的存儲與訪問，所以也被歸為大數據技術。 NoSQL曾經在2011年左右非常火爆，涌現出HBase、Cassandra等許多優秀的產品，其中HBase是從Hadoop中分離出來的、基於HDFS的NoSQL系統。

我們回顧軟體發展的歷史會發現，差不多類似功能的軟體，它們出現的時間都非常接近，比如Linux和Windows都是在90年代初出現，Java開發中的各類MVC框架也基本都是同期出現，Android和iOS也是前腳後腳問世。2011年前後，各種NoSQL資料庫也是層出不群，我也是在那個時候參與開發了阿里巴巴自己的NoSQL系統。

事物發展有自己的潮流和規律，當你身處潮流之中的時候，要緊緊抓住潮流的機會，想辦法脫穎而出，即使沒有成功，也會更加洞悉時代的脈搏，收獲珍貴的知識和經驗。而如果潮流已經退去，這個時候再去往這個方向上努力，只會收獲迷茫與壓抑，對時代、對自己都沒有什麼幫助。

但是時代的浪潮猶如海灘上的浪花，總是一浪接著一浪，只要你站在海邊，身處這個行業之中，下一個浪潮很快又會到來。你需要敏感而又深刻地去觀察，略去那些浮躁的泡沫，抓住真正潮流的機會，奮力一搏，不管成敗，都不會遺憾。

正所謂在歷史前進的邏輯中前進，在時代發展的潮流中發展。通俗的說，就是要在風口中飛翔。

上面我講的這些基本上都可以歸類為大數據引擎或者大數據框架。而大數據處理的主要應用場景包括數據分析、數據挖掘與機器學習。數據分析主要使用Hive、Spark SQL等SQL引擎完成；數據挖掘與機器學習則有專門的機器學習框架TensorFlow、Mahout以及MLlib等，內置了主要的機器學習和數據挖掘演算法。

此外，大數據要存入分布式文件系統（HDFS），要有序調度MapRece和Spark作業執行，並能把執行結果寫入到各個應用系統的資料庫中，還需要有一個大數據平台整合所有這些大數據組件和企業應用系統。

圖中的所有這些框架、平台以及相關的演算法共同構成了大數據的技術體系，我將會在專欄後面逐個分析，幫你能夠對大數據技術原理和應用演算法構建起完整的知識體系，進可以專職從事大數據開發，退可以在自己的應用開發中更好地和大數據集成，掌控自己的項目。

希望對您有所幫助！~

5. 什麼是大數據時代

世界包含的多得難以想像的數字化信息變得更多更快……從商業到科學，從政府到藝術，這種影響無處不在。科學家和計算機工程師們給這種現象創造了一個新名詞：「大數據」。大數據時代什麼意思?大數據概念什麼意思?大數據分析什麼意思?所謂大數據，那到底什麼是大數據，他的來源在哪裡，定義究竟是什麼呢?

七：最後北京開運聯合給您總結一下

不管大數據的核心價值是不是預測，但是基於大數據形成決策的模式已經為不少的企業帶來了盈利和聲譽。

1、從大數據的價值鏈條來分析，存在三種模式：

1)手握大數據，但是沒有利用好;比較典型的是金融機構，電信行業，政府機構等。

2)沒有數據，但是知道如何幫助有數據的人利用它;比較典型的是IT咨詢和服務企業，比如，埃森哲，IBM，Oracle等。

3)既有數據，又有大數據思維;比較典型的是Google，Amazon，Mastercard等。

2、未來在大數據領域最具有價值的是兩種事物：

1)擁有大數據思維的人，這種人可以將大數據的潛在價值轉化為實際利益;

2)還未有被大數據觸及過的業務領域。這些是還未被挖掘的油井，金礦，是所謂的藍海。

大數據是信息技術與專業技術、信息技術產業與各行業領域緊密融合的典型領域，有著旺盛的應用需求、廣闊的應用前景。為把握這一新興領域帶來的新機遇，需要不斷跟蹤研究大數據，不斷提升對大數據的認知和理解，堅持技術創新與應用創新的協同共進，加快經濟社會各領域的大數據開發與利用，推動國家、行業、企業對於數據的應用需求和應用水平進入新的階段。

6. 什麼是大數據時代

（1）大數據時代的提出
最早提出大數據時代到來的是全球知名咨詢公司麥肯錫，他認為數據已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。
（2）大數據時代的來臨
隨著互聯網快速發展、智能手機以及「可佩帶」計算設備的出現，我們的行為、位置，甚至身體生理數據等每一點變化都成為了可被記錄和分析的數據。這些新技術推動著大數據時代的來臨，各行各業每天都在產生數量巨大的數據碎片，數據計量單位已從Byte、KB、MB、GB、TB發展到PB、EB、ZB、YB甚至BB來衡量。
（3）大數據時代的特點
如果簡單來理解什麼是大數據，我們只要抓住大數據的四個特點，大量、高速、多樣、價值。具體來講就是數據體量巨大，數據的爆發性增長迫切的需要智能的演算法、強大的數據處理平台和新的數據處理技術，來統計、分析、預測和實時處理如此大規模的數據；數據類型繁多，廣泛的數據來源決定了大數據形式的多樣性。任何形式的數據都可以產生作用，目前應用最廣泛的就是推薦系統的應用；價值密度低，現實世界所產生的數據中，有價值的數據所佔比例很小。相比於傳統的小數據，大數據最大的價值在於通過從大量不相關的各種類型的數據中，挖掘出對未來趨勢與模式預測分析有價值的數據；數據分析處理速度快，主要通過互聯網傳輸。大數據對處理速度有非常嚴格的要求，伺服器中大量的資源都用於處理和計算數據，很多平台都需要做到實時分析。

7. 什麼是大數據時代

大數據時代是數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。

「大數據」在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在，卻因為來自互聯網和信息行業的發展而引起人們關注。

進入2012年，大數據（big data）一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產生的海量數大數據時代來臨據，並命名與之相關的技術發展與創新。

大數據時代已經上過《紐約時報》《華爾街日報》的專欄封面，進入美國白宮官網的新聞，現身在國內一些互聯網主題的講座沙龍中，甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。

(7)大數據時代出現什麼擴展閱讀：

大數據時代特徵：

1、數據量大（Volume）

第一個特徵是數據量大。大數據的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。

2、類型繁多（Variety）

第二個特徵是數據類型繁多。包括網路日誌、音頻、視頻、圖片、地理位置信息等等，多類型的數據對數據的處理能力提出了更高的要求。

3、價值密度低（Value）

第三個特徵是數據價值密度相對較低。如隨著物聯網的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器演算法更迅速地完成數據的價值「提純」，是大數據時代亟待解決的難題。

4、速度快、時效高（Velocity）

第四個特徵是處理速度快，時效性要求高。這是大數據區分於傳統數據挖掘最顯著的特徵。