A. 大數據是什麼
大數據是什麼意思呢?
如果從字面意思來看,大數據指的是巨量數據。那麼可能有人會問,多大量級的數據才叫大數據?不同的機構或學者有不同的理解,難以有一個非常定量的定義,只能說,大數據的計量單位已經越過TB級別發展到PB、EB、ZB、YB甚至BB級別。
最早提出「大數據」這一概念的 是全球知名咨詢公司麥肯錫,它是這樣定義大數據的:一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型以及價值密度低四大特徵。
研究機構Gartner是這樣定義大數據的:「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流轉優化能力來適應海量、高增長率和多樣化的信息資產。若從技術角度來看,大數據的戰略意義不在於掌握龐大的數據,而在於對這些含有意義的數據進行專業化處理,換言之,如果把大數據比作一種產業,那麼這種產業盈利的關鍵在於提高對數據的「加工能力」,通過「加工」實現數據的「增值」。
B. 大數據起源,給你解析到底什麼是大數據
大數據,英文名big data。因為傳播已經成為習慣,我們並沒有過多的去思考為什麼用big data去描述,但是現在我們仔細回味一下,會發現大數據這個大為什麼不用large為什麼不用海量vast呢?歸根結底我們可能就需要從語法上,來分析一下,它們三個之間的區別。big形容大小。更多的時候,是一種比較行為上的大,是種相對來說的感覺,而large和vast更多的時候形容的是的是一種形體上的巨大。
那麼現在來推敲一下big data這個詞,大數據這個大其實是一種相對的說法是相對於傳統的數據體量來說的,過去任何時候的數據相對於現在來說都顯得太過於渺小,而現在我們所說的大數據是一種量變最後達到了質變的概念。
數據這個詞最早在媒體上風靡應該是2007年左右。往上追溯應該就是05年穀歌參加有美國官方舉辦的一個機器翻譯大賽,最終由於使用了海量的相關數據而奪得第一,在那之後大數據這個概念漸漸的被業內人士所傳播。那麼到底什麼是大數據呢?
大數據顧名思義,最表象的特徵就是數據量夠大。但是僅僅數據量夠大,並不能構成大數據整體的含義。如果是海量雜亂無章,互之間沒有關聯的數據,即便再怎麼定義,它也算不上是大數據。就譬如一個人體內的基因圖譜,詳細的基因圖譜數據如果記錄出來是一個很大體量的,但是沒有意義。
大數據而且還有個概念,那就是多維度。在十年前,如果說國內哪一家公司最有資格說大數據的,那無疑是網路了。作為一個獨佔13億用戶專屬的搜索公司來說,網路對於用戶畫像的記錄,無疑是多維的。網路搜索,至今記錄了無數用戶每天在互聯網上搜索的問題,或者說知識。在時間維度上用戶對某些詞彙搜索的頻次高低這些都是數據。它可以通過對注冊用戶的甄別就可以知道搜索這個詞彙或者是這個問題的用戶是男生還是女生?年齡分布是是小孩、青年抑或是一個中年大叔?再到後來個人電腦開始普及,通過記錄ip等信息,根據ip搜索的網路的問題的分類,可以判斷中國各個區域,是南方富裕一點,還是北方富裕點?是江蘇人更愛吃,還是閩南人更喜歡談論吃?網路完全可以根據自己的數據生成得到國內各種關於此類的數據,普查之後所能得到的答案這就是因為網路所具有的數據是一個多維度的數據。他的數據收集過程,是一個長期的持續性的工作。
除了網路之外,騰訊的qq確實每年都會有一個關於qq的城市報告。它會根據qq的用戶數據,甚至於至於活躍地點。在一個大的范圍內青年QQ用戶的佔比,最終可以得到中國城市年輕度排行榜。可以根據這些數據判斷,哪一個城市是,年輕人畢業之後最願意去的。可以判斷哪一個城市的,年輕人畢業之後,是回歸率最高的。也可以判斷哪一個城市的人才流失率更低,更容易留住外來人才。這些都是大數據多維度的應用。
大數據還有一個非常重要的特點,那就是全面性。經常在某些大型活動之前我們都會遇到。某些公司對於這件事情,會做出預測。然後最終的結果讓我們大失所望。預測無疑是需要基於數據基礎的預測,如果這個數據不夠全面的話,最終的預測結果肯定相差甚大。
關於數據全面性有一個最經典的案例這是12年美國大選大選事件。一個名叫斯威爾的年輕人,利用大數據預測。成功預測出了51個州的選舉果,要知道這在之前是從來沒有發生過的事情。美國大選在之前就一直有專業的預測機構做預測,但是就連這種長期做數據,分析的公司都從來沒有如此成功的預測過。那是因為斯威爾將網上所有關於選舉的數據,包括新聞稿,以及facebook和推特上面人們關於選舉的言論,所有的數據都做了甄選處理。這份數據反映的是網民全面幾乎沒有遺漏的想法,最終得到了某種程度上來說,比較具有完備性的數據,所以能夠如此成功的預測13年美國大選的結果。