數據比作什麼

❶ 如何用形象的比喻描述大數據的技術生態

大數據本身是個很寬泛的概念，Hadoop生態圈（或者泛生態圈）基本上都是為了處理超過單機尺度的數據處理而誕生的。你可以把它比作一個廚房所以需要的各種工具。鍋碗瓢盆，各有各的用處，互相之間又有重合。你可以用湯鍋直接當碗吃飯喝湯，你可以用小刀或者刨子去皮。但是每個工具有自己的特性，雖然奇怪的組合也能工作，但是未必是最佳選擇。
大數據，首先你要能存的下大數據。
傳統的文件系統是單機的，不能橫跨不同的機器。HDFS（Hadoop Distributed FileSystem）的設計本質上是為了大量的數據能橫跨成百上千台機器，但是你看到的是一個文件系統而不是很多文件系統。比如你說我要獲取/hdfs/tmp/file1的數據，你引用的是一個文件路徑，但是實際的數據存放在很多不同的機器上。你作為用戶，不需要知道這些，就好比在單機上你不關心文件分散在什麼磁軌什麼扇區一樣。HDFS為你管理這些數據。
存的下數據之後，你就開始考慮怎麼處理數據。雖然HDFS可以為你整體管理不同機器上的數據，但是這些數據太大了。一台機器讀取成T上P的數據（很大的數據哦，比如整個東京熱有史以來所有高清電影的大小甚至更大），一台機器慢慢跑也許需要好幾天甚至好幾周。對於很多公司來說，單機處理是不可忍受的，比如微博要更新24小時熱博，它必須在24小時之內跑完這些處理。那麼我如果要用很多台機器處理，我就面臨了如何分配工作，如果一台機器掛了如何重新啟動相應的任務，機器之間如何互相通信交換數據以完成復雜的計算等等。這就是MapRece / Tez / Spark的功能。MapRece是第一代計算引擎，Tez和Spark是第二代。MapRece的設計，採用了很簡化的計算模型，只有Map和Rece兩個計算過程（中間用Shuffle串聯），用這個模型，已經可以處理大數據領域很大一部分問題了。
那什麼是Map什麼是Rece看
考慮如果你要統計一個巨大的文本文件存儲在類似HDFS上，你想要知道這個文本里各個詞的出現頻率。你啟動了一個MapRece程序。Map階段，幾百台機器同時讀取這個文件的各個部分，分別把各自讀到的部分分別統計出詞頻，產生類似
（hello, 12100次），（world，15214次）等等這樣的Pair（我這里把Map和Combine放在一起說以便簡化）；這幾百台機器各自都產生了如上的集合，然後又有幾百台機器啟動Rece處理。Recer機器A將從Mapper機器收到所有以A開頭的統計結果，機器B將收到B開頭的詞彙統計結果（當然實際上不會真的以字母開頭做依據，而是用函數產生Hash值以避免數據串化。因為類似X開頭的詞肯定比其他要少得多，而你不希望數據處理各個機器的工作量相差懸殊）。然後這些Recer將再次匯總，（hello，12100）＋（hello，12311）＋（hello，345881）= （hello，370292）。每個Recer都如上處理，你就得到了整個文件的詞頻結果。
這看似是個很簡單的模型，但很多演算法都可以用這個模型描述了。
Map＋Rece的簡單模型很黃很暴力，雖然好用，但是很笨重。第二代的Tez和Spark除了內存Cache之類的新feature，本質上來說，是讓Map/Rece模型更通用，讓Map和Rece之間的界限更模糊，數據交換更靈活，更少的磁碟讀寫，以便更方便地描述復雜演算法，取得更高的吞吐量。
有了MapRece，Tez和Spark之後，程序員發現，MapRece的程序寫起來真麻煩。他們希望簡化這個過程。這就好比你有了匯編語言，雖然你幾乎什麼都能幹了，但是你還是覺得繁瑣。你希望有個更高層更抽象的語言層來描述演算法和數據處理流程。於是就有了Pig和Hive。Pig是接近腳本方式去描述MapRece，Hive則用的是SQL。它們把腳本和SQL語言翻譯成MapRece程序，丟給計算引擎去計算，而你就從繁瑣的MapRece程序中解脫出來，用更簡單更直觀的語言去寫程序了。
有了Hive之後，人們發現SQL對比Java有巨大的優勢。一個是它太容易寫了。剛才詞頻的東西，用SQL描述就只有一兩行，MapRece寫起來大約要幾十上百行。而更重要的是，非計算機背景的用戶終於感受到了愛：我也會寫SQL！於是數據分析人員終於從乞求工程師幫忙的窘境解脫出來，工程師也從寫奇怪的一次性的處理程序中解脫出來。大家都開心了。Hive逐漸成長成了大數據倉庫的核心組件。甚至很多公司的流水線作業集完全是用SQL描述，因為易寫易改，一看就懂，容易維護。
自從數據分析人員開始用Hive分析數據之後，它們發現，Hive在MapRece上跑，真雞巴慢！流水線作業集也許沒啥關系，比如24小時更新的推薦，反正24小時內跑完就算了。但是數據分析，人們總是希望能跑更快一些。比如我希望看過去一個小時內多少人在充氣娃娃頁面駐足，分別停留了多久，對於一個巨型網站海量數據下，這個處理過程也許要花幾十分鍾甚至很多小時。而這個分析也許只是你萬里長征的第一步，你還要看多少人瀏覽了跳蛋多少人看了拉赫曼尼諾夫的CD，以便跟老闆匯報，我們的用戶是猥瑣男悶騷女更多還是文藝青年／少女更多。你無法忍受等待的折磨，只能跟帥帥的工程師蟈蟈說，快，快，再快一點！
於是Impala，Presto，Drill誕生了（當然還有無數非著名的交互SQL引擎，就不一一列舉了）。三個系統的核心理念是，MapRece引擎太慢，因為它太通用，太強壯，太保守，我們SQL需要更輕量，更激進地獲取資源，更專門地對SQL做優化，而且不需要那麼多容錯性保證（因為系統出錯了大不了重新啟動任務，如果整個處理時間更短的話，比如幾分鍾之內）。這些系統讓用戶更快速地處理SQL任務，犧牲了通用性穩定性等特性。如果說MapRece是大砍刀，砍啥都不怕，那上面三個就是剔骨刀，靈巧鋒利，但是不能搞太大太硬的東西。
這些系統，說實話，一直沒有達到人們期望的流行度。因為這時候又兩個異類被造出來了。他們是Hive on Tez / Spark和SparkSQL。它們的設計理念是，MapRece慢，但是如果我用新一代通用計算引擎Tez或者Spark來跑SQL，那我就能跑的更快。而且用戶不需要維護兩套系統。這就好比如果你廚房小，人又懶，對吃的精細程度要求有限，那你可以買個電飯煲，能蒸能煲能燒，省了好多廚具。
上面的介紹，基本就是一個數據倉庫的構架了。底層HDFS，上面跑MapRece／Tez／Spark，在上面跑Hive，Pig。或者HDFS上直接跑Impala，Drill，Presto。這解決了中低速數據處理的要求。
那如果我要更高速的處理呢看
如果我是一個類似微博的公司，我希望顯示不是24小時熱博，我想看一個不斷變化的熱播榜，更新延遲在一分鍾之內，上面的手段都將無法勝任。於是又一種計算模型被開發出來，這就是Streaming（流）計算。Storm是最流行的流計算平台。流計算的思路是，如果要達到更實時的更新，我何不在數據流進來的時候就處理了看比如還是詞頻統計的例子，我的數據流是一個一個的詞，我就讓他們一邊流過我就一邊開始統計了。流計算很牛逼，基本無延遲，但是它的短處是，不靈活，你想要統計的東西必須預先知道，畢竟數據流過就沒了，你沒算的東西就無法補算了。因此它是個很好的東西，但是無法替代上面數據倉庫和批處理系統。
還有一個有些獨立的模塊是KV Store，比如Cassandra，Hbase，MongoDB以及很多很多很多很多其他的（多到無法想像）。所以KV Store就是說，我有一堆鍵值，我能很快速滴獲取與這個Key綁定的數據。比如我用身份證號，能取到你的身份數據。這個動作用MapRece也能完成，但是很可能要掃描整個數據集。而KV Store專用來處理這個操作，所有存和取都專門為此優化了。從幾個P的數據中查找一個身份證號，也許只要零點幾秒。這讓大數據公司的一些專門操作被大大優化了。比如我網頁上有個根據訂單號查找訂單內容的頁面，而整個網站的訂單數量無法單機資料庫存儲，我就會考慮用KV Store來存。KV Store的理念是，基本無法處理復雜的計算，大多沒法JOIN，也許沒法聚合，沒有強一致性保證（不同數據分布在不同機器上，你每次讀取也許會讀到不同的結果，也無法處理類似銀行轉賬那樣的強一致性要求的操作）。但是丫就是快。極快。
每個不同的KV Store設計都有不同取捨，有些更快，有些容量更高，有些可以支持更復雜的操作。必有一款適合你。
除此之外，還有一些更特製的系統／組件，比如Mahout是分布式機器學習庫，Protobuf是數據交換的編碼和庫，ZooKeeper是高一致性的分布存取協同系統，等等。
有了這么多亂七八糟的工具，都在同一個集群上運轉，大家需要互相尊重有序工作。所以另外一個重要組件是，調度系統。現在最流行的是Yarn。你可以把他看作中央管理，好比你媽在廚房監工，哎，你妹妹切菜切完了，你可以把刀拿去殺雞了。只要大家都服從你媽分配，那大家都能愉快滴燒菜。
你可以認為，大數據生態圈就是一個廚房工具生態圈。為了做不同的菜，中國菜，日本菜，法國菜，你需要各種不同的工具。而且客人的需求正在復雜化，你的廚具不斷被發明，也沒有一個萬用的廚具可以處理所有情況，因此它會變的越來越復雜。

❷ 重要數據是什麼

麥肯錫全球研究所給出的定義是：一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。

大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換而言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。

從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。

❸ 什麼叫數據類型

就是對數據的個種形態的描述,如"實型""整型"等,他們的寫法是不同的,實型數有精度,就是後面帶小數,而整型是不帶小數的,

❹ 初期數據是什麼意思呢簡單解釋加比喻謝謝！

原始數據
第一次採集的數據
或第一階段收集整理的數據

❺ 大數據包括什麼

大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。

大數據是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。

大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換而言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。

從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。

(5)數據比作什麼擴展閱讀：

大數據的應用

1、洛杉磯警察局和加利福尼亞大學合作利用大數據預測犯罪的發生。

2、google流感趨勢(Google Flu Trends)利用搜索關鍵詞預測禽流感的散布。

3、統計學家內特.西爾弗(Nate Silver)利用大數據預測2012美國選舉結果。

4、麻省理工學院利用手機定位數據和交通數據建立城市規劃。

5、梅西百貨的實時定價機制。根據需求和庫存的情況，該公司基於SAS的系統對多達7300萬種貨品進行實時調價。

6、醫療行業早就遇到了海量數據和非結構化數據的挑戰，而近年來很多國家都在積極推進醫療信息化發展，這使得很多醫療機構有資金來做大數據分析。

❻ 大數據是什麼意思

大數據（big data），IT行業術語，是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。

大數據的結構：

大數據包括結構化、半結構化和非結構化數據，非結構化數據越來越成為數據的主要部分。據IDC的調查報告顯示：企業中80%的數據都是非結構化數據，這些數據每年都按指數增長60%。

大數據就是互聯網發展到現今階段的一種表象或特徵而已，沒有必要神話它或對它保持敬畏之心，在以雲計算為代表的技術創新大幕的襯托下，這些原本看起來很難收集和使用的數據開始容易被利用起來了，通過各行各業的不斷創新，大數據會逐步為人類創造更多的價值。

以上內容參考：

網路-大數據

❼ 數據的定義是什麼

大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產，如購物網站的消費記錄，這些數據只有進行處理整合才有意義。
大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換而言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。
大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術，包括大規模並行處理（MPP）資料庫、數據挖掘、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。

❽ 什麼是大數據,通俗的講

大數據是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產，簡單來說大數據就是海量的數據，就是數據量大、來源廣、種類繁多(日誌、視頻、音頻)，大到PB級別，現階段的框架就是為了解決PB級別的數據。

大數據的7大特徵：海量性，多樣性，高速性，可變性，真實性，復雜性，價值性

隨著大數據產業的發展，它逐漸從一個高端的、理論性的概念演變為具體的、實用的理念。

很多情況下大數據來源於生活。
比如你點外賣，准備什麼時候買，你的位置在哪，商家位置在哪，想吃什麼……這都是數據，人一多各種各樣的信息就越多，還不斷增長，把這些信息集中，就是大數據。

大數據的價值並不是在這些數據上，而是在於隱藏在數據背後的——用戶的喜好、習慣還有信息。

❾ 資料庫是什麼能打比喻嗎

資料庫就好象一個電話號碼簿,裡面存著大量美女信息,當你想和那位美女約會了 你就可以掉出相應電話號碼和她聯系,當她換號碼了,你可以對其作出相應修改,以保持及時聯繫上該美女,當你和他發生誤會不想交往了,你可以直接把她號碼刪除,當你新交了一個美女,可以加上他的號碼,還有你可以設計用戶,對號碼進行分類管理等等,啊 都累了.......明白?

❿ （數據表）這三個字是指什麼意思最好是能夠簡單解釋和加比喻謝謝！

先要弄清楚什麼是「數據」。數據是進行各種統計、計算、科學研究或技術設計所依據的數值。如：期中考試，我們班數學最高分98分，最低分67分，平均80.5分。「最高分98分，最低分67分，平均80.5分」，就是與這次我們班數學考試的相關數據。又如：我校高三（1）班60人，（2）班57人，（3）班59人，（4）班55人，共計231人。這就是有關我校高三年級人數的數據。

有了數據，要對數據進行處理。數據處理，指對於科學研究、生產實踐、經濟活動等領域中所獲得的大量有關數據（可以是數字、圖表、符號、文字和曲線等形式），如實驗數據、觀測數據、統計數據、原始數據等，按不同使用要求進行歸納、整理、組織、分類、統計以及繪制圖表等的工作。數據表就是處理數據的一種形式，它是依據相關數據和要求繪制的圖表。例如下面的圖表就是一幅簡單的數據表（反映的是1012年倫敦奧運會前8名國家的獲獎情況）：