什麼是大數據平台

㈠ 大數據平台是什麼什麼時候需要大數據平台如何建立大數據平台

首先我們要了解Java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。

Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。

Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。

Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

㈡ 什麼是大數據,通俗的講

大數據是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產，簡單來說大數據就是海量的數據，就是數據量大、來源廣、種類繁多(日誌、視頻、音頻)，大到PB級別，現階段的框架就是為了解決PB級別的數據。

大數據的7大特徵：海量性，多樣性，高速性，可變性，真實性，復雜性，價值性

隨著大數據產業的發展，它逐漸從一個高端的、理論性的概念演變為具體的、實用的理念。

很多情況下大數據來源於生活。
比如你點外賣，准備什麼時候買，你的位置在哪，商家位置在哪，想吃什麼……這都是數據，人一多各種各樣的信息就越多，還不斷增長，把這些信息集中，就是大數據。

大數據的價值並不是在這些數據上，而是在於隱藏在數據背後的——用戶的喜好、習慣還有信息。

㈢ 什麼是旅遊大數據平台

想要知道什麼是旅遊大數據平台，就得先清楚旅遊大數據平台有哪些構成？

旅遊是一個行業屬性，決定了我們需要去關注哪些指標；

大數據平台是一個技術層面的架構，決定了你能以什麼樣的速度處理多大的數據，最後以何種方式去呈現。

所以以下我從這兩個方面分別來闡述：

一、大數據平台

大數據平台的整體架構如下圖

數據共享層：表示在數據倉庫與業務系統間提供數據共享服務。不論是Web Service，還是Web API ，都代表的是一種數據間的連接方式。

數據分析層：分析函數這部分大家都能理解，就是數學上的各種公式，比如聚類分析、回歸分析等等。

列存儲使得磁碟的每個Page僅僅存儲來自單列的值，而不是整行的值。因此，壓縮演算法會更加高效，因為它們能夠作用於同類型的數據。再說的簡單點，可以減少磁碟的I/O、提升緩存利用率，因此，磁碟存儲會被更加高效的利用。

而分布式計算能夠把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然後把這些部分分配給許多計算機進行處理，最後把這些計算結果綜合起來得到最終的結果。

整體上來說，通過這兩種技術，可以大幅度提高數據分析的效率。

而Yonghong MPP應該是目前做列存儲和分布式最好的產品。

數據展現：分析的結果通過什麼樣的形式去呈現，說白了就是數據可視化的工作。這部分推薦用敏捷BI類的產品，區別於傳統BI，它能通過簡單拖拽的方式就生成報表，比較節省時間，學習成本相對較低。國內的敏捷BI中，個人用戶推薦Tableau，企業級需求推薦Yonghong BI 。

數據訪問：這個就比較簡單了，看你是通過什麼樣的方式去查看這些數據，圖中示例的是因為B/S架構，最終的可視化結果是通過瀏覽器訪問的。當然也有C/S架構，通過客戶端去查看。相對來說，B/S架構會比較便捷，更適合現在很多人用手機辦公的需求，打開個網頁就能看到數據。

二、旅遊行業應該關注哪些指標？

我以一個省的旅遊數據為例：

可以分析的指標有：

省旅遊收入分析（包括收入金額、增長率、與全國收入增長率對比）

省內旅遊情況分析（包括星級飯店總數、國內遊客數、入境遊客數、入境過夜遊客、遊客消費水平、旅行社數、旅遊從業人員等）

入境遊客量分析（國外遊客數、港澳同胞數、台灣同胞數、及其對應的增長率）

旅遊收入分析（商品銷售、長途交通、住宿、景點門票、餐飲、郵電通訊）

酒店分析（按客房數的多少可以分析出現階段適合發展的酒店形式，是連鎖酒店還是民宿更合適）

綜合以上分析，就可以得出該省下一階段在旅遊方面應該去重點關注的地方，給規劃提供判斷依據。

所以旅遊大數據平台，大數據平台是基礎，而具體的指標可以決定應用價值。

㈣ 大數據技術平台有哪些

Java：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據。基礎

Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。

好說完基礎了，再說說還需要學習哪些大數據技術，可以按我寫的順序學下去。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的？排隊買票你知道不？數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰溜溜的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接收方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

㈤ 大數據平台的目的和意義，其主要內容和能達到的經濟利益和社會效益是什麼

大數據平台：是指以處理海量數據存儲、計算及不間斷流數據實時計算等場景為主的一套基礎設施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。

大數據平台是為了滿足企業對於數據的各種要求而產生的。

大數據平台的功能：

1、容納海量數據

2、速度快

3、兼容傳統工具

4、利用Hadoop

5、為數據科學家提供支持

6、提供數據分析功能

㈥ 什麼是大數據採集平台

大數據平台與數據採集

任何完整的大數據平台，一般包括以下的幾個過程：

數據採集–>數據存儲–>數據處理–>數據展現(可視化，報表和監控)

大數據採集：就是對數據進行ETL操作，通過對數據進行提取、轉換、載入，最終挖掘數據的潛在價值。然後提供給用戶解決方案或者決策參考。ETL，是英文 Extract-Transform-Load 的縮寫，數據從數據來源端經過抽取（extract）、轉換（transform）、載入（load）到目的端，然後進行處理分析的過程。

㈦ 什麼是大數據，有什麼好的大數據平台

大數據技術是指從各種各樣類型的數據中，快速獲得有價值信息的能力。適用於大數據的技術，包括大規模並行處理（MPP）資料庫，數據挖掘電網，分布式文件系統，分布式資料庫，雲計算平台，互聯網，和可擴展的存儲系統。

大數據平台是為了計算，現今社會所產生的越來越大的數據量。以存儲、運算、展現作為目的的平台。

㈧ 什麼是大數據平台

大數據平台是為了計算，現今社會所產生的越來越大的數據量。以存儲、運算、展現作為目的的平台

大數據平台是允許開發者們或是將寫好的程序放在「雲」里運行，或是使用「雲」里提供的服務，或二者皆是。
類似目前很多輿情監測軟體大數據分析多瑞科輿情數據分析站系統，大數據平台是一個集數據接入、數據處理、數據存儲、查詢檢索、分析挖掘等、應用介面等為一體的。
大數據平台是允許開發者們或是將寫好的程序放在「雲」里運行，或是使用「雲」里提供的服務，或二者皆是。
類似目前很多輿情監測軟體大數據分析多瑞科輿情數據分析站系統，大數據平台是一個集數據接入、數據處理、數據存儲、查詢檢索、分析挖掘等、應用介面等為一體的。

㈨ 大數據服務平台是什麼有什麼用

現今社會每時每刻都在產生數據，企業內部的經營交易信息、物聯網世界中的商品物流信息，互聯網世界中的人與人交互信息、位置信息等，我們身邊處處都有大數據。而大數據服務平台則是一個集數據接入、數據處理、數據存儲、查詢檢索、分析挖掘等、應用介面等為一體的平台，然後通過在線的方式來提供數據資源、數據能力等來驅動業務發展的服務，國外如Amazon ，Oracle，IBM，Microsoft...國內如華為，商理事等公司都是該服務的踐行者。