現代數據准備平台有哪些

⑴ 大數據採集平台有哪些

針對這個問題，我們先來了解下大數據採集平台提供的服務平台流程包括：

1，首先平台針對需求對數據進行採集。

2，平台對採集的數據進行存儲。

3，再對數據進行分析處理。

4，最後對數據進行可視化展現，有報表，還有監控數據。

優秀的大數據平台要能在大數據分析鎮歲方法,大數據編程，大數據倉庫，大數據案例，人工智慧,數據挖掘方面都能表現出優秀的性能。

現在來推薦幾個主流且優秀的大數據平台：

1，ApacheFlume

Apache旗下的一款開源、高可靠、高擴展、容易管理、支持客戶擴展的數據採集系統,它是一個分布式、可靠、可用的系統，是java運行時環境j用於從大量不同的源有效地收集、聚合、移動大量日誌數據進行集中式數據存儲。

主要的功能表現在:

1.日誌收集:日誌系統中定製各類數據發送方，用於收集數據。

2.數據處理:提供對數據進行簡單處理，並寫到各種數據接受方（可定製）的能力,提供了從console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIXtail）、syslog（syslog日誌系統，支持TCP和UDP等2種模式），exec（命令執行）等數據源上收集數據的能力。

2，Fluentd

Fluentd是一個用於統一日誌層的開源數據收集器。Fluentd允許您統一數據收集和使用，以便更好地使用和理解數據。Fluentd是雲端原生計算基金會(CNCF)的成員項目之一，遵循Apache2License協議。FLuentd的擴展性非常好，客戶可以自己定製(Ruby)Input/Buffer/Output。

官網：

articles/quickstart

主要的功能表現在:

1,Input:負責接收數據或者主動抓取數據。支持syslog，http，filetail等。

2,Buffer:負責數據獲取的性能和可靠性，也有文件或內存等不同類型的Buffer可以配置。

3,Output:負責輸出數據到目的地例如文件，AWSS3或者其它的Fluentd。

3，Chukwa

Chukwa可以將各種各樣類型的數據收集成適合Hadoop處理的文件保存在HDFS中供Hadoop進行各種MapRece操作。Chukwa本身也提供了很多內置的功能，幫助我們進行數據的收灶慎集和整理。

1，對應用的各個節點實時監控日誌文件的變化，並將增量文件內容寫入HDFS，同時還可以將數據去除重復，排序等。

2，監控來自Socket的數據，定時執行我們指定的命令獲取輸出數據。

優秀的平台還有很多，筆記淺談為止，開發者根據官方提供的文檔進行解讀，才能深入了解，隱旅敬並可根據項目的特徵與需求來為之選擇所需的平台。

⑵ 大數據平台的軟體有哪些

這個要分好幾塊來講，首先我要說明的是大數據項目也是要有很多依賴的模塊的。每個模塊的軟體不一樣，下面分別聊一下。

一、大數據處理

這個是所謂大數據項目中最先想到的模塊。主要有spark，hadoop，es，kafka，hbase，hive等。

當然像是flume，sqoop也都很常用。

這些軟體主要是為了解決海量數據處理的問題。軟體很多，我只列幾個經典的，具體可以自行網路。

二、機器學習相關

大部分大數據項目都和機器學習相關。因此會考慮到機器學習的一些軟體，比如說sklearn，spark的ml，當然還有自己實現的代碼。

三、web相關技術

大部分項目也都跑不了一個web的展示，因此web就很重要的，java的ssh，python的django都可以，這個看具體的項目組習慣了。

四、其它

還有一些很常用的東西，個人感覺不完全算是大數據特定使用范橘埋高圍。反正我在做大數據項目的時候也都用到了。

比如說數據存儲：redis，mysql。

數據可視化：echart，d3js。

圖資料庫：neo4j。

再來說說大數據平台的軟體或者工具：

1、資料庫，大數據平台類，星環，做Hadoop生態系列的大數據平台圓尺公司。Hadoop是開源的，星環主要做的是把Hadoop不穩定的部分優化，功能細化，為企業提供Hadoop大數據引擎及液鍵資料庫工具。

2、大數據存儲硬體類，浪潮，很老牌的IT公司，國資委控股，研究大數據方面的存儲，在國內比較領先。

3、雲計算，雲端大數據類，阿里巴巴，明星產品-阿里雲，與亞馬遜AWS抗衡，做公有雲、私有雲、混合雲。實力不差，符合阿里巴巴的氣質，很有野心。

4、數據應用方面這個有很多，比如帆軟旗下的FineReport報表系統和FineBI大數據分析平台等。

帆軟是商業智能和數據分析平台提供商，從報表工具到商業智能，有十多年的數據應用的底子，在這個領域很成熟，目前處於快速成長期，但是很低調，是一家有技術有實力而且對客戶很真誠的公司。

⑶ 數據分析平台有哪些

數據分析平台通常有如下：
1.國家數據： http://data.stats.gov.cn可以查詢到國家統計局調查統計的各專業領域的主要指標時間序列數據。

2.阿里指數： https://index.1688.com最權威專業的行業價格、供應、采購趨勢分析。

3.微指數： https://data.weibo.com/index微指數是對提及量、閱讀量、互動量加權得出的綜合指數，更加全面的體現關鍵詞在微博上的熱度情況。

4.微信指數： 微信裡面搜一搜「微信指數」就能直接找到。立足於微信生態，依託海量用戶數據，微信指數具有天生優勢。

5.淘寶生意參謀： https://sycm.taobao.com生意參謀基於「支付金額=訪客數*轉化率*客單價」這一公式，幫你快速定位生意波動的核心因素。

6.搜狗指數： http://shu.sogou.com/全網熱門事件、品牌、人物等查詢詞的搜索熱度變化趨勢，掌握網民需求變化.

7.頭條指數： https://index.toutiao.com/頭條指數是巨量引擎雲圖推出的一種數據產品。

8.360指數： http://index.haosou.com360趨勢是以360產品海量用戶數據為基礎的大數據展示平台。

9.飛瓜數據： https://www.feigua.cn/飛瓜數據是短視頻領域權威的數據分析平台，提供抖音數據和快手數據等。

10.七麥數據： https://www.qimai.cn/七麥數據是國內專業的移動應用APP數據分析平台。

11.網路指數： http://index..com你可以研究關鍵詞搜索趨勢、洞察網民興趣和需求、監測輿情動向、定位受眾特徵。

12.京東商智： https://sz.jd.com豐富的運營數據，覆蓋電商全域，提升運營效率。多維度行業競爭數據，刻畫行業趨勢，洞察消費特性，輔助運營決策。

⑷ 有哪些好的數據來源或者大數據平台

數據來源
大數據分析的數據來源有很多種，包括公司或者機構的內部來源和外部來源。分為以下幾類：
交易數據。包括POS機數據、信用卡刷卡數據、電子商務數據、互聯網點擊數據、「企業資源規劃」(ERP)系統數據、銷售系統數據、客戶關系管理(CRM)系統數據、公司的生產數據、庫存數據、訂單數據、供應鏈數據等。
移動通信數據。能夠上網的智能手機等移動設備越來越普遍。移動通信設備記錄的數據量和數據的立體完整度，常常優於各家互聯網公司掌握的數據。移動設備上的軟體能夠追蹤和溝通無數事件，從運用軟體儲存的交易數據(如搜索產品的記錄事件)到個人信息資料或狀態報告事件(如地點變更即報告一個新的地理編碼)等。
人為數據。人為數據包括電子郵件、文檔、圖片、音頻、視頻，以及通過微信、博客、推特、維基、臉書、Linkedin等社交媒體產生的數據流。這些數據大多數為非結構性數據，需要用文本分析功能進行分析。
機器和感測器數據。來自感應器、量表和其他設施的數據、定位/GPS系統數據等。這包括功能設備會創建或生成的數據，例如智能溫度控制器、智能電表、工廠機器和連接互聯網的家用電器的數據。來自新興的物聯網(Io T)的數據是機器和感測器所產生的數據的例子之一。來自物聯網的數據可以用於構建分析模型，連續監測預測性行為(如當感測器值表示有問題時進行識別)，提供規定的指令(如警示技術人員在真正出問題之前檢查設備)等。
互聯網上的「開放數據」來源，如政府機構,非營利組織和企業免費提供的數據。

⑸ 大數據基礎平台有哪些

國內大數據平台有：
1、星環Transwarp。星環科技是一個以hadoop生態系統為基礎的大型數據平台公司，被Gartner魔力象限列入名單過，它的潛力不容忽視，它在技術上對hadoop不穩定的部分進行了優化，功能得到了改進，提供了hadoop的企業大數據引擎等。
2、TalkingData。TalkingData屬於獨立的第三方品牌。它的產品與之服務涵蓋了移動應用數據統計、公共數據查詢、綜合數據管理等多款極具針對性的產品及服務。在銀行、互聯網、電商行業有廣泛的數據服務應用。
3、友盟+。友盟+是第一個第三方的全域大數據服務供應商，可以全面覆蓋PC機、無線路由器等多種設備。為企業提供基礎統計、操作分析、數據決策等全業務鏈的數據應用解決方案，幫助企業進行數據化操作和管理。
4、網易猛獁。網易猛獁大數據平台提供了海量應用開發的一站式數據管理平台，其中還包含了大數據開發套件和hadoop發布。該套件主要包括數據開發、任務操作、自助分析、以及多租戶管理等。
5、GrowingIO。GrowingIO是一種基於網際網路用戶行為的數據分析產品，具有無埋點數據採集技術，可通過行為數據，如網頁或APP的瀏覽軌跡、點擊記錄、滑鼠滑動軌跡等行為數據，對用戶行為數據，進行實時的分析，用於優化產品體驗，實現精益化操作。
6、神策數據。神策數據原理也與GrowingIO類似。但是它在技術上提供開放的查詢API和完整的SQL介面，同時與MapRece和Spark等計算引擎無縫融合，隨時以最高效的方式來訪問干凈、規范的數據。

⑹ 常用的大數據分析平台有哪些

阿里指數： https://index.1688.com最權威專業的行業價格、供應、采購趨勢分析。

微指數： https://data.weibo.com/index微指數是對提及量、閱讀量、互動量加權得出的綜合指數，更加全面的體現關鍵詞在微博上的熱度情況。

微信指數： 微信裡面搜一搜“微信指數”就能直接找到。立足於微信生態，依託海量用戶數據，微信指數具有天生優勢。

淘寶生意參謀： https://sycm.taobao.com生意參謀基於“支付金額=訪客數*轉化率*客單價”這一公式，幫你快速定位生意波動的核心因素。

搜狗指數： http://shu.sogou.com/全網熱門事件、品牌、人物等查詢詞的搜索熱度變化趨勢，掌握網民需求變化.

頭條指數： https://index.toutiao.com/頭條指數是巨量引擎雲圖推出的一種數據產品。

360指數： http://index.haosou.com360趨勢是以360產品海量用戶數據為基礎的大數據展示平台。

飛瓜數據： https://www.feigua.cn/飛瓜數據是短視頻領域權威的數據分析平台，提供抖音數據和快手數據等。

七麥數據： https://www.qimai.cn/七麥數據是國內專業的移動應用APP數據分析平台。

網路指數： http://index..com你可以研究關鍵詞搜索趨勢、洞察網民興趣和需求、監測輿情動向、定位受眾特徵。

京東商智： https://sz.jd.com豐富的運營數據，覆蓋電商全域，提升運營效率。多維度行業競爭數據，刻畫行業趨勢，洞察消費特性，輔助運營決策。

⑺ 有哪些好的數據來源或者大數據平台

基於相關產業市場運行實時數據，監測實際市場運行中實物商品、數字商品、數字化服務的實時交易狀況、全國各省市相關產業交易額實時排名，反映產業和經濟運行現狀——產業經濟監測、預測與政策模擬平台。