大數據架構師是什麼

Ⅰ 學大數據會有什麼工作

大數據工作主要分兩個方向，一個是開發，一個是分析
開發崗主要用Java 或者Scala語言，做的事情是大數據組件的開發，或者插件功能實現，

分析崗主要是數據分析， 這個用到的語言主要是SQL和python，SQL就是在hive上做數據統計，而python就是針對自定義的數據結構做分析，當然可能是在spark上做分析

Ⅱ 大數據專業學什麼，學完可以從事哪些職業

1. 數據分析師。
數據分析師 是數據師的一種，指的是不同行業中，專門從事行業數據搜集、整理、分析，並依據數據做出行業研究、評估和預測的專業人員。在工作中通過運用工具，提取、分析、呈現數據，實現數據的商業意義。
作為一名數據分析師、至少需要熟練SPSS、STATISTIC、Eviews、SAS等數據分析軟體中的一門，至少能用Acess等進行資料庫開發，至少掌握一門數學軟體如matalab、mathmatics進行新模型的構建，至少掌握一門編程語言。總之，一個優秀的數據分析師，應該業務、管理、分析、工具、設計都不落下。
2. 數據架構師。
數據架構師是負責平台的整體數據架構設計，完成從業務模型到數據模型的設計工作 ，根據業務功能、業務模型，進行資料庫建模設計，完成各種面向業務目標的數據分析模型的定義和應用開發，平台數據提取、數據挖掘及數據分析。
從事數據架構師這個職位，需要具備較強的業務理解和業務抽象能力，具備大容量事物及交易類互聯網平台的資料庫模型設計能力，對調度系統，元數據系統有非常深刻的認識和理解，熟悉常用的分析、統計、建模方法，熟悉數據倉庫相關技術，如 ETL、報表開發，熟悉Hadoop，Hive等系統並有過實戰經驗。
3. 數據挖掘工程師。
一般是指從大量的數據中通過演算法搜索隱藏於其中知識的工程技術專業人員。這些知識可用使企業決策智能化，自動化，從而使企業提高工作效率，減少錯誤決策的可能性，以在激烈的競爭中處於不敗之地。
成為數據挖據工程師需要具備深厚的統計學、數學、數據挖掘理論基礎和相關項目經驗，熟悉R、SAS、SPSS等統計分析軟體之一，參與過完整的數據採集.整理.分析和建模工作。.具有海量數據下機器學習和演算法實施相關經驗，熟悉hadoop，hive，map-rece等。
4. 數據演算法工程師。
在企業中負責大數據產品數據挖掘演算法與模型部分的設計，將業務場景與模型演算法進行融合等；深入研究數據挖掘模型，參與數據挖掘模型的構建、維護、部署和評估，支持產品研發團隊模型演算法構建，整合等；制定數據建模、數據處理和數據安全等架構規范並落地實施。
需要具備的知識有：扎實的數據挖掘基礎知識，精通機器學習、數學統計常用演算法；熟悉大數據生態，掌握常見分布式計算框架和技術原理，如Hadoop、MapRece、Yarn、Storm、Spark等；熟悉Linux操作系統和Shell編程，至少熟悉Scala/Java/Python/C++/R等語言中的一種編程；熟悉大規模並行計算的基本原理並具有實現並行計算演算法的基本能力。
5. 數據產品經理。
數據平台建設及維護，客戶端數據的分析，進行數據統計協助，數據化運營整理、提煉已有的數據報告，發現數據變化，進行深度專題分析，形成結論，撰寫報告；負責公司數據產品的設計及開發實施，並保證業務目標的實現；進行數據產品開發。
需要具備的技能有：有數據分析/數據挖掘/用戶行為研究的項目實踐經驗 ；有扎實的分析理論基礎，精通1種以上統計分析工具軟體，如SPSS、SAS，熟練使用Excel、SQL等工具； 熟悉SQL/HQL語句，工作經歷有SQL server/My SQl等的優先 ；熟練操作excel，ppt等辦公軟體,熟練使用SPSS、SAS等統計分析軟體其中之一 ；熟悉hadoop集群架構、有BI實踐經驗、參與過流式計算相關經驗者加分 ；熟悉客戶端產品的產品設計、開發流程 。

Ⅲ 大數據所從事什麼工作

大數據技術專業可以從事的工作有這些：

視數據的機構已經越來越多，上到國防部，下到互聯網創業公司、金融機構需要通過大數據項目來做創新驅動，需要數據分析或處理崗位也很多;常見的食品製造、零售電商、醫療製造、交通檢測等也需要數據分析與處理，如優化庫存，降低成本，預測需求等。人才主要分成三大類：大數據系統研發類、大數據應用開發類、大數據分析類，熱門崗位有：

1.大數據系統架構師

大數據平台搭建、系統設計、基礎設施。技能：計算機體系結構、網路架構、編程範式、文件系統、分布並行處理等。

2.大數據系統分析師

面向實際行業領域，利用大數據技術進行數據安全生命周期管理、分析和應用。技能：人工智慧、機器學習、數理統計、矩陣計算、優化方法。

3.hadoop開發工程師。

解決大數據存儲問題。

4.數據分析師

不同行業中，專門從事行業數據搜集、整理、分析，並依據數據做出行業研究、評估和預測的專業人員。在工作中通過運用工具，提取、分析、呈現數據，實現數據的商業意義。

作為一名數據分析師，至少需要熟練SPSS、STATISTIC、Eviews、SAS、大數據魔鏡等數據分析軟體中的一門，至少能用Acess等進行資料庫開發，至少掌握一門數學軟體如matalab、mathmatics進行新模型的構建，至少掌握一門編程語言。總之，一個優秀的數據分析師，應該業務、管理、分析、工具、設計都不落下。

5.數據挖掘工程師

做數據挖掘要從海量數據中發現規律，這就需要一定的數學知識，最基本的比如線性代數、高等代數、凸優化、概率論等。經常會用到的語言包括Python、Java、C或者C++，有時用MapRece寫程序，再用Hadoop或者Hyp來處理數據，如果用Python的話會和Spark相結合

6.大數據可視化工程師

隨著大數據在人們工作及日常生活中的應用，大數據可視化也改變著人類的對信息的閱讀和理解方式。從網路遷徙到谷歌流感趨勢，再到阿里雲推出縣域經濟可視化產品，大數據技術和大數據可視化都是幕後的英雄

大數據可視化工程師崗位職責:1、 依據產品業務功能，設計符合需求的可視化方案。2、 依據可視化場景不同及性能要求，選擇合適的可視化技術。3、 依據方案和技術選型製作可視化樣例。4、 配合視覺設計人員完善可視化樣例。5、 配合前端開發人員將樣例組件化。

想了解更多大數據從事工作的問題， 「CDA 數據分析師」具體指在互聯網、金融、零售、咨詢、電信、醫療、旅遊等行業專門從事數據的採集、清洗、處理、分析並能製作業務報告、 提供決策的新型數據分析人才。

Ⅳ 大數據專業畢業後做什麼工作

1、大數據開發工程師
主要負責數據模型的ETL開發、數據平台建設；面向業務的數據提取、分析、報表、挖掘等系統設計和開發工作。
崗位要求：
精通常用的數據結構和演算法，理解面向對象設計的基本原則，熟悉常用的設計模式；
掌握Hadoop生態體系框架，包括Hadoop、Hive、Spark、Storm、Flink、ElasticSearch、HBase等；
2、大數據運維工程師
主要負責數據平台的集群管理，機器優化，集群監控等；對現有集群的優化和性能調優，滿足不斷增長的業務需求等。
崗位要求：
熟悉主流開源數據組件，包括但不限於HADOOP、Hive、HBase、ZK、Spark、Flink、Flume、ElasticSearch and etc；深入理解Hadoop各組件的原理和實現；熟悉分布式原理、分布式系統設計等。
3、大數據架構師
主要負責大數據基礎框架的整體架構設計，結合公司實際業務情況進行技術選型；負責數據存儲和計算平台的整體評估、設計以及核心功能模塊的開發等。
崗位要求：
熟悉常用的數據結構和演算法；具備豐富的開發經驗，了解主流的大數據技術框架組件，包括但不限於Hadoop、Spark、Storm、Flink等。
4、大數據分析師
大數據分析方向的崗位，則主要以數據分析挖掘為主，通常需要負責常規業務數據分析需求開發，用戶畫像構建，推薦演算法實現等。
崗位要求：
熟悉數據倉庫理論、數據挖掘理論基礎，熟悉常用機器學習演算法（如邏輯回歸、神經網路、決策樹、貝葉斯等)；對Hadoop和Spark生態當中的主流技術組件，有相應程度的了解。

Ⅳ 架構師（spark方向）是什麼職位

大數據架構師，最起碼要熟悉Hadoop、 Spark 、Storm等等主流大數據平台的核心框架，而且要深入掌握如何編寫MapRece、Yarn、 HBase、 Hive、 pig 等等重要組件，能夠實現對平台的監控。輔助運維護系統的開發。
需要對面向過程，面向對象，面向服務等設計理念要有深刻的理解，可以做到快速的察覺出現實中的問題並提出相應的改進方案。
spark方面需要：
精通Spark Streaming，對Spark有源碼修改能力；
精通Spark性能調優，打造高可伸縮的數據處理程序；
精通Spark監控，包括任務和系統級別...

Ⅵ java資深大數據研發/架構師是做什麼的

記得有人說過一句話，大體意思是：現在計算機技術發展那麼迅速，日新月異，那些學計算機技術的人，要不斷學習才能不被淘汰，那些人的腦子是不是壞掉了，幹嘛要讓自己活的這么累？表示不解。不想時隔幾年，我也進入了這個飛速發展的IT行業。大概是隨著時間的推移，個人價值觀也隨之改變了吧！
初入這個行業的Java程序員是迷茫的，處在金字塔的最底端，拿可憐的薪水，無休止的加班，被「高薪」和「碼農」的代名詞交替映射著，亦步亦趨的行進著，什麼職業規劃都是飄渺的空虛的，月光族都是向錢看的。直到無意看到一篇針對Java程序員的文章，感覺收獲頗豐。似乎有一種撥開雲霧見月明的感覺
一、認識現在自己，想要什麼樣的生活
當我們還不能確定自己的職業規劃時，我們可以先確定一個目標，哪怕是以薪資為目標，為了實現這個目標，我們必定會為之奮斗，低薪時，只管低頭學技術，當你成為資深程序員，才可以望向更遠的發展線：專家線和管理線，一個跟機器打交道，一個跟人打交道。
把自己當做一種商品，商品必然存在價值，使用價值和交換價值。說的通俗點即你能給僱主創造多少財富。提高個人能力是一方面，還有一個技巧是選擇更好的細分市場。感觸很深的一點是通過網路提升個人品牌，一方面可以將個人所學知識進行梳理，同時可以鍛煉自己的邏輯能力、語言表達能力，最重要的是可以分享，讓更多的人學習，共同成長。
二、作為程序員，你首先要問自己一個問題：「我真的喜歡編程嗎
我能確定我當程序員不僅是為了養家糊口，而是為了實現自己的人生價值嗎？」 這一點非常重要。如果你的答案是為了養家糊口，那麼很可能你成為不了一個優秀的程序員，而且在這條路上你越走越疲倦；如果你的答案是真心喜歡編程，那也很可能說明不了什麼問題，除非你每天都在主動地學習和進步。
請先忘卻它可能給你帶來的獎勵，而是切實的學習知識，充實自己，獎勵只是你進步途中的副產品。如果你做一件事情前先考慮它有沒有價值，會不會給你帶來收益，那麼你在當時的環境中很難看清楚一件事情對以後有沒有價值。
永遠不要把自己的成長完全寄託給公司，希望新人都能認識到這一點，公司好的項目會很鍛煉人，但是每個人在項目中都只是一顆螺絲釘，只會負責某一個模塊，自己不主動去探索，沒有人會給你介紹整個系統的架構和工作原理。在我的成長過程中，一般有2個習慣，一個是搞清楚整個項目是做什麼的，有哪些模塊，整個系統是如何架構和設計的？另一個習慣是從自己負責的模塊開始發散，找到一個又一個興趣點利用業余時間進行深入地學習。無論做什麼方向，都是可以不斷積累和鍛煉這些能力的，不用太過於關注某個方向有沒有前途，個人綜合能力提高了，切換方向很快的。

Ⅶ 大數據專業主要學什麼

「大數據」簡單來說，就是一些把我們需要觀察的對象數據化，然後把數據輸入計算機，讓計算機對這些大量的數據進行分析之後，給出我們一些結論。

學的主要內容有：

①JavaSE核心技術

②Hadoop平台核心技術、Hive開發、HBase開發

③Spark相關技術、Scala基本編程

④掌握Python基本使用、核心庫的使用、Python爬蟲、簡單數據分析；理解Python機器學習

⑤大數據項目開發實戰，大數據系統管理優化

⑥雲平台開發技術

整體來說，大數據課程知識點多，課程難度較大。雖然是0基礎入門，但企業對大數據人才招聘要求高，至少需要本科學歷，建議本科及以上學歷同學報名。

南京北大青鳥祝你學有所成！

北大青鳥中博軟體學院小班教學實拍

Ⅷ 成為大數據處理架構師需要學什麼

基礎大概有兩大塊
1.是要有較強的資料庫管理系統的使用能力（比如你要學會Oracle），以及較強的資料庫理論知識背景。
2.大數據分析你要掌握概率統計學的知識，學會數據分析工具的使用。比如MATLAB，這個工具非常強大，掌握起來有些難度。但不是說你掌握了這個工具就能勝任數據分析師的工作了。你還需要，有較強的邏輯分析能力，對各種各樣的數據進行建模，然後根據統計分析結果進行最終判定。

建議：

入門的時候先從資料庫開始，因為這是數據的生存環境，大數據或者稱為海量數據都是存儲在這其中的。
熟悉數據建模，這是個系統性很強的學科，主要是高等數學范疇內的只是，偏統計分析。
最後是勤加練習對各種數據建模分析，當你的結論越來越靠近最優解的時候，你的經驗也在不斷增長，那麼離你的目標就很近了。

這是個很有挑戰，也是非常復雜的工作。需要你堅持，大概三年能有小成。但前途一片光明。

Ⅸ 您好，能講一下應用架構師、軟體架構師、大數據架構師的區別么 IT行業的架構師是怎麼分類的

職位表述的類似一個購物網站架構師的范圍，因為只有網站才會涉及到高並發、海量數據處理的情況，因為同時訪問的人數比較多嘛，比如支付寶在春節那天能承受住好幾億人同時訪問，這里系統的的架構師相當於是一個訪問系統的總體設計師，需要考慮他的承載能力和處理能力，不會崩潰；
應用架構就是企業內部構建整個應用系統，使企業的軟體能良好運行不出問題，並且網路系統能跟上節奏的這類人。

軟體架構師就是一款軟體的需求和架構設計，僅僅注重軟體本身；
大數據架構師就是後端底層會有海量的數據存儲與處理，處理數據這個系統需要的構建就是大數據架構師，這涉及到數據倉庫這些東西，對數據倉庫比較熟悉。因為數據都是存在一個地方，就是資料庫；

Ⅹ 大數據架構師工作職能有哪些

職責一：全局的技術規劃
全局技術規劃是專職架構師必須要做的工作，全局技術規劃要能非常明確的指引整個團隊在同一時間向同一個方向前進，這對架構師的心力和體力都是有很大的考驗，全局規劃不僅要與業務緊密溝通，還必須有對應的技術深度和廣度，應採取正確的方法論，勇敢做出判斷和決策！
職責二：統一的方法&規范&機制
專職架構師不僅要能夠做出全局技術規劃，還要能提供統一的方法、規范和機制以保障全局技術規劃的順利有序進行，這是一項相對復雜且繁瑣的過程，需進行全方位的拆解，直到權責清晰對等。
職責三：完備的基礎構建
基礎構建的完備程度對全局技術規劃來說是十分重要的，為全局技術規劃得以順利實施提供了強大的武器庫，因此，專職架構師要制定完備的基礎構建。
職責四：落地的規劃才是架構
這是對專職架構師最大的挑戰，專職架構師應實時關注全局技術規劃實施的進度，把控發展的方向，以確保與規劃預期結果保持一致！