數據模型架構師做什麼

Ⅰ 大數據架構師崗位的主要職責概述

大數據架構師崗位的主要職責概述 篇1

職責：

1、負責大數據平台及BI系統框架設計、規劃、技術選型，架構設計並完成系統基礎服務的開發;

2、負責海量埋點規則、SDK標准化、埋點數據採集、處理及存儲，業務數據分布存儲、流式/實時計算等應用層架構搭建及核心代碼實現;

3、開發大數據平台的核心代碼，項目敏捷開發流程管理，完成系統調試、集成與實施，對每個項目周期技術難題的解決，保證大數據產品的上線運行;

4、負責大數據平台的架構優化，代碼評審，並根據業務需求持續優化數據架構，保證產品的可靠性、穩定性;

5、指導開發人員完成數據模型規劃建設，分析模型構建及分析呈現，分享技術經驗;

6、有效制定各種突發性研發技術故障的應對預案，有清晰的隱患意識;

7、深入研究大數據相關技術和產品，跟進業界先進技術;

任職要求

1、統計學、應用數學或計算機相關專業大學本科以上學歷;

2、熟悉互聯網移動端埋點方法(點擊和瀏覽等行為埋點)，無埋點方案等，有埋點SDK獨立開發經驗者優選;

3、熟悉Hadoop，MR/MapRece，Hdfs，Hbase，Redis，Storm，Python，zookeeper，kafka，flinkHadoop，hive，mahout，flume，ElasticSearch，KafkaPython等，具備實際項目設計及開發經驗;

4、熟悉數據採集、數據清洗、分析和建模工作相關技術細節及流程

5、熟悉Liunx/Unix操作系統，能熟練使用shell/perl等腳本語言，熟練掌握java/python/go/C++中一種或多種編程語言

6、具備一定的演算法能力，了解機器學習/深度學習演算法工具使用，有主流大數據計算組件開發和使用經驗者優先

7、熟悉大數據可視化工具Tableau/echarts

8、具有較強的執行力，高度的責任感、很強的學習、溝通能力，能夠在高壓下高效工作;

大數據架構師崗位的主要職責概述 篇2

職責：

根據大數據業務需求，設計大數據方案及架構，實現相關功能;

搭建和維護大數據集群，保證集群規模持續、穩定、高效平穩運行;

負責大數據業務的設計和指導具體開發工作;

負責公司產品研發過程中的數據及存儲設計;

針對數據分析工作，能夠完成和指導負責業務數據建模。

職位要求：

計算機、自動化或相關專業(如統計學、數學)本科以上學歷，3年以上大數據處理相關工作經驗;

精通大數據主流框架(如Hadoop、hive、Spark等);

熟悉MySQL、NoSQL(MongoDB、Redis)等主流資料庫，以及rabbit MQ等隊列技術;

熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;

熟悉常用的數據挖掘演算法優先。

大數據架構師崗位的主要職責概述 篇3

職責：

1、大數據平台架構規劃與設計;

2、負責大數據平台技術框架的選型與技術難點攻關;

3、能夠獨立進行行業大數據應用的整體技術框架、業務框架和系統架構設計和調優等工作，根據系統的業務需求，能夠指導開發團隊完成實施工作;

4、負責數據基礎架構和數據處理體系的升級和優化，不斷提升系統的穩定性和效率，為相關的業務提供大數據底層平台的支持和保證;

5、培養和建立大數據團隊，對團隊進行技術指導。

任職要求：

1、計算機相關專業的背景專業一類院校畢業本科、碩士學位，8年(碩士5年)以上工作經驗(至少擁有3年以上大數據項目或產品架構經驗);

2、精通Java，J2EE相關技術，精通常見開源框架的架構，精通關系資料庫系統(Oracle MySQL等)和noSQL數據存儲系統的原理和架構;

3、精通SQL和Maprece、Spark處理方法;

4、精通大數據系統架構，熟悉業界數據倉庫建模方法及新的建模方法的發展，有DW，BI架構體系的專項建設經驗;

5、對大數據體系有深入認識，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數據技術，並能設計相關數據模型;

6、很強的學習、分析和解決問題能力，可以迅速掌握業務邏輯並轉化為技術方案，能獨立撰寫項目解決方案、項目技術文檔;

7、具有較強的內外溝通能力，良好的團隊意識和協作精神;

8、機器學習技術、數據挖掘、人工智慧經驗豐富者優先考慮;

9、具有能源電力行業工作經驗者優先。

大數據架構師崗位的主要職責概述 篇4

職責：

1.參與公司數據平台系統規劃和架構工作，主導系統的架構設計和項目實施，確保項目質量和關鍵性能指標達成;

2.統籌和推進製造工廠內部數據系統的構建，搭建不同來源數據之間的邏輯關系，能夠為公司運營診斷、運營效率提升提供數據支持;

3.負責數據系統需求對接、各信息化系統數據對接、軟體供應商管理工作

5.根據現狀制定總體的數據治理方案及數據體系建立，包括數據採集、接入、分類、開發標准和規范，制定全鏈路數據治理方案;深入挖掘公司數據業務，超強的數據業務感知力，挖掘數據價值，推動數據變現場景的落地，為決策及業務賦能;

6.定義不同的數據應用場景，推動公司的數據可視化工作，提升公司數據分析效率和數據價值轉化。

任職要求：

1.本科以上學歷，8年以上軟體行業從業經驗，5年以上大數據架構設計經驗，熟悉BI平台、大數據系統相關技術架構及技術標准;

2.熟悉數據倉庫、熟悉數據集市，了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;

3.熟悉大數據相關技術：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉製造企業信息化系統及相關資料庫技術;

5.具備大數據平台、計算存儲平台、可視化開發平台經驗，具有製造企業大數據系統項目開發或實施經驗優先;

6.對數據敏感，具備優秀的業務需求分析和報告展示能力，具備製造企業數據分析和數據洞察、大數據系統的架構設計能力，了解主流的報表工具或新興的前端報表工具;

7.有較強的溝通和組織協調能力，具備結果導向思維，有相關項目管理經驗優先。

大數據架構師崗位的.主要職責概述 篇5

職責：

1.負責產品級業務系統架構(如業務數據對象識別，數據實體、數據屬性分析，數據標准、端到端數據流等)的設計與優化。協助推動跨領域重大數據問題的分析、定位、解決方案設計，從架構設計上保障系統高性能、高可用性、高安全性、高時效性、分布式擴展性，並對系統質量負責。

2.負責雲數據平台的架構設計和數據處理體系的優化，推動雲數據平台建設和持續升級，並制定雲數據平台調用約束和規范。

3.結合行業應用的需求負責數據流各環節上的方案選型，主導雲數據平台建設，參與核心代碼編寫、審查;數據的統計邏輯回歸演算法、實時交互分析;數據可視化方案等等的選型、部署、集成融合等等。

4.對雲數據平台的關注業內技術動態，持續推動平台技術架構升級，以滿足公司不同階段的數據需求。

任職要求：

1.熟悉雲計算基礎平台，包括Linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基礎環境，熟悉控制、計算、存儲和網路;

2.掌握大型分布式系統的技術棧，如：CDN、負載均衡、服務化/非同步化、分布式緩存、NoSQL、資料庫垂直及水平擴容;熟悉大數據應用端到端的相關高性能產品。

3.精通Java，Python，Shell編程語言，精通SQL、NoSQL等資料庫增刪改查的操作優化;

4.PB級別實戰數據平台和生產環境的實施、開發和管理經驗;

5.熟悉Docker等容器的編排封裝，熟悉微服務的開發和日常調度;

6.計算機、軟體、電子信息及通信等相關專業本科以上學歷，5年以上軟體工程開發經驗，2年以上大數據架構師工作經驗。

大數據架構師崗位的主要職責概述 篇6

職責描述：

1、負責集團大數據資產庫的技術架構、核心設計方案，並推動落地；

2、帶領大數據技術團隊實現各項數據接入、數據挖掘分析及數據可視化；

3、新技術預研，解決團隊技術難題。

任職要求：

1、在技術領域有5年以上相關經驗，3年以上的架構設計或產品經理經驗；

2、具有2年以上大數據產品和數據分析相關項目經驗；

3、精通大數據分布式系統（hadoop、spark、hive等）的架構原理、技術設計；精通linux系統；精通一門主流編程語言，java優先。

大數據架構師崗位的主要職責概述 篇7

崗位職責：

1、基於公司大數據基礎和數據資產積累，負責大數據應用整體技術架構的設計、優化，建設大數據能力開放平台；負責大數據應用產品的架構設計、技術把控工作。

2、負責制定大數據應用系統的數據安全管控體系和數據使用規范。

3、作為大數據技術方案到產品實現的技術負責人，負責關鍵技術點攻堅工作，負責內部技術推廣、培訓及知識轉移工作。

4、負責大數據系統研發項目任務規劃、整體進度、風險把控，有效協同團隊成員並組織跨團隊技術協作，保證項目質量與進度。

5、負責提升產品技術團隊的技術影響力，針對新人、普通開發人員進行有效輔導，幫助其快速成長。

任職資格：

1、計算機、數學或相關專業本科以上學歷，5—20xx年工作經驗，具有大型系統的技術架構應用架構數據架構相關的實踐工作經驗。

2、有分布式系統分析及架構設計經驗，熟悉基於計算集群的軟體系統架構和實施經驗。

3、掌握Hadoop/Spark/Storm生態圈的主流技術及產品，深入了解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。

4、掌握Mysql/Oracle等常用關系型資料庫，能夠對SQL進行優化。

5、熟悉分布式系統基礎設施中常用的技術，如緩存（Varnish、Memcache、Redis）、消息中間件（Rabbit MQ、Active MQ、Kafka、NSQ）等；有實踐經驗者優先。

6、熟悉Linux，Java基礎扎實，至少3—5年以上Java應用開發經驗，熟悉常用的設計模式和開源框架。

大數據架構師崗位的主要職責概述 篇8

崗位職責：

1、負責公司大數據平台架構的技術選型和技術難點攻關工作；

2、依據行業數據現狀和客戶需求，完成行業大數據的特定技術方案設計與撰寫；

3、負責研究跟進大數據架構領域新興技術並在公司內部進行分享；

4、參與公司大數據項目的技術交流、解決方案定製以及項目的招投標工作；

5、參與公司大數據項目前期的架構設計工作；

任職要求：

1、計算機及相關專業本科以上，5年以上數據類項目（數據倉庫、商務智能）實施經驗，至少2年以上大數據架構設計和開發經驗，至少主導過一個大數據平台項目架構設計；

2、精通大數據生態圈的技術，包括但不限於MapRece、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具備數據統計查詢性能優化能力。熟悉星環大數據產品線及有過產品項目實施經驗者優先；

3、優秀的方案撰寫能力，思路清晰，邏輯思維強，能夠根據業務需求設計合理的解決方案；

4、精通ORACLE、DB2、mySql等主流關系型資料庫，熟悉數據倉庫建設思路和數據分層架構思想；

5。熟練掌握java、R、python等1—2門數據挖掘開發語言；

6。熟悉雲服務平台及微服務相關架構思想和技術路線，熟悉阿里雲或騰訊雲產品者優先；

7、有煙草或製造行業大數據解決方案售前經驗者優先；

8、能適應售前支持和項目實施需要的短期出差；

大數據架構師崗位的主要職責概述 篇9

崗位職責：

1、負責相關開源系統/組件的性能、穩定性、可靠性等方面的深度優化；

2、負責解決項目上線後生產環境的各種實際問題，保障大數據平台在生產上的安全、平穩運行；

3、推動優化跨部門的業務流程，參與業務部門的技術方案設計、評審、指導；

4、負責技術團隊人員培訓、人員成長指導。

5、應項目要求本月辦公地址在錦江區金石路316號新希望中鼎國際辦公，月底項目結束後在總部公司辦公

任職要求：

1、熟悉linux、JVM底層原理，能作為技術擔當，解決核心技術問題；

2、3年以上大數據平台項目架構或開發經驗，對大數據生態技術體系有全面了解，如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等；

3、掌握git、maven、gradle、junit等工具和實踐，注重文檔管理、注重工程規范優先；

4、熟悉Java後台開發體系，具備微服務架構的項目實施經驗，有Dubbo/Spring cloud微服務架構設計經驗優先；

5、性格開朗、善於溝通，有極強的技術敏感性和自我驅動學習能力，注重團隊意識。

大數據架構師崗位的主要職責概述 篇10

職責描述：

1、負責大數據平台框架的規劃設計、搭建、優化和運維；

2、負責架構持續優化及系統關鍵模塊的設計開發，協助團隊解決開發過程中的技術難題；

3、負責大數據相關新技術的調研，關注大數據技術發展趨勢、研究開源技術、將新技術應用到大數據平台，推動數據平台發展；

4、負責數據平台開發規范制定，數據建模及核心框架開發。

任職要求：

1、計算機、數學等專業本科及以上學歷；

2、具有5年及以上大數據相關工作經驗；

3、具有扎實的大數據和數據倉庫的理論功底，負責過大數據平台或數據倉庫設計；

4、基於hadoop的大數據體系有深入認識，具備相關產品（hadoop、hive、hbase、spark、storm、 flume、kafka、es等）項目應用研發經驗，有hadoop集群搭建和管理經驗；

5、熟悉傳統數據倉庫數據建模，etl架構和開發流程，使用過kettle、talend、informatic等至少一種工具；

6、自驅力強、優秀的團隊意識和溝通能力，對新技術有好奇心，學習能力和主動性強，有鑽研精神，充滿激情，樂於接受挑戰；

Ⅱ 大數據架構師工作職能有哪些

職責一：全局的技術規劃
全局技術規劃是專職架構師必須要做的工作，全局技術規劃要能非常明確的指引整個團隊在同一時間向同一個方向前進，這對架構師的心力和體力都是有很大的考驗，全局規劃不僅要與業務緊密溝通，還必須有對應的技術深度和廣度，應採取正確的方法論，勇敢做出判斷和決策！
職責二：統一的方法&規范&機制
專職架構師不僅要能夠做出全局技術規劃，還要能提供統一的方法、規范和機制以保障全局技術規劃的順利有序進行，這是一項相對復雜且繁瑣的過程，需進行全方位的拆解，直到權責清晰對等。
職責三：完備的基礎構建
基礎構建的完備程度對全局技術規劃來說是十分重要的，為全局技術規劃得以順利實施提供了強大的武器庫，因此，專職架構師要制定完備的基礎構建。
職責四：落地的規劃才是架構
這是對專職架構師最大的挑戰，專職架構師應實時關注全局技術規劃實施的進度，把控發展的方向，以確保與規劃預期結果保持一致！

Ⅲ 大數據專業學什麼 從事什麼職業

大數據採集與管理專業是從大數據應用的數據管理、系統開發、海量數據分析與挖掘等層面系統地幫助企業掌握大數據應用中的各種典型問題的解決辦法的專業。

大數據專業課程

大數據專業將從大數據應用的三個主要層面（即數據管理、系統開發、海量數據分析與挖掘）系統地幫助企業掌握大數據應用中的各種典型問題的解決辦法，包括實現和分析協同過濾演算法、運行和學習分類演算法、分布式Hadoop集群的搭建和基準測試、分布式Hbase集群的搭建和基準測試、實現一個基於、Maprece的並行演算法、部署Hive並實現一個的數據操作等等，實際提升企業解決實際問題的能力。

大數據就業崗位

一、數據分析師

數據分析師應該是當下大家聽到過最多的大數據崗位，這個工作指的是不同行業中，從事行業數據搜集、整理、分析，並依據數據做出行業研究、評估和預測的專業人員。在工作中通過運用工具，提取、分析數據，實現數據的商業意義。

二、數據架構師

數據架構師是負責平台的整體數據架構設計，完成從業務模型到數據模型的設計工作，根據業務功能、業務模型，進行資料庫建模設計，完成各種面向業務目標的數據分析模型的定義和應用開發，平台數據提取、數據挖掘及數據分析。

三、數據挖掘工程師。

這個工作一般是指從大量的數據中通過演算法搜索隱藏於其中知識的工程技術專業人員。這些知識可用使企業決策智能化，自動化，從而使企業提高工作效率，減少錯誤決策的可能性，以在激烈的競爭中處於不敗之地。

四、數據演算法工程師。

在企業中負責大數據產品數據挖掘演算法與模型部分的設計，制定數據建模、數據處理和數據安全等架構規范並落地實施。

Ⅳ 大數據畢業後可以從事什麼工作

學大數據從事的職業常常分為大數據系統研發人員、大數據應用開發人員和大數據分析人員，常見的職業有數據分析師、數據架構師、數據挖掘工程師、數據演算法工程師等等。
以下是學大數據可以從事的職業介紹：
1、數據分析師：從事行業數據搜集、整理、分析方面的工作，依據數據做出行業研究、評估和預測。需要掌握SPSS、STATISTIC、Eviews、SAS等數據分析工具以及數據分析的營銷思維。
2、數據架構師：負責平台的整體數據架構設計，完成從業務模型到數據模型的設計工作，根據業務功能、業務模型，進行資料庫建模設計，完成各種面向業務目標的數據分析模型的定義和應用開發，平台數據提取、數據挖掘及數據分析。
3、數據應用師：用常人能理解的語言表述出數據所蘊含的信息，並根據數據分析結論推動企業內部做出調整。將數據還原到產品中，為產品所用。
4、數據挖掘工程師：從大量的數據中通過演算法搜索隱藏於其中的信息，使企業決策智能化、自動化，提高企業工作效率，減少錯誤決策的可能性。需要具備深厚的統計學基礎，需要熟悉R、SAS、 SPSS等統計分析軟體。
5、數據演算法工程師：負責大數據產品數據挖掘演算法與模型部分的設計，制定數據建模、數據處理和數據安全等架構規范並落地實施。需要具備扎實的數據挖掘基礎知識，精通機器學習、數學統計常用演算法，掌握常見分布式計算框架和技術原理，如Hadoop、MapRece、 Yarn、Storm、Spark等；熟悉Linux操作系統和Shell編程，至少熟練掌握一門編程語言。

Ⅳ 學大數據可以從事什麼職業

1、數據分析師。數據分析師 是數據師的一種，指的是不同行業中，專門從事行業數據搜集、整理、分析，並依據數據做出行業研究、評估和預測的專業人員。在工作中通過運用工具，提取、分析、呈現數據，實現數據的商業意義。

作為一名數據分析師、至少需要熟練SPSS、STATISTIC、Eviews、SAS等數據分析軟體中的一門，至少能用Acess等進行資料庫開發，至少掌握一門數學軟體如matalab、mathmatics進行新模型的構建，至少掌握一門編程語言。總之，一個優秀的數據分析師，應該業務、管理、分析、工具、設計都不落下。

2、 數據架構師。

數據架構師是負責平台的整體數據架構設計，完成從業務模型到數據模型的設計工作 ，根據業務功能、業務模型，進行資料庫建模設計，完成各種面向業務目標的數據分析模型的定義和應用開發，平台數據提取、數據挖掘及數據分析。

從事數據架構師這個職位，需要具備較強的業務理解和業務抽象能力，具備大容量事物及交易類互聯網平台的資料庫模型設計能力，對調度系統，元數據系統有非常深刻的認識和理解，熟悉常用的分析、統計、建模方法，熟悉數據倉庫相關技術，如 ETL、報表開發，熟悉Hadoop，Hive等系統並有過實戰經驗。

6、Hadoop運維工程師

你需要具備的技術知識：平台大數據環境的部署維護和技術支持， 應用故障的處理跟蹤及統計匯總分析，應用安全、數據的日常備份和應急恢復。

7、Hadoop開發工程師

Hadoop是一個分布式文件系統(Hadoop Distributed File System)，簡稱HDFS。Hadoop是一個能夠對大量數據進行分布式處理的軟體框架， 以一種可靠、高效、可伸縮的方式進行數據處理。所以說Hadoop解決了大數據如何存儲的問題，因而在大數據培訓機構中是必須學習的課程。

Hadoop開發工程師需要具備的技術：基於hadoop、hive等構建數據分析平台，進行數據平台架構設計、開發分布式計算業務，應用大數據、數據挖掘、分析建模等技術，對海量數據進行挖掘，發現其潛在的關聯規則，對hadoop、hive、hbase、Map/Rece相關產品進行預研、開發，Hadoop相關技術解決海量數據處理問題、大數據量的分析， Hadoop相關業務腳本的性能優化與提升，不斷提高系統運行效率。

8、大數據可視化工程師

隨著大數據在人們工作及日常生活中的應用，大數據可視化也改變著人類的對信息的閱讀和理解方式。從網路遷徙到谷歌流感趨勢，再到阿里雲推出縣域經濟可視化產品，大數據技術和大數據可視化都是幕後的英雄。

Ⅵ 如何成為真正的數據架構師

1、為什麼需要構建數據結構？
1）數據標准不一致
2）數據模型管理混亂
3）深入的性能的問題無法解決
4）SQL語句編寫水平不高導致出現嚴重性能問題
5）開發人員對執行計劃收悉
6）上線前缺乏審計
7）相對復雜的數據處理能力欠缺
8）數據質量差需要執行數據質量管理
2、數據管理組織角色
數據架構總監，企業數據構架管理的最高決策者，制定數據構架管理政策及指南，解決數據管理組織之間的爭議問題；
數據架構師,制定數據標准，應用標准，運維標准。設計數據標准和模型管理流程，整理數據需求並為建模人員提供支持
數據建模設計師，整合應用功能對數據要求，根據相應功能的業務需求進行數據建模，確認並使用數據標准
資料庫管理員，資料庫物理架構設計，資料庫配置、日程運維管理，資料庫的監控、調優和安全管理
用戶，提出數據使用請求，根據業務規則對數據質量進行檢驗
3、如何成為數據構架師？
認知階段
1）了解數據架構師的定義
2）了解數據架構師從事哪些工作
3）了解數據架構師應該具備的能力
4）了解數據架構師在企業中的位置及職業生涯
學習階段
1）了解成為數據架構師的途徑
2）尋找合適的書籍及培訓課程
3）向有經驗的專業人士學習經驗
4）參與相關交流活動
實戰階段
1）學習理論知識的同時，從技術上、組織上、流程上、產品上等方面逐漸嘗試將其落地，並在實戰中提升
2）擴大數據架構師在現有工作環境中影響力和價值，尋找合適定位
成熟階段
1）穩定數據架構在企業系統設計、開發、運維環節的地位
2）將其作為企業架構中必不可少的組成部分，形成四足鼎立之勢
4、成為數據架構師需要學習的技術
企業架構
1）企業架構概要
2）數據架構建設
3）企業架構管理及應用
資料庫設計及應用
1）資料庫設計
2）資料庫應用
3）資料庫性能優化
數據建模
1）概念數據建模技術
2）邏輯數據建模技術
3）物理數據建模技術
數據標准化
1）構建原子性單詞詞典
2）構建由原子性膽子自動拼接而成的用詞詞典
3）構建標准編碼詞典及標准管理體系
數據需求分析
1）信息需求事項概要
2）信息需求項調查
3）需求項分析及驗證
數據質量管理
1）數據質量、標准、模型、管理等內容
2）數據結構、概念、邏輯、物理模型
3、數據管理流程、標准、策略、需求、模型、資料庫、數據應用、數據流等管理