① 數據科學與大數據技術專業是干什麼的 前景怎麼樣
數據科學與大數據技術主要研究計算機科學和大數據處理技術等相關的知識和技能,從大數據應用的三個主要層面(即數據管理、系統開發、海量數據分析與挖掘)出發,對實際問題進行分析和解決。主要從事大數據技術、大數據研究、數據管理、數據挖掘、演算法工程、應用開發等工作。
數據科學與大數據技術專業很不錯,前景比較樂觀,畢業生能在政府機構企業公司等從事大數據管理研究應用開發等方面的工作。同時可以考取軟體工程計算機科學與技術應用統計學等專業的研究生或出國深造。
大數據專業和計算機專業比較像,是注重實踐的專業。學生需要獨立編寫程序,對程序進行修改與調試,需要注意每一個細節才能順利查錯並運行程序。
大數據人才的工作是,把海量信息採集、存儲、分析,挖掘出信息背後更多的價值,以更好地輔助企業、政府機關做出決策。
隨著大數據往各領域延伸發展,市場對統計學、數學方面的專業人才,數據分析、數據挖掘、人工智慧等偏軟體領域的需求加大。數據分析師/大數據分析培訓,加米穀大數據培訓機構,可預約現場試聽課,大數據開發零基礎班預報中。
大數據專業畢業生可以勝任大數據技術開發與應用,大數據運維和雲計算等工作,可以去大型互聯網公司就業,做前、後端開發、數據分析師、機器學習演算法工程師,App開發、智能游戲設計與開發、數據科學家等。
也可以進入各行各業,在銀行、電信、電力、交通等企事業單位,政府、信息產業及其他國民經濟部門,甚至醫療系統、媒體等單位,依託具體業務,從事大數據分析、大數據應用開發、大數據系統研發、數據可視化等相關工作。畢竟大數據作為一門技術,為具體行業的決策服務。
在國內來看,國家信息中心信息化研究部副主任、南海大數據應用研究院院長於施洋指出:「從地域分布,從各個省來說,北京排第一,東部沿海地區這些省份排在前面,在西南地區,四川、重慶、貴州這三個地方異軍突起,是我們大數據發展的第二個增長極。」
各省份大數據發展指數的排名中,貴州、重慶、四川,緊隨東部沿海省份,全部排進了前十名,領先任何一個中部省份。這主要是地方政策引領的結果,畢業生想從事和大數據相關的工作,也可以考慮去這些大數據發展比較好、政策支持比較多的地方。
② 數據工程師是做什麼工作內容
1 維護大數據平台(這個應該是每個大數據工程師都做過的工作,或多或少會承擔「運維」的工作)
2 為集群搭大數據環境(一般公司招大數據工程師環境都已經搭好了,公司內部會有現成的大數據平台,但我這邊會私下搞一套測試環境,畢竟公司內部的大數據系統許可權限制很多,嚴重影響開發效率)
3 寫 SQL (很多入職一兩年的大數據工程師主要的工作就是寫 SQL )
4 數據遷移(有部分公司需要把數據從傳統的資料庫 Oracle、MySQL 等數據遷移到大數據集群中,這個是比較繁瑣的工作,吃力不討好)
5 應用遷移(有部分公司需要把應用從傳統的資料庫 Oracle、MySQL 等資料庫的存儲過程程序或者SQL腳本遷移到大數據平台上,這個過程也是非常繁瑣的工作,無聊,高度重復且麻煩,吃力不討好)
6 數據採集(採集日誌數據、文件數據、介面數據,這個涉及到各種格式的轉換,一般用得比較多的是 Flume 和 Logstash)
7 數據處理
7.1 離線數據處理(這個一般就是寫寫 SQL 然後扔到 Hive 中跑,其實和第一點有點重復了)
7.2 實時數據處理(這個涉及到消息隊列,Kafka,Spark,Flink 這些,組件,一般就是 Flume 採集到數據發給 Kafka 然後 Spark 消費 Kafka 的數據進行處理)
8 數據可視化(這個我司是用 Spring Boot 連接後台數據與前端,前端用自己魔改的 echarts)
9 大數據平台開發(偏Java方向的,大概就是把開源的組件整合起來整成一個可用的大數據平台這樣,常見的是各種難用的 PaaS 平台)
10 數據中台開發(中台需要支持接入各種數據源,把各種數據源清洗轉換為可用的數據,然後再基於原始數據搭建起寬表層,一般為了節省開發成本和伺服器資源,都是基於寬表層查詢出業務數據)
11 搭建數據倉庫(這里的數據倉庫的搭建不是指 Hive ,Hive 是搭建數倉的工具,數倉搭建一般會分為三層 ODS、DW、DM 層,其中DW是最重要的,它又可以分為DWD,DWM,DWS,這個層級只是邏輯上的概念,類似於把表名按照層級區分開來的操作,分層的目的是防止開發數據應用的時候直接訪問底層數據,可以減少資源,注意,減少資源開銷是減少 內存 和 CPU 的開銷,分層後磁碟佔用會大大增加,磁碟不值錢所以沒什麼關系,分層可以使數據表的邏輯更加清晰,方便進一步的開發操作,如果分層沒有做好會導致邏輯混亂,新來的員工難以接手業務,提高公司的運營成本,還有這個建數倉也分為建離線和實時的)
總之就是離不開寫 SQL ...
③ 大數據技術是學什麼的就業方向
大數據技術是學數學專業、計算機專業的就業方向。
大數據技術里會用到很多學科學習的知識,並不是單一的專業可以學完大數據所需要掌握的技術,所以大數據屬於交叉學科:以統計學、數學、計算機為三大支撐性學科;生物、醫學、環境科學、經濟學、社會學、管理學為應用拓展性學科。
④ 大數據專業主要學什麼
大數據專業
全稱:數據科學與大數據技術,強調交叉學科特點,以大數據分析為核心,以統計學、計算機科學和數學為三大基礎支撐性學科,培養面向多層次應用需求的復合型人才。
開設課程:
數學分析、高等代數、普通物理數學與信息科學概論、數據結構、數據科學導論、程序設計導論、程序設計實踐、離散數學、概率與統計、演算法分析與設計、數據計算智能、資料庫系統概論、計算機系統基礎、並行體系結構與編程、非結構化大數據分析等。