大數據在職如何進階

A. 從大數據入門，到達到一定水平，在學習路徑上有什麼建議

目前我們正處在大數據時代，掌握大數據相關技術對提高自己的職場競爭力一定是有幫助的。

大數據學習建議：

1、0基礎小白從Java語言開始學習

因為當前的大數據技術主要是用 Java 實現的或者是基於 Java 的，想入行大數據，Java基礎是必備的；

2、Java開發能力需要通過實際項目來鍛煉

在學習完Java語言之後，往往只是掌握了Java語言的基本操作，只有通過真正的項目鍛煉才能進一步提高Java開發能力。

3、大數據開發有明顯的場景要求

大數據開發是基於目前已有信息系統的升級改造，是一個系統的過程，包括平台的搭建、數據的存儲、服務的部署等都有較大的變化，要想真正理解大數據需要有一個積累的過程。對於初學者來說，應該先建立一個對開發場景的認知，這樣會更好的理解大數據平台的價值和作用。

4、從基礎開發開始做起

對於初級程序員來說，不管自己是否掌握大數據平台的開發知識，都是從基礎的開發開始做起，基於大數據平台開發環境。

從就業的角度來說，大數據開發是一個不錯的選擇。但我並不建議脫離實際應用來學習大數據，最好要結合實際的開發任務來一邊學習一邊使用。

B. 大數據學習路線是什麼

主要分為 7 個階段：入門知識 → Java 基礎 → Scala 基礎 → Hadoop 技術模塊 → Hadoop 項目實戰 → Spark 技術模塊 → 大數據項目實戰。

階段一：學習入門知識

這一部分主要針對的是新手，在學習之前需要先掌握基本的資料庫知識。MySQL 是一個 DBMS（資料庫管理系統），是最流行的關系型資料庫管理系統（關系資料庫，是建立在關系資料庫模型基礎上的資料庫，藉助於集合代數等概念和方法來處理資料庫中的數據）。

MongoDB 是 IT 行業非常流行的一種非關系型資料庫（NoSQL），其靈活的數據存儲方式備受當前 IT 從業人員的青睞。

而 Redis 是一個開源、支持網路、基於內存、鍵值對存儲資料庫。兩者都非常有必要了解。

1、Linux 基礎入門（新版）

2、Vim編輯器

3、Git 實戰教程

4、MySQL 基礎課程

5、MongoDB 基礎教程

6、Redis基礎教程

階段二：Java基礎

Java 是目前使用最為廣泛的編程語言，它具有的眾多特性，特別適合作為大數據應用的開發語言。

Java 語言具有功能強大和簡單易用兩個特徵，跨平台應用能力比 C、C++ 更易用，更容易上手。同時還具有簡單性、面向對象、分布式、健壯性、安全性、平台獨立與可移植性、多線程、動態性等特點。最重要的一點是 Hadoop 是用 Java 編寫的。

1、Java編程語言（新版）

2、Java進階之設計模式

3、J2SE核心開發實戰

4、JDK 核心 API

5、JDBC 入門教程

6、Java 8 新特性指南

階段三：Scala基礎

Scala 是一種多範式的編程語言，其設計的初衷是要集成面向對象編程和函數式編程的各種特性。由於 Scala 運行於 Java 平台（Java 虛擬機），並兼容現有的Java 程序，所以 Scala 可以和大數據相關的基於 JVM 的系統很好的集成。

1、Scala 開發教程

2、Scala 專題教程 - Case Class和模式匹配

3、Scala 專題教程 - 隱式變換和隱式參數

4、Scala 專題教程 - 抽象成員

5、Scala 專題教程 - Extractor

6、Scala 開發二十四點游戲

階段四：Hadoop技術模塊

Hadoop 是一款支持數據密集型分布式應用並以 Apache 2.0 許可協議發布的開源軟體框架，它能搭建大型數據倉庫，PB 級別數據的存儲、處理、分析、統計等業務。編程語言你可以選，但 Hadoop 一定是大數據必學內容。

1、Hadoop入門進階課程

2、Hadoop部署及管理

3、HBASE 教程

4、Hadoop 分布式文件系統--導入和導出數據

5、使用 Flume 收集數據

階段五：Hadoop項目實戰

當然，學完理論就要進行動手實戰了，Hadoop 項目實戰可以幫助加深對內容的理解，並鍛煉動手能力。

1、Hadoop 圖處理--《hadoop應用框架》

階段六：Spark技術模塊

Spark 和 Hadoop 都是大數據框架。Hadoop 提供了 Spark 所沒有的功能特性，比如分布式文件系統，而 Spark 為需要它的那些數據集提供了實時內存處理。所以學習 Spark 也非常必要。

1、Spark

2、x 快速入門教程

2、Spark 大數據動手實驗

3、Spark 基礎之 GraphX 圖計算框架學習

4、Spark 基礎之 DataFrame 基本概念學習

5、Spark 基礎之 DataFrame 高階應用技巧

6、Spark 基礎之 Streaming 快速上手

7、Spark 基礎之 SQL 快速上手

8、Spark 基礎之使用機器學習庫 MLlib

9、Spark 基礎之 SparkR 快速上手

10、流式實時日誌分析系統--《Spark 最佳實踐》

11、使用 Spark 和 D3.js 分析航班大數據

階段七：大數據項目實戰

最後階段提供了大數據實戰項目，這是對常用技能的系統運用，例如使用常用的機器學習進行建模、分析和運算，這是成為大數據工程師過程中的重要一步。

1、Ebay 在線拍賣數據分析

2、流式實時日誌分析系統--《Spark 最佳實踐》

3、大數據帶你挖掘打車的秘籍

4、Twitter數據情感分析

5、使用 Spark 進行流量日誌分析

6、Spark流式計算電商商品關注度

7、Spark的模式挖掘-FPGrowth演算法

(2)大數據在職如何進階擴展閱讀：

大數據技術的具體內容：

分布式存儲計算架構（強烈推薦：Hadoop）

分布式程序設計（包含：Apache Pig或者Hive）

分布式文件系統（比如：Google GFS）

多種存儲模型，主要包含文檔，圖，鍵值，時間序列這幾種存儲模型（比如：BigTable，Apollo，DynamoDB等）

數據收集架構（比如：Kinesis，Kafla）

集成開發環境（比如：R-Studio）

程序開發輔助工具（比如：大量的第三方開發輔助工具）

調度協調架構工具（比如：Apache Aurora）

機器學習（常用的有Apache Mahout 或 H2O）

託管管理（比如：Apache Hadoop Benchmarking）

安全管理（常用的有Gateway）

大數據系統部署（可以看下Apache Ambari）

搜索引擎架構（學習或者企業都建議使用Lucene搜索引擎）

多種資料庫的演變（MySQL/Memcached）

商業智能（大力推薦：Jaspersoft）

數據可視化（這個工具就很多了，可以根據實際需要來選擇）

大數據處理演算法（10大經典演算法）

C. 本科生 想從事大數據 人工智慧方向 如何規劃大學生涯

從數據分析方向的進階路徑從基礎學起，數據思維、回歸分析、描述統計與可視化、機器學習精要，這些知識理論宏含由易到難，必須要扎實；數據開發方向的進階路徑，Linux、Java、Scala、Python、機器學習基礎，同時也需要進行實踐，在解決真正的問題上漲知識。

大數據具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。是所涉及的資料量規模巨大到無法透過主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。

大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換而言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。

從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構答絕鍵。它的特清巧色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。

D. 想要學習大數據，應該怎麼入門

記住學到這里可以作為你學大數據的一個節點。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

E. 如何才能成為一個數據分析師

數據分析師職位要求 ：
1、計算機、統計學、數學等相關專業本科及以上學歷；
2、具有深厚的統計學、數據挖掘知識，熟悉數據倉庫和數據挖掘的相關技術，能夠熟練地使用SQL；
3、三年以上具有海量數據挖掘、分析相關項目實施的工作經驗，參與過較完整的數據採集、整理、分析和建模工作；
4、對商業和業務邏輯敏感，熟悉傳統行業數據挖掘背景、了解市場特點及用戶需求，有互聯網相關行業背景，有網站用戶行為研究和文本挖掘經驗尤佳；
5、具備良好的邏輯分析能力、組織溝通能力和團隊精神；
6、富有創新精神，充滿激情，樂於接受挑戰。
1、態度嚴謹負責
嚴謹負責是數據分析師的必備素質之一，只有本著嚴謹負責的態度，才能保證數據的客觀、准確。在企業里，數據分析師可以說是企業的醫生，他們通過對企業運營數據的分析，為企業尋找症結及問題。一名合格的數據分析師，應具有嚴謹、負責的態度，保持中立立場，客觀評價企業發展過程中存在的問題，為決策層提供有效的參考依據；不應受其他因素影響而更改數據，隱瞞企業存在的問題，這樣做對企業發展是非常不利的，甚至會造成嚴重的後果。而且，對數據分析師自身來說，也是前途盡毀，從此以後所做的數據分析結果都將受到質疑，因為你已經不再是可信賴的人，在同事、領導、客戶面前已經失去了信任。所以，作為一名數據分析師就必須持有嚴謹負責的態度，這也是最基本的職業道德。

2、好奇心強烈
好奇心人皆有之，但是作為數據分析師，這份好奇心就應該更強烈，要積極主動地發現和挖掘隱藏在數據內部的真相。在數據分析師的腦子里，應該充滿著無數個「為什麼」，為什麼是這樣的結果，為什麼不是那樣的結果，導致這個結果的原因是什麼，為什麼結果不是預期的那樣等等。這一系列問題都要在進行數據分析時提出來，並且通過數據分析，給自己一個滿意的答案。越是優秀的數據分析師，好奇心也越不容易滿足，回答了一個問題，又會拋出一個新的問題，繼續研究下去。只有擁有了這樣一種刨根問底的精神，才會對數據和結論保持敏感，繼而順藤摸瓜，找出數據背後的真相。

3、邏輯思維清晰
除了一顆探索真相的好奇心，數據分析師還需要具備縝密的思維和清晰的邏輯推理能力。我記得有位大師說過：結構為王。何謂結構，結構就是我們常說的邏輯，不論說話還是寫文章，都要有條理，有目的，不可眉毛鬍子一把抓，不分主次。
通常從事數據分析時所面對的商業問題都是較為復雜的，我們要考慮錯綜復雜的成因，分析所面對的各種復雜的環境因素，並在若干發展可能性中選擇一個最優的方向。這就需要我們對事實有足夠的了解，同時也需要我們能真正理清問題的整體以及局部的結構，在深度思考後，理清結構中相互的邏輯關系，只有這樣才能真正客觀地、科學地找到商業問題的答案。

4、擅長模仿
在做數據分析時，有自己的想法固然重要，但是「前車之鑒」也是非常有必要學習的，它能幫助數據分析師迅速地成長，因此，模仿是快速提高學習成果的有效方法。這里說的模仿主要是參考他人優秀的分析思路和方法，而並不是說直接「照搬」。成功的模仿需要領會他人方法精髓，理解其分析原理，透過表面達到實質。萬變不離其宗，要善於將這些精華轉化為自己的知識，否則，只能是「一直在模仿，從未超越過」。

5、勇於創新
通過模仿可以借鑒他人的成功經驗，但模仿的時間不宜太長，並且建議每次模仿後都要進行總結，提出可以改進的地方，甚至要有所創新。創新是一個優秀數據分析師應具備的精神，只有不斷的創新，才能提高自己的分析水平，使自己站在更高的角度來分析問題，為整個研究領域乃至社會帶來更多的價值。現在的分析方法和研究課題千變萬化，墨守成規是無法很好地解決所面臨的新問題的。

F. 如何從小白進階為數據科學家

1、復習你的數學和統計技能

一個好的數據科學家必須能夠理解數據告訴你的內容，做到這一點，你必須有扎實的基本線性代數，對演算法和統計技能的理解。在某些特定場合可能需要高等數學，但這是一個好的開始場合。

2、了解機器學習的概念

機器學習是下一個新興詞，卻和大數據有著千絲萬縷的聯系。機器學習使用人工智慧演算法將數據轉化為價值，並且無需顯式編程。

3、學習代碼

數據科學家必須知道如何調整代碼，以便告訴計算機如何分析數據。從一個開放源碼的語言如Python那裡開始吧。

4、了解資料庫、數據池及分布式存儲

數據存儲在資料庫、數據池或整個分布式網路中。以及如何建設這些數據的存儲庫取決於你如何訪問、使用、並分析這些數據。如果當你建設你的數據存儲時沒有整體架構或者超前規劃，那後續對你的影響將十分深遠。

5、學習數據修改和數據清洗技術

數據修改是將原始數據到另一種更容易訪問和分析的格式。數據清理有助於消除重復和“壞”數據。兩者都是數據科學家工具箱中的必備工具。

6、了解良好的數據可視化和報告的基本知識

你不必成為一個平面設計師，但你確實需要深諳如何創建數據報告，便於外行的人比如你的經理或CEO可以理解。

7、添加更多的工具到您的工具箱

一旦你掌握了以上技巧，是時候擴大你的數據科學工具箱了，包括Hadoop、R語言和Spark。這些工具的使用經驗和知識將讓你處於大量數據科學求職者之上。

8、練習

在你在新的領域有一個工作之前，你如何練習成為數據科學家?使用開源代碼開發一個你喜歡的項目、參加比賽、成為網路工作數據科學家、參加訓練營、志願者或實習生。最好的數據科學家在數據領域將擁有經驗和直覺，能夠展示自己的作品，以成為應聘者。

9、成為社區的一員

跟著同行業中的思想領袖，閱讀行業博客和網站，參與，提出問題，並隨時了解時事新聞和理論。

關於如何從小白進階為數據科學家，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

以上是小編為大家分享的關於如何從小白進階為數據科學家?的相關內容，更多信息可以關注環球青藤分享更多干貨

G. 大數據的就業方向

大數據的擇業崗位有：

1、大數據開發方向; 所涉及的職業崗位為：大數據工程師、大數據維護工程師、大數據研發工程師、大數據架構師等;

2、數據挖掘、數據分析和機器學習方向; 所涉及的職業崗位為：大數據分析師、大數據高級工程師、大數據分析師專家、大數據挖掘師、大數據演算法師等;

3、大數據運維和雲計算方向;對應崗位：大數據運維工程師。

大數據學習內容主要有：

①JavaSE核心技術；

②Hadoop平台核心技術、Hive開發、HBase開發；

③Spark相關技術、Scala基本編程；

④掌握Python基本使用、核心庫的使用、Python爬蟲、簡單數據分析；理解Python機器學習；

⑤大數據項目開發實戰，大數據系統管理優化等。

想要系統學習，你可以考察對比一下開設有IT專業的熱門學校，好的學校擁有根據當下企業需求自主研發課程的能，南京北大青鳥、中博軟體學院、南京課工場等都是不錯的選擇，建議實地考察對比一下。

祝你學有所成，望採納。

H. 大數據工程師如何進階人工智慧

數學基礎

機器學習有時候也被稱為統計學習，其實就是統計大量歷史數據中的規律，構建演算法模型，再利用模型對現在的數據進行分類和預測。所以學習機器學習演算法，先要復習一下統計學和概率論方面的知識。

機器學習演算法

系統學習機器學習演算法最好的入門級課程是斯坦福大學的機器學習公開課，這門課程由吳恩達講授，非常經典。還有幾本比較經典的書籍可以和公開課相互參照，比如周志華的《機器學習》，俗稱“西瓜書”，比較通俗易懂，適合入門;李航的《統計學習方法》，偏數學一些，可以不時翻看。

大數據技術與機器學習框架

在小規模的數據集上做演算法練習，用Python程序在單機上運行就可以了，但是在真正的生產環境中，需要面對海量的數據處理計算需求，這就需要用到各種大數據技術產品。各種主流大數據產品都有自己的機器學習框架與演算法庫，比如Hadoop上有Mahout、Spark上有MLlib，藉助這些演算法庫和工具，可以較快速地在大數據平台上開發機器學習應用程序。

人工智慧應用

人工智慧距離達到“實用”的地步還有一段距離，大家如果留意會發現關於人工智慧類的產品新聞等都是說幾年內會取得成就、進行投入等，在現實當中，有投入的人工智慧產品么?當然有，不過都是一些弱人工智慧，其智能程度並不高。業界其實不缺懂演算法的專家，但是卻非常短缺能夠將機器學習和業務結合，產生實際價值的專家。

關於大數據工程師如何進階人工智慧，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

以上是小編為大家分享的關於大數據工程師如何進階人工智慧?的相關內容，更多信息可以關注環球青藤分享更多干貨

I. 大數據行業現在很有前景啊，怎麼樣才能入行啊，求支招

一、整體了解數據分析——5小時
新人們被」大數據「、」人工智慧「、」21世紀是數據分析師的時代「等等信息吸引過來，立志成為一名數據分析師，於是問題來了，數據分析到底是干什麼的?數據分析都包含什麼內容?
市面上有很多講數據分析內容的書籍，在此我推薦《深入淺出數據分析》，此書對有基礎人士可稱消遣讀物， 但對新人們還是有一定的作用。閱讀時可不求甚解，重點了解數據分析的流程、應用場景、以及書中提到的若干數據分析工具，無需糾結分析模型的實現。5個小時，足夠你對數據分析工作建立初步的印象，消除陌生感。
二、了解統計學知識——10小時
15個小時只夠你了解一下統計學知識，作為入門足夠，但你要知道，今後隨著工作內容的深入，需要學習更多的統計知識。
本階段推薦書籍有二：《深入淺出統計學》《統計學：從數據到結論》，要了解常用數理統計模型(描述統計指標、聚類、磨宏慶決策樹、貝葉斯分類、回歸等)，重點放在學習模型的工作原理、輸入內容和輸出內容，至於具體的數學推導，學不會可暫放一邊，需要用的時候再回來看。
三、學習初級工具——20小時
對於非技術類數據分析人員，初級工具只推薦一個：EXCEL。推薦書籍為《誰說菜鳥不會數據分析》，基礎篇必須學習，提高篇不一定學(可用其他EXCEL進階書籍)，也可以學習網上的各種公開課。
本階段重點要學習的是EXCEL中級功能使用(數據透視表，函數，各類圖表適用場景及如何製作)，如有餘力可學習VBA。
四、提升PPT能力——10小時
作為數據分析人員，PPT製作能力是極其重要的一項能力，因此需要花一點時間來了解如何做重點突出，信息明確的PPT，以及如何把各類圖表插入到PPT中而又便於更新數據。10個小時並不算多，但已經足夠(你從來沒做過PPT的話，需要再增加一些時間)。具體書籍和課程就不推薦了，網上一抓一大把，請自行搜索。
五、了解資料庫和編程語言——10小時
這個階段有兩個目標：學習基礎的資料庫和編程知識以提升你將絕判來的工作效率，以及測試一下你適合學習哪一種高級數據分析工具。對於前者，資料庫建議學MySQL(雖然Hadoop很有用但你不是技術職位，初期用不到)，編程語言建議學Python(繼續安利《深入淺出Python》，我真沒收他們錢……)。資料庫學到聯合查詢就好，性能優化、備份那些內容用不到;Python則是能學多少學多少。
六、學習高級工具——10小時
雖然EXCEL可以解決70%以上的問題，但剩下30%還是需要高級工具來做(不信用EXCEL做個聚類)。高級分析工具有兩個選擇：SPSS和R。雖然R有各種各樣的好處，但我給的建議是根據你在上一步中的學習感覺來定學哪一個瞎握工具，要是學編程語言學的很痛苦，就學SPSS，要是學的很快樂，就學R。不管用哪一種工具，都要把你學統計學時候學會的重點模型跑一遍，學會建立模型和小幅優化模型即可。