轉大數據需要什麼條件

❶ 做了這么多年Java開發，如何快速轉行大數據

一、學習大數據是需要學習java和linux的

二、你有多年的java開發經驗，那麼可以直接跳過java課程部分，學習大數據技術！

三、分享一份大數據技術課程大綱供你了解參考

❷ 想轉行到大數據開發需要學習哪些技術

如果要學習大數據，不管你是零基礎，還是有一定的基礎，都是要懂至少一種計算機編程語言，因為大數據的開發離不開編程語言，不僅要懂，還要精通！但這門編程語言不一定是java。

比如說，如果你主攻Hadoop開發方向，是一定要學習java的，因為Hadoop是由java來開發的。

如果你想要主攻spark方向，是要學習Scala語言的，每個方向要求的編程語言是不同的。

如果你是想要走數據分析方向，那你就要從python編程語言下手，這個也是看自己未來的需求的。

大數據是需要一定的編程基礎的，但具體學習哪一門編程，自己可以選擇的。其實只要學會了一門編程語言，其他編程語言也是不在話下的。

❸ 從事大數據分析相關工作，需要具備什麼條件

1.你需要有應用數學、統計學、數量經濟學專業本科或者工學碩士層次水平的數學知識背景。
2、至少熟練SPSS、STATISTIC、Eviews、SAS等數據分析軟體中的一門。
3、至少能夠用Acess等進行資料庫開發；
4、至少掌握一門數學軟體：matalab，mathmatics進行新模型的構建。
5、至少掌握一門編程語言，如Python；
6、資料庫語言
1）熟悉Linux操作系統及至少一種腳本語言(Shell/Perl/Python)；
2）有分布式平台（如Hadoop）開發經驗者優先；
3）熟悉資料庫原理及SQL基本操作。

❹ 如何轉型成為大數據工程師 需要具備哪些條件

大數據是眼下非常時髦的技術名詞，與此同時自然也催生出了一些與大數據處理相關的職業，通過對數據的挖掘分析來影響企業的商業決策。
這群人在國外被叫做數據科學家(Data Scientist)，這個頭銜最早由D.J.Pati和Jeff Hammerbacher於2008年提出，他們後來分別成為了領英(LinkedIn)和Facebook數據科學團隊的負責人。而數據科學家這個職位目前也已經在美國傳統的電信、零售、金融、製造、物流、醫療、教育等行業里開始創造價值。
不過在國內，作為大數據人才培養基地，能更加清楚地了解現今的大數據行業情況，認為大數據的應用才剛剛萌芽，人才市場還不那麼成熟，「你很難期望有一個全才來完成整個鏈條上的所有環節。更多公司會根據自己已有的資源和短板，招聘能和現有團隊互補的人才。」領英(LinkedIn)中國商務分析及戰略總監王昱堯對《第一財經周刊》說。
數據工程師是做什麼的?
於是每家公司對大數據工作的要求不盡相同：有的強調資料庫編程、有的突出應用數學和統計學知識、有的則要求有咨詢公司或投行相關的經驗、有些是希望能找到懂得產品和市場的應用型人才。正因為如此，很多公司會針對自己的業務類型和團隊分工，給這群與大數據打交道的人一些新的頭銜和定義：數據挖掘工程師、大數據專家、數據研究員、用戶分析專家等都是經常在國內公司里出現的Title，我們將其統稱為「大數據工程師」。
由於國內的大數據工作還處在一個有待開發的階段，因此能從其中挖掘出多少價值完全取決於工程師的個人能力。已經身處這個行業的專家給出了一些人才需求的大體框架，包括要有計算機編碼能力、數學及統計學相關背景，當然如果能對一些特定領域或行業有比較深入的了解，對於其快速判斷並抓准關鍵因素則更有幫助。
雖然對於一些大公司來說，擁有碩博學歷的公司人是比較好的選擇，不過阿里巴巴集團研究員薛貴榮強調，學歷並不是最主要的因素，能有大規模處理數據的經驗並且有喜歡在數據海洋中尋寶的好奇心會更適合這個工作。
除此之外，一個優秀的大數據工程師要具備一定的邏輯分析能力，並能迅速定位某個商業問題的關鍵屬性和決定因素。「他得知道什麼是相關的，哪個是重要的，使用什麼樣的數據是最有價值的，如何快速找到每個業務最核心的需求。」聯合國網路大數據聯合實驗室數據科學家沈志勇說。學習能力能幫助大數據工程師快速適應不同的項目，並在短時間內成為這個領域的數據專家;溝通能力則能讓他們的工作開展地更順利，因為大數據工程師的工作主要分為兩種方式：由市場部驅動和由數據分析部門驅動，前者需要常常向產品經理了解開發需求，後者則需要找運營部了解數據模型實際轉化的情況。
你可以將以上這些要求看做是成為大數據工程師的努力方向，這是一個很大的人才缺口。目前國內的大數據應用多集中在互聯網領域，有超過56%的企業在籌備發展大數據研究，
因此分析歷史、預測未來、優化選擇，這是大數據工程師在「玩數據」時最重要的三大任務。通過這三個工作方向，他們幫助企業做出更好的商業決策。
1.找出過去事件的特徵
大數據工程師一個很重要的工作，就是通過分析數據來找出過去事件的特徵。比如，騰訊的數據團隊正在搭建一個數據倉庫，把公司所有網路平台上數量龐大、不規整的數據信息進行梳理，總結出可供查詢的特徵，來支持公司各類業務對數據的需求，包括廣告投放、游戲開發、社交網路等。
找出過去事件的特徵，最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡，就能夠了解這個人，並預測他的行為。「你可以知道他是什麼樣的人、他的年紀、興趣愛好，是不是互聯網付費用戶、喜歡玩什麼類型的游戲，平常喜歡在網上做什麼事情。」騰訊雲計算有限公司北京研發中心總經理鄭立峰對《第一財經周刊》說。下一步到了業務層面，就可以針對各類人群推薦相關服務，比如手游，或是基於不同特徵和需求衍生出新的業務模式，比如微信的電影票業務。
2.預測未來可能發生的事情
通過引入關鍵因素，大數據工程師可以預測未來的消費趨勢。在阿里媽媽的營銷平台上，工程師正試圖通過引入氣象數據來幫助淘寶賣家做生意。「比如今年夏天不熱，很可能某些產品就沒有去年暢銷，除了空調、電扇，背心、游泳衣等都可能會受其影響。那麼我們就會建立氣象數據和銷售數據之間的關系，找到與之相關的品類，提前警示賣家周轉庫存。」薛貴榮說。
以網路景點預測為例，大數據工程師需要收集所有可能影響一段時間內景點人流量的關鍵因素進行預測，並為全國各個景點未來的擁擠度分級—在接下來的若干天時間里，它究竟是暢通、擁擠，還是一般擁擠?
3.找出最優化的結果
根據不同企業的業務性質，大數據工程師可以通過數據分析來達到不同的目的。
在過去，決策者只能依據經驗進行判斷，但如今大數據工程師可以通過大范圍地實時測試—比如，在社交網路產品的例子中，讓一半用戶看到A界面，另一半使用B界面，觀察統計一段時間內的點擊率和轉化率，以此幫助市場部做出最終選擇。
作為電商的阿里巴巴，則希望通過大數據鎖定精準的人群，幫助賣家做更好的營銷。一個淘寶的實例是，某人參賣家原來推廣的目標人群是產婦，但工程師通過挖掘數據之間的關聯性後發現，針對孕婦群體投放的營銷轉化率更高。
需要具備的能力
1.數學及統計學相關的背景
就我們采訪過的BAT三家互聯網大公司來說，對於大數據工程師的要求都是希望是統計學和數學背景的碩士或博士學歷。缺乏理論背景的數據工作者，更容易進入一個技能上的危險區域(Danger Zone)—一堆數字，按照不同的數據模型和演算法總能捯飭出一些結果來，但如果你不知道那代表什麼，就並不是真正有意義的結果，並且那樣的結果還容易誤導你。「只有具備一定的理論知識，才能理解模型、復用模型甚至創新模型，來解決實際問題。」沈志勇說。
2.計算機編碼能力
實際開發能力和大規模的數據處理能力是作為大數據工程師的一些必備要素。
舉例來說，現在人們在社交網路上所產生的許多記錄都是非結構化的數據，如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就需要大數據工程師親自挖掘。即使在某些團隊中，大數據工程師的職責以商業分析為主，但也要熟悉計算機處理大數據的方式。
3.對特定應用領域或行業的知識
大數據工程師這個角色很重要的一點是，不能脫離市場，因為大數據只有和特定領域的應用結合起來才能產生價值。所以，在某個或多個垂直行業的經歷能為應聘者積累對行業的認知，對於之後成為大數據工程師有很大幫助，因此這也是應聘這個崗位時較有說服力的加分項。
職業發展
1.如何成為
由於目前大數據人才匱乏，對於公司來說，很難招聘到合適的人才—既要有高學歷，同時最好還有大規模數據處理經驗。因此很多企業會通過內部挖掘。
2014年8月，阿里巴巴舉辦了一個大數據競賽，把天貓平台上的數據拿出來，去除敏感問題後，放到雲計算平台上交予7000多支隊伍進行比賽，比賽分為內部賽和外部賽。「通過這個方式來激勵內部員工，同時也發現外部人才，讓各行業的大數據工程師涌現出來。」
目前長期從事資料庫管理、挖掘、編程工作的人，包括傳統的量化分析師、Hadoop方面的工程師，以及任何在工作中需要通過數據來進行判斷決策的管理者，比如某些領域的運營經理等，都可以嘗試該職位，而各個領域的達人只要學會運用數據，也可以成為大數據工程師。
2.薪酬待遇
作為IT類職業中的「大熊貓」，大數據工程師的收入待遇可以說達到了同類的頂級，國內IT、通訊、行業招聘中，有10%都是和大數據相關的，且比例還在上升。顏莉萍(Nicole Yan)表示，「大數據時代的到來很突然，在國內發展勢頭激進，而人才卻非常有限，現在完全是供不應求的狀況。」在美國，大數據工程師平均每年薪酬高達17.5萬美元，而據了解，在國內頂尖互聯網類公司，同一個級別大數據工程師的薪酬可能要比其他職位高20%至30%，且頗受企業重視。
3.職業發展路徑
由於大數據人才數量較少，因此大多數公司的數據部門一般都是扁平化的層級模式，大致分為數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊，而在小公司則需要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。另一方面，大數據工程師對商業和產品的理解，並不亞於業務部門員工，因此也可轉向產品部或市場部，乃至上升為公司的高級管理層。

❺ 想去學習大數據都需要有什麼條件啊

大數據現已成為年代開展的趨勢，很多人紛紛挑選學習大數據，想要進入大數據職業。大數據技術體系巨大，包含的常識較多，體系的學習大數據能夠讓你全面把握大數據技術。學習大數據需求把握哪些常識？

1、學習大數據首先要學習Java根底

怎樣進行大數據學習的快速入門？學大數據課程之前要先學習一種核算機編程言語。Java是大數據學習需求的編程言語根底，由於大數據的開發根據常用的高檔言語。而且不論是學習hadoop，仍是數據發掘，都需求有編程言語作為根底。因而，假如想學習大數據開發，把握Java根底是必不可少的。

2、學習大數據必須學習大數據中心常識

Hadoop生態體系；HDFS技術；HBASE技術；Sqoop運用流程；數據倉庫東西HIVE；大數據離線剖析Spark、Python言語；數據實時剖析Storm；音訊訂閱分發體系Kafka等。

假如把大數據比作容器，那麼這個容器的容量無限大，什麼都能往裡裝，大數據離不開物聯網，移動互聯網，大數據還和人工智慧、雲核算和機器學習有著千絲萬縷的聯系，大數據海量數據存儲要高擴展就離不開雲核算，大數據核算剖析採用傳統的機器學習、數據發掘技術會比較慢，需求做並行核算和分布式核算擴展。
3、學習大數據需求具有的能力

數學常識，數學常識是數據剖析師的根底常識。關於數據剖析師，了解一些描述計算相關的內容，需求有必定公式核算能力，了解常用計算模型演算法。而關於數據發掘工程師來說，各類演算法也需求嫻熟運用，對數學的要求是最高的。

編程言語，關於想學大數據的同學，至少需求具有一門編程言語，比方SQL、hadoop、hive查詢、Python等均可。

4、學習大數據能夠使用的領域

大數據技術能夠使用在各個領域，比方公安大數據、交通大數據、醫療大數據、工作大數據、環境大數據、圖像大數據、視頻大數據等等，使用規模十分廣泛，大數據技術現已像空氣相同浸透在日子的方方面面。大數據技術的出現將社會帶入了一個高速開展的年代，這不僅是信息技術的終極目標，也是人類社會開展辦理智能化的中心技術驅動力。

❻ 怎麼才能轉行大數據工程

1、大數據分析工程師主要的工作內容是進行大數據分析和呈現，大數據分析目前有兩種主要方式，分別是統計學方式和機器學習方式，所以要想從事大數據分析工程師崗位，需要具有扎實的數學基礎和程序設計基礎。不少數學專業和統計學專業的職場人，可以考慮轉型大數據分析工程師崗位，目前該崗位的人才需求量還是比較大的。
2、大數據開發工程師主要完成兩方面任務，其一是進行大數據平台開發，其二是進行大數據應用開發。在當前大數據技術體系逐漸成熟的情況下，大數據應用開發的崗位需求量會更大一些，相對於大數據平台開發來說，大數據應用開發更注重與應用場景的結合。對於廣大程序員(Java程序員、Python程序員)來說，轉向大數據開發工程師崗位會更容易一些。

❼ 大數據發展必備三個條件

大數據發展必備三個條件
大數據概念的橫空出世，有賴於短短幾年出現的海量數據。據統計，互聯網上的數據每兩年翻一番，而目前世界上90%以上的數據都是最近幾年才產生的。當然，海量數據僅僅是「大數據」概念的一部分，只有具備4個「V」的特徵，大數據的定義才算完整，而價值恰恰是決定大數據未來走向的關鍵。
大數據發展必備三個條件
大數據的發展需要三個必要條件：數據源、數據交易、數據產生價值的過程。近年來，社交網路的興起、物聯網的發展和移動互聯網的普及，誕生了大量有價值的數據源，奠定了大數據發展的基礎。大數據時代到來的重要標志，則是大批專業級「數據買賣商」的出現，以及圍繞數據交易形成的，貫穿於收集、整理、分析、應用整個流程的產業鏈條。大數據發展的核心，則是使用戶從海量的非結構化數據和半結構化數據中獲得了新的價值，數據價值是帶動數據交易的原動力。
IBM、甲骨文、SAP近年紛紛斥巨資收購數據管理和分析公司，在這些互聯網巨頭的帶動下，數據分析技術日漸成熟。2013年6月，愛德華·斯諾登將「棱鏡計劃」公之於眾，「棱鏡門」事件一方面說明大數據技術已經成熟;另一方面也佐證了現在阻礙大數據發展的不是技術，而是數據交易和數據價值。
大數據技術的發展促進了雲計算的落地，雲計算的部署完成又反過來加大了市場對數據創造價值的期待。大數據概念提出之後，市場終於看到了雲計算的獲利方向：各地的一級系統集成商與當地政府合作，建雲數據中心;各大行業巨頭在搭建各自行業的雲平台;IT巨頭想盡辦法申請中國的公有雲牌照。大數據促成了雲計算從概念到落地。藉助於智慧城市概念的普及，雲計算基礎設施已基本准備就緒，一方面完成了大數據應用的硬體基礎;另一方面迫於回收雲計算投資的壓力，市場急需應用部署，大數據恰如雪中送炭，被市場寄予厚望。
現在，問題的核心指向了「數據如何創造價值?」
整合與開放是基石
大數據服務創業公司Connotate對800多名商業和IT主管進行了調查。結果顯示，60%受調查者稱：「目前就說這些大數據投資項目肯定能夠帶來良好回報尚為時過早。」之所以如此，是由於當前大數據缺乏必需的開放性：數據掌握在不同的部門和企業手中，而這些部門和企業並不願意分享數據。大數據是通過研究數據的相關性來發現客觀規律，這依賴於數據的真實性和廣泛性，數據如何做到共享和開放，這是當前大數據發展的軟肋和需要解決的大問題。
2012年美國大選，奧巴馬因數據整合而受益。在奧巴馬的競選團隊中有一個神秘的數據挖掘團隊，他們通過對海量數據進行挖掘幫助奧巴馬籌集到10億美元資金;他們通過數據挖掘使競選廣告投放效率提升了14%;他們通過製作「搖擺州」選民的詳細模型，每晚實施6.6萬次模擬選舉，推算奧巴馬在「搖擺州」的勝率，並以此來指導資源分配。奧巴馬競選團隊相比羅姆尼競選團隊最有優勢的地方：對大數據的整合。奧巴馬的數據挖掘團隊也意識到這個全世界共同的問題：數據分散在過多的資料庫中。因此，在前18個月，奧巴馬競選團隊就創建了一個單一的龐大數據系統，可以將來自民意調查者、捐資者、現場工作人員、消費者資料庫、社交媒體，以及「搖擺州」主要的民主黨投票人的信息整合在一起，不僅能告訴競選團隊如何發現選民並獲得他們的注意，還幫助數據處理團隊預測哪些類型的人有可能被某種特定的事情所說服。正如競選總指揮吉姆·梅西納所說，在整個競選活中，沒有數據做支撐的假設很少存在。
2012年3月，美國奧巴馬政府宣布投資2億美元啟動「大數據研究和發展計劃」，將「大數據研究」上升為國家意志。一個國家擁有數據的規模和運用數據的能力將成為綜合國力的重要組成部分。國內智慧城市建設目標之一就是實現數據的集中共享。
合作共贏的商業模式
隨著雲計算、大數據技術和相關商業環境的不斷成熟，越來越多的「軟體開發者」正在利用跨行業的大數據平台，打造創新價值的大數據應用，而且這一門檻正在不斷降低。因為首先，數據擁有者能夠以微乎其微的成本獲取額外的收入，提高利潤水平;其次，大數據設備廠商需要應用來吸引消費者購買設備，發展合作共贏的夥伴關系勢必比單純銷售設備要有利可圖，一些具有遠見的廠商已經開始通過提供資金、技術支持、入股等方式來扶持這些「軟體開發者」;第三，行業細分市場的數據分析應用需求在不斷加大，對於整個大數據產業鏈來說，創新型的行業數據應用開發者必將是未來整個大數據產業鏈中最為活躍的部分。
未來，有三種企業將在」大數據產業鏈「中處於重要地位：掌握海量有效數據的企業，有著強大數據分析能力的企業，以及創新的「軟體開發者」。社交網路、移動互聯網、信息化企業、電信運營商都是海量數據的製造者，Facebook公司手中掌握著8.5億用戶，淘寶注冊用戶超過3.7億，騰訊的微信用戶突破3億，這些龐大用戶群所提供的數據，正在等待時機釋放出巨大商業能量。可以預測，在不久的將來，Facebook、騰訊、電信運營商等海量數據持有者或者自我延伸成為數據分析提供商，或者與IBM、ZTE等企業密切對接成為上下游合作企業，大數據產業鏈將在某個爆發時點到來之際，以令人驚訝的速度成長壯大。
警惕大數據的危害
大數據時代，傳統的隨機抽樣被「所有數據的匯攏」所取代，人們的思維決斷模式，已可直接根據「是什麼」來下結論，由於這樣的結論剔除了個人情緒、心理動機、抽樣精確性等因素的干擾，因此將更精確、更有預見性。不過，由於大數據過於依靠數據的匯集，一旦數據本身有問題，就很可能出現「災難性大數據」，即因為數據本身的問題，而導致錯誤的預測和決策。
大數據的理論是「在稻草堆里找一根針」，而如果「所有稻草看上去都挺像那根針」呢?過多但無法辨析真偽和價值的信息和過少的信息一樣，對於需要作出瞬間判斷、一旦判斷出錯就很可能造成嚴重後果的情況而言，同樣是一種危害。「大數據」理論是建立在「海量數據都是事實」的基礎上，而如果數據提供者造假呢?這在大數據時代變得更有害，因為人們無法控制數據提供者和搜集者本人的偏見。擁有最完善資料庫、最先接受「大數據」理念的華爾街投行和歐美大評級機構，卻每每在重大問題上判斷出錯，這本身就揭示了「大數據」的局限性。
不僅如此，大數據時代造就了一個資料庫無所不在的世界，數據監管部門面臨前所未有的壓力和責任：如何避免數據泄露對國家利益、公眾利益、個人隱私造成傷害?如何避免信息不對等，對困難群體的利益構成傷害?在有效控制風險之前，也許還是讓「大數據」繼續待在籠子里更好一些。
大數據的經濟價值已經被人們認可，大數據的技術也已經逐漸成熟，一旦完成數據的整合和監管，大數據爆發的時代即將到來。我們現在要做的，就是選好自己的方向，為迎接大數據的到來，提前做好准備。