⑴ 數據分析師需要學習哪些技能
數據分析師需要學習很多的技能,也正是因為這樣,數據分析師的工資是十分樂觀的。在大數據的火熱發展中,數據分析師這個職業也越來越歡迎,很多人都想進入這個行業,這些人對於數據分析師需要學的東西都是比較關心的,而數據分析師需要學習的技能有很多,需要學習統計學、Excel、SQL、數據分析知識以及行業的知識等等。下面我們就詳細地給大家介紹一下這些知識。
首先我們說一說Excel。如果想成為數據師,那麼很有必要學會使用Excel這個工具。對於數據分析師來說,Excel是一個必備的技能,經過大量的實踐發現,Excel是一個比較靠譜的工具,如果用Excel分析數據,就能夠做好數據的分析,同時Excel操作也是比較簡單的,不是程序員也能夠正常的使用。現在有很多企業都在使用Excel這項工具進行去分析數據,所以,數據分析師必須要學會使用Excel。
然後我們說一說行業知識。對於數據分析師來說,業務的了解比數據方法論更重要。而且業務學習沒有捷徑,基本都靠不斷的思考與不斷的總結。這樣才能夠做好數據分析。
接著我們說一下SQL,其實現在很多人不知道sql是什麼,在這里給大家描述一下,sql是所有資料庫查詢的語言,當然,sql非常容易入手。而資料庫也是有很多的類型的,比如mysql、sqlserver、oracle等等,對於不同的資料庫,sql語法會有所不同,但是總體上大同小異,只是細微處的差別。如果大家有資料庫基礎的話,那麼只需要找些sql的題目做一做,這樣也能夠提到sql水平。
而數據分析思維是數據分析師需要注意的事情。如果作為一名數據分析師,需要很縝密的心思以及對數據很敏感的喜歡,這樣才能夠發現他人會遺漏的東西。有力這些還不夠,我們還需要有一個數據分析的思維,那麼怎麼有一個數據分析的思維呢?一般來說,需要梳理分析思路,並搭建分析框架,把分析目的分解成若干個不同的分析要點,即清楚如何具體開展數據分析,需要從哪幾個角度進行分析,採用哪些分析指標。同時,確保分析框架的體系化和邏輯性。
最後給大家介紹一下統計學。一名優秀的數據分析師還應該精通統計學,只有學會了統計學,才能夠進行數據分析,數據分析是通過大量的數據進行挑選出有用的數據,這樣才能夠做好正確的分析。統計學的統計知識能夠讓我們多了一種角度去看待數據,這樣能夠看出不同的情況,為數據分析中提供了參考價值。如果你想成為一名出色的數據分析師,那麼你就必須要會統計學。
通過上述的內容相信大家已經知道了數據分析師需要學會的技能了,大家在進行數據分析的時候多多注意上面內容的學習,這樣才能夠學好數據分析。最後祝願大家早日學成數據分析。
⑵ 如何轉型成為大數據工程師 需要具備哪些條件
大數據是眼下非常時髦的技術名詞,與此同時自然也催生出了一些與大數據處理相關的職業,通過對數據的挖掘分析來影響企業的商業決策。
這群人在國外被叫做數據科學家(Data Scientist),這個頭銜最早由D.J.Pati和Jeff Hammerbacher於2008年提出,他們後來分別成為了領英(LinkedIn)和Facebook數據科學團隊的負責人。而數據科學家這個職位目前也已經在美國傳統的電信、零售、金融、製造、物流、醫療、教育等行業里開始創造價值。
不過在國內,作為大數據人才培養基地,能更加清楚地了解現今的大數據行業情況,認為大數據的應用才剛剛萌芽,人才市場還不那麼成熟,「你很難期望有一個全才來完成整個鏈條上的所有環節。更多公司會根據自己已有的資源和短板,招聘能和現有團隊互補的人才。」領英(LinkedIn)中國商務分析及戰略總監王昱堯對《第一財經周刊》說。
數據工程師是做什麼的?
於是每家公司對大數據工作的要求不盡相同:有的強調資料庫編程、有的突出應用數學和統計學知識、有的則要求有咨詢公司或投行相關的經驗、有些是希望能找到懂得產品和市場的應用型人才。正因為如此,很多公司會針對自己的業務類型和團隊分工,給這群與大數據打交道的人一些新的頭銜和定義:數據挖掘工程師、大數據專家、數據研究員、用戶分析專家等都是經常在國內公司里出現的Title,我們將其統稱為「大數據工程師」。
由於國內的大數據工作還處在一個有待開發的階段,因此能從其中挖掘出多少價值完全取決於工程師的個人能力。已經身處這個行業的專家給出了一些人才需求的大體框架,包括要有計算機編碼能力、數學及統計學相關背景,當然如果能對一些特定領域或行業有比較深入的了解,對於其快速判斷並抓准關鍵因素則更有幫助。
雖然對於一些大公司來說,擁有碩博學歷的公司人是比較好的選擇,不過阿里巴巴集團研究員薛貴榮強調,學歷並不是最主要的因素,能有大規模處理數據的經驗並且有喜歡在數據海洋中尋寶的好奇心會更適合這個工作。
除此之外,一個優秀的大數據工程師要具備一定的邏輯分析能力,並能迅速定位某個商業問題的關鍵屬性和決定因素。「他得知道什麼是相關的,哪個是重要的,使用什麼樣的數據是最有價值的,如何快速找到每個業務最核心的需求。」聯合國網路大數據聯合實驗室數據科學家沈志勇說。學習能力能幫助大數據工程師快速適應不同的項目,並在短時間內成為這個領域的數據專家;溝通能力則能讓他們的工作開展地更順利,因為大數據工程師的工作主要分為兩種方式:由市場部驅動和由數據分析部門驅動,前者需要常常向產品經理了解開發需求,後者則需要找運營部了解數據模型實際轉化的情況。
你可以將以上這些要求看做是成為大數據工程師的努力方向,這是一個很大的人才缺口。目前國內的大數據應用多集中在互聯網領域,有超過56%的企業在籌備發展大數據研究,
因此分析歷史、預測未來、優化選擇,這是大數據工程師在「玩數據」時最重要的三大任務。通過這三個工作方向,他們幫助企業做出更好的商業決策。
1.找出過去事件的特徵
大數據工程師一個很重要的工作,就是通過分析數據來找出過去事件的特徵。比如,騰訊的數據團隊正在搭建一個數據倉庫,把公司所有網路平台上數量龐大、不規整的數據信息進行梳理,總結出可供查詢的特徵,來支持公司各類業務對數據的需求,包括廣告投放、游戲開發、社交網路等。
找出過去事件的特徵,最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡,就能夠了解這個人,並預測他的行為。「你可以知道他是什麼樣的人、他的年紀、興趣愛好,是不是互聯網付費用戶、喜歡玩什麼類型的游戲,平常喜歡在網上做什麼事情。」騰訊雲計算有限公司北京研發中心總經理鄭立峰對《第一財經周刊》說。下一步到了業務層面,就可以針對各類人群推薦相關服務,比如手游,或是基於不同特徵和需求衍生出新的業務模式,比如微信的電影票業務。
2.預測未來可能發生的事情
通過引入關鍵因素,大數據工程師可以預測未來的消費趨勢。在阿里媽媽的營銷平台上,工程師正試圖通過引入氣象數據來幫助淘寶賣家做生意。「比如今年夏天不熱,很可能某些產品就沒有去年暢銷,除了空調、電扇,背心、游泳衣等都可能會受其影響。那麼我們就會建立氣象數據和銷售數據之間的關系,找到與之相關的品類,提前警示賣家周轉庫存。」薛貴榮說。
以網路景點預測為例,大數據工程師需要收集所有可能影響一段時間內景點人流量的關鍵因素進行預測,並為全國各個景點未來的擁擠度分級—在接下來的若干天時間里,它究竟是暢通、擁擠,還是一般擁擠?
3.找出最優化的結果
根據不同企業的業務性質,大數據工程師可以通過數據分析來達到不同的目的。
在過去,決策者只能依據經驗進行判斷,但如今大數據工程師可以通過大范圍地實時測試—比如,在社交網路產品的例子中,讓一半用戶看到A界面,另一半使用B界面,觀察統計一段時間內的點擊率和轉化率,以此幫助市場部做出最終選擇。
作為電商的阿里巴巴,則希望通過大數據鎖定精準的人群,幫助賣家做更好的營銷。一個淘寶的實例是,某人參賣家原來推廣的目標人群是產婦,但工程師通過挖掘數據之間的關聯性後發現,針對孕婦群體投放的營銷轉化率更高。
需要具備的能力
1.數學及統計學相關的背景
就我們采訪過的BAT三家互聯網大公司來說,對於大數據工程師的要求都是希望是統計學和數學背景的碩士或博士學歷。缺乏理論背景的數據工作者,更容易進入一個技能上的危險區域(Danger Zone)—一堆數字,按照不同的數據模型和演算法總能捯飭出一些結果來,但如果你不知道那代表什麼,就並不是真正有意義的結果,並且那樣的結果還容易誤導你。「只有具備一定的理論知識,才能理解模型、復用模型甚至創新模型,來解決實際問題。」沈志勇說。
2.計算機編碼能力
實際開發能力和大規模的數據處理能力是作為大數據工程師的一些必備要素。
舉例來說,現在人們在社交網路上所產生的許多記錄都是非結構化的數據,如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就需要大數據工程師親自挖掘。即使在某些團隊中,大數據工程師的職責以商業分析為主,但也要熟悉計算機處理大數據的方式。
3.對特定應用領域或行業的知識
大數據工程師這個角色很重要的一點是,不能脫離市場,因為大數據只有和特定領域的應用結合起來才能產生價值。所以,在某個或多個垂直行業的經歷能為應聘者積累對行業的認知,對於之後成為大數據工程師有很大幫助,因此這也是應聘這個崗位時較有說服力的加分項。
職業發展
1.如何成為
由於目前大數據人才匱乏,對於公司來說,很難招聘到合適的人才—既要有高學歷,同時最好還有大規模數據處理經驗。因此很多企業會通過內部挖掘。
2014年8月,阿里巴巴舉辦了一個大數據競賽,把天貓平台上的數據拿出來,去除敏感問題後,放到雲計算平台上交予7000多支隊伍進行比賽,比賽分為內部賽和外部賽。「通過這個方式來激勵內部員工,同時也發現外部人才,讓各行業的大數據工程師涌現出來。」
目前長期從事資料庫管理、挖掘、編程工作的人,包括傳統的量化分析師、Hadoop方面的工程師,以及任何在工作中需要通過數據來進行判斷決策的管理者,比如某些領域的運營經理等,都可以嘗試該職位,而各個領域的達人只要學會運用數據,也可以成為大數據工程師。
2.薪酬待遇
作為IT類職業中的「大熊貓」,大數據工程師的收入待遇可以說達到了同類的頂級,國內IT、通訊、行業招聘中,有10%都是和大數據相關的,且比例還在上升。顏莉萍(Nicole Yan)表示,「大數據時代的到來很突然,在國內發展勢頭激進,而人才卻非常有限,現在完全是供不應求的狀況。」在美國,大數據工程師平均每年薪酬高達17.5萬美元,而據了解,在國內頂尖互聯網類公司,同一個級別大數據工程師的薪酬可能要比其他職位高20%至30%,且頗受企業重視。
3.職業發展路徑
由於大數據人才數量較少,因此大多數公司的數據部門一般都是扁平化的層級模式,大致分為數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊,而在小公司則需要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。另一方面,大數據工程師對商業和產品的理解,並不亞於業務部門員工,因此也可轉向產品部或市場部,乃至上升為公司的高級管理層。
⑶ 一份關於數據科學家應該具備的技能清單
一份關於數據科學家應該具備的技能清單
大數據時代,什麼職業比較吃香?答案可以從今年的校招薪資列表上知道——演算法工程師、人工智慧研究員、數據分析等職位。其實這幾個職位有一定的交集,那就是需要處理大量的數據,尤其是作為一名數據科學家,主要的工作在處理數據和分析數據上面,也有部分工作與演算法工程師和人工智慧研究員相重疊,其所佔的優勢在於對數據更加敏感。那麼作為一名數據科學家,應該具備的技能有哪些呢?本文將一窺究竟。
1.學歷
數據科學家一般都具有高學歷——88%的數據科學家至少是碩士學位,46%的數據科學家是博士學位,這表明想要成為一名數據科學家需要非常好的教育背景(知識了解深入)。常見的專業是計算機科學、社會科學、物理科學和統計學。最常見的研究領域是數學和統計(32%),其次是計算機科學(19%)和工程應用(16%)。在攻讀上述學位中學習到的專業知識都將為您提供處理和分析大數據所需的技能。
在取得學位後就可以高枕無憂了嗎?答案是否定的,現在是終生學習的時代。事實上,大多數數據科學家在擁有碩士學位或博士學位後,還不斷通過在線訓練以學習如何使用Hadoop或大數據查詢等特殊技能。
2.R編程語言
對於數據科學家而言,R語言通常是首選編程語言。R語言是專門為數據科學需求而設計的,可以使用R語言來解決在數據科學中遇到的任何問題。事實上,43%的數據科學家正在使用R語言來解決統計問題。
但是學習R語言時有一個障礙,那就是如果你已經掌握了一門其它編程語言,那學起來是很痛苦的。盡管如此,互聯網上有很多R語言學習資源,例如Simplilearn的數據科學訓練和R編程語言。
技術類技能:計算機科學
3.Python編程
Python語言近來很火,隨著人工智慧以及深度學習的發展,Python已經超越Java語言成為編程中最常用的語言。Python也是在數據科學中常見的編碼語言,據調查,40%的受訪者使用Python作為其主要編程語言。
由於Python的多功能性,可以將其用於所有涉及數據科學過程的步驟。比如,Python可以採用各種格式的數據,並且可以輕松地將SQL表導入到代碼中。此外,還允許創建數據集。
4.Hadoop平台
CrowdFlower對3490 名領英上注冊的數據科學家進行了一次調查,發現49%的數據科學家將Apache Hadoop列為第二項重要技能。
作為一名數據科學家,可能會遇到擁有的數據量超出了系統的內存,或者需要將數據發送到不同的伺服器的問題,這些問題都可以通過Hadoop解決——使用Hadoop對數據進行分布式處理。此外,還可以使用Hadoop進行數據挖掘、數據過濾、數據采樣和匯總。
5.SQL資料庫/編程
盡管NoSQL和Hadoop已經成為數據科學的一個重要組成部分,但有些人仍然可以在SQL中編寫和執行復雜的查詢。SQL(結構化查詢語言)是一種編程語言,可以執行諸如添加、刪除和從資料庫提取數據等操作,還可以執行分析功能並轉換資料庫結構。
作為一名數據科學家,需要精通SQL。這是因為SQL專門設計用於訪問、通信和處理數據。當使用它來查詢資料庫時,它會提供見解。此外,由於其簡潔的命令,可以節省時間並減少執行困難查詢時所需的編程量。
6.Apache Spark
Apache Spark正成為全球最受歡迎的大數據技術。它類似於Hadoop,是一個大數據計算框架。唯一的區別是Spark比Hadoop更快。這是因為Hadoop需要讀取和寫入磁碟,而Spark將其計算緩存在內存中,這類似於機械硬碟與SSD的區別。
Apache Spark專為數據科學而設計,能更快地運行復雜的演算法。當處理大量數據時,它有助於傳播數據處理,從而節省時間。此外,還能處理復雜的非結構化數據集。
Apache Spark的優勢在於其速度,利用該平台使得開展數據科學項目變得非常容易。藉助Apache Spark,可以執行從數據採集到分布式計算的分析。
7.機器學習和人工智慧
許多數據科學家並沒有精通機器學習領域相關知識和技術,比如神經網路、強化學習、對抗學習等。如果想從數據科學家中脫穎而出的話,需要了解機器學習技術,如監督學習、決策樹、邏輯回歸等,這些技術將幫助你解決基於已有的數據和結果來預測不同數據科學問題。
數據科學需要在機器學習的不同領域應用技能,Kaggle在其調查中發現,一小部分數據專業人員掌握了高級機器學習技能,如監督學習、無監督學習、時間序列、自然語言處理、異常檢測、計算機視覺、推薦引擎、生存分析、強化學習和對抗學習等。
8.數據可視化
大數據時代,數據很多很亂,有些原始數據需要翻譯成易於理解的格式。人們自然而然地以圖表的形式展示數據所要表達的意思,「一張圖片勝過千言萬語」。
作為一名數據科學家,必須能夠藉助數據可視化工具(如ggplot、d3.js和Matplottlib以及Tableau)來可視化數據,這些工具能將項目的復雜結果轉換為易於理解的格式。
數據可視化為組織提供了直接處理數據的機會,可以迅速掌握見解,幫助他們抓住新的商業機會並保持領先地位。
9.非結構化數據
數據科學家能夠處理非結構化數據至關重要,非結構化數據是不適合定義為資料庫的形式,比如視頻、博客文章、客戶評論、社交媒體文章、視頻文件、音頻等,對這些類型的數據進行排序很困難。
由於非結構化數據的復雜性,大多數人將非結構化數據稱為「黑暗分析(dark analytics)」。使用非結構化數據有助於揭示對決策制定有用的見解。作為數據科學家,必須有能力理解和操縱非結構化數據。
非技術類技能
10.好奇心
我沒有特殊的才能,我只是充滿了好奇心——愛因斯坦。
好奇心可以被定義為渴望獲得更多的知識,作為一名數據科學家,需要能夠提出有關數據的問題,因為數據科學家將大約80%的時間用於發現和准備數據。由於數據科學領域是一個發展非常迅速的領域,必須學習更多知識以保持不落伍。
通過在線閱讀內容並閱讀關於數據科學趨勢的相關書籍來定期更新知識,不要被互聯網上的大量數據所淹沒,必須能夠知道如何理解這一切。好奇心是作為數據科學家取得成功所需的技能之一。例如,第一次看到收集到的數據時,不知道這些數據有什麼意義。但好奇心將幫助你篩選數據以找到答案和更多見解。這就像兩個人相親一樣,只有當你對另一方感到好奇時,才會深入的了解下去。
11.商業頭腦
要成為一名數據科學家,需要對所從事的行業有深入的了解,並了解公司正在努力解決的業務問題。在數據科學方面,除了找出業務應該利用其數據的新方式之外,能夠辨別哪些問題對於解決業務問題至關重要。
為了做到這一點,必須了解要解決的問題會如何影響業務,這就是為什麼需要了解企業的運作方式,以便能夠朝正確的方向努力。
12.溝通能力
一些公司正在尋找具有很好溝通能力的數據科學家,他們能夠清晰流利地將技術發現傳遞給非技術團隊的人員,比如市場營銷部門或銷售部門。數據科學家除了理解非技術同事的需求以便適當地調整數據外,還必須做出相關的決定。
除了說同一種語言外,還需要使用數據以講故事的方式交流。作為一名數據科學家,必須知道如何創建一個圍繞數據的故事情節,以方便任何人都能理解。例如,呈現數據表格不如以故事形式分享這些數據的見解。講故事可以幫助你將你的發現與僱主正確溝通。
溝通時,請注意分析數據的結果,大多數企業主並不想知道你分析的具體內容,而是對如何積極影響其業務感興趣。學會專注於提供價值並通過溝通建立持久的關系。
13.團隊合作
數據科學家不可能單打獨斗,而是不得不與公司高管合作制定策略、與產品經理和設計師合作創造更好的產品、與營銷人員一起推出更好的轉換活動、與客戶端和伺服器軟體開發人員共同創建數據管道並改善工作流程。數據科學家必須與組織中的每個人一起工作,包括客戶。
從本質上講,數據科學家將與團隊成員合作開發用例,以了解解決問題所需的業務目標和數據。需要知道解決用例的正確方法、解決問題所需的數據以及如何將結果呈現為所涉及的每個人都可以輕松理解的內容。
⑷ 九個成為數據科學家的必備技能
九個成為數據科學家的必備技能
Works詳細列舉了從僱主角度看來,數據科學家加強自身市場競爭力所必備的9個數據科學技能。
過去一年中人們對數據科學的興趣驟然增長。Nate Silver這個名字已經家喻戶曉,所有公司都在尋找獨角獸,很多不同學科的專業人才都開始關注這份薪水豐厚的職業,並將其當作自己可能的職業選擇。
在Burtch Works開展招聘工作時,我們與很多想要在數據科學這一成長性領域有所發展的分析學專家探討過,對具體的實施方案提出了疑問。我從招聘者的角度列出了在數據科學方面對成功十分關鍵,並且是招聘經理首先考慮的一些技術類與非技術類技能。
各公司在技能與工具的價值評判上都不盡相同,因此這個列表絕對談不上詳盡,不過在這些領域有過經驗的人會在數據科學上佔有更大的優勢。
技術技能:分析學
1、教育——數據科學家受教育程度都很高,其中88%至少擁有碩士學位,46%有博士學位。雖然有一些名人特例,不過通常來說成為一名數據科學家需要扎實的教育背景,才能掌握所需的深度知識。最常見的研究領域包括數學與統計學(32%),其次是計算機科學(19%)以及工程學(16%)。
2、SAS軟體與/或R語言——對其中至少一種分析工具有深入的了解,一般對數據科學來說R語言更好一些。
技術能力:計算機科學
3、都是公司在招聘數據科學類角色時最常提出的語言要求。
4、Hadoop平台——盡管不是總有這個需求,不過在很多情況下掌握它的人優勢更大。熟悉Hive或Pig也是很有利的賣點。熟悉類似Amazon S3這樣的雲工具也會很有優勢。
5、SQL資料庫/編程——盡管NoSQL和Hadoop已經成為了數據科學很大的組成部分之一,招聘者還是希望能夠找到可以編寫與執行SQL復雜查詢的候選人。
6、非結構化數據——數據科學家能夠處理非結構化數據這一點非常重要,無論這些數據是來自社交媒體、視頻源或者音頻的。
非技術類技能
7、求知慾——毫無疑問最近到處都能看到這個詞,尤其是在與數據科學家關聯時。Frank Lo在幾個月前的博文中描述了這個詞的含義,並且討論了其他必須的「軟技能」。
8、商業智慧——想要成為數據科學家,需要充分了解自己工作的行業,並且知道公司想要解決的商業問題是哪些。能夠根據數據科學分辨出解決哪些問題對公司來說更為重要,並且能夠找出利用數據的新辦法,這些是非常關鍵的。
9、通用技能——尋找優秀數據科學家的公司想要的是這樣的人材:能夠清楚順暢地將自己的技術發現轉化為非技術團隊(比如市場部或者銷售部)能夠使用的內容。數據科學家必須能得出可用以決策的量化insight,同時了解非技術團隊的需求,可以恰當地進行溝通以傳達數據。想要了解定量專家在溝通技巧方面的更多信息,請參見我們近期的調查。
一般接下來的問題都是:「怎樣能夠獲得這些技能呢?」網上有很多資源,不過筆者不希望讓讀者產生這樣的錯覺——成為數據科學家非常簡單,上幾節MOOCs就夠了。除非你有扎實的定量經驗,否則成為數據科學家之路還是頗有挑戰的——但也並非不可能。
不過只要你確實對數據有興趣、有激情,並打算將生命投入到相關的學習上,那麼就不要讓經驗背景成為你追求數據科學生涯的阻礙。下面是我們覺得有用的一些資源:
1、高等學位——為了滿足目前的需求,如雨後春筍般出現了更多的數據科學專業的項目,不過數學、統計學與計算機科學專業的項目也有很多。
2、MOOCs——Coursera、Udacity還有codeacademy都是不錯的入門方式。
3、證書——KDnuggets編寫了一個很長的列表清單。
4、Bootcamps——想要了解這種方式與學歷項目或MOOCs的對比情況。
5、Kaggle——Kaggle上有數據科學競賽,可以進行演練,用雜亂的真實世界數據來磨練技巧,解決真實的商業問題。僱主對Kaggle排名很重視,該排名可以被看作是相關的、經過親身實踐的項目工作。
6、LinkedIn小組——加入相關的小組,與數據科學社區的其他成員互動。
7、數據科學中心與KDnuggets——數據科學中心與KDnuggets都是保持與數據科學行業趨勢前沿同步的優秀資源。8、Burtch Works研究:關於數據科學家的薪金,如果想要了解更多信息與當前數據科學家人數統計的話,請下載我們的數據科學家薪金研究報告。