A. 如何學習成為一名數據分析師
學習數據分析師之前,你必須清楚自己想要達成什麼目標。也就是說,你想通過這門技術來解決哪些問題或實現什麼計劃。有了這個目標,你才能清晰地開展自己的學習規劃,並且明確它的知識體系。
B. 如何快速成為數據分析師
1、技能一:理解資料庫。
還以為要與文本數據打交道嗎?答案是:NO!進入了這個領域,你會發現幾乎一切都是用資料庫 來存儲數據,如MySQL,Postgres,CouchDB,MongoDB,Cassandra等。理解資料庫並且能熟練使用它,將是一個基礎能力。
2、技能二:掌握數據整理、可視化和報表製作。
數據整理,是將原始數據轉換成方便實用的格式,實用工具有DataWrangler和R。數據可視化,是創建和研究數據的視覺表現,實用工具有ggvis,D3,vega。數據報表是將數據分析和結果製作成報告。也是數據分析師的一個後續工作。這項技能是做數據分析師的主要技能。可以藉助新型軟體幫助自己迅速學會分析。
3、技能三:懂設計
說到能製作報表成果,就不得不說說圖表的設計。在運用圖表表達數據分析師的觀點時,懂不懂設計直接影響到圖形的選擇、版式的設計、顏色的搭配等,只有掌握設計原則才能讓結果一目瞭然。否則圖表雜亂無章,數據分析內容不能良好地呈現出來,分析結果就不能有效地傳達。
4、技能四:幾項專業技嘩陵大能
統計學技能——統計學是數據分析的基礎,掌握統計學的基本知識是數據分析師的基本功。從數據採集、抽樣到具體分析時的驗證探索和預測都要用到統計汪納學。
社會學技能——從社會化角度看,人有社會性,收群體心理的影響。數據分析師沒有社亂豎會學基本技能,很難對市場現象做出合理解釋。
另外,最好還能懂得財務管理知識和心理學概況。這些都將會使你做數據分析的過程更容易。
5、技能五:提升個人能力。
有了產品可以將數據展示出來,還需要具備基本的分析師能力。首先,要了解模型背後的邏輯,不能單純地在模型中看,而要放到整個項目的上下文中去看。要理解數據的信息,形成一個整體系統,這樣才能夠做好細節。另外,與數據打交道,細心和耐心也是必不可少的。
6、技能六:隨時貼近數據文化
擁有了數據分析的基本能力,還怕不夠專業?不如讓自己的生活中充滿數據分析的氣氛吧!試著多去數據分析的論壇看看,多瀏覽大數據知識的網站,讓自己無時無刻不在進步,還怕不能學會數據分析嗎?
擁有這些技能,再去做數據分析,數據將在你手裡變得更親切,做數據分析也會更簡單更便捷,速成數據分析師不再遙遠。
(2)如何練數據分析擴展閱讀:
企業對數據分析師的基礎技能需求差別不大,可總結如下:
SQL資料庫的基本操作,會基本的數據管理
會用Excel/SQL做基本的數據分析和展示
會用腳本語言進行數據分析,Python or R
有獲取外部數據的能力,如爬蟲
會基本的數據可視化技能,能撰寫數據報告
熟悉常用的數據挖掘演算法:以回歸分析為主
C. 零基礎學習數據分析要做哪些准備
1.統計學相關知識統計學是數據分析的基礎,因為數據分析需要對大量數據進行統計分析,大家可以通過對統計學的學習,培養數據分析最基本的一些邏輯思維。
2. EXCEL
不要小看EXCEL,它可是最初級的數據分析工具,在處理的數據量不是很大時,EXCEL完全可以勝任。而且大家都有一定基礎,平時工作中也經常用,學習起來應該很容易,重點應該加強對於各類函數以及EXCEL數據可視化的學習。
3.代碼語言的了解
數據分析需要使用的工具很多,例如python、SQL等,這些都需要強大的代碼知識做支撐,所以有想學習數據分析的小夥伴可以在學習之前初步對代碼有一個了解,這樣不至於真正學習起來手足無措。
關於零基礎學習數據分析要做哪些准備,青藤小編就和您分享到這里了。如果你對大數據工程有濃厚的興趣,希望這篇文章能夠對你有所幫助。如果您還想了解更多數據分析師、大數據工程師的技巧及素材等內容,可以點擊本站的其他文章進行學習。
D. 如何學習數據分析
對於自學數據分析,很多零基礎的小夥伴都有以下的疑問。
「我數學不好身,可以學習數據分析嗎?」
「我英語不好,可以成為數據分析師嗎?」
「我沒有編程基礎可以學習數據分析嗎?」
......
其實學習數據分析要比想像中容易得多,通常一提到數據分析就會想到各種數據和編程,讓人頭大,讓很多零基礎的小夥伴不知道如何下手學習。但是在IT行業中,數據分析往往是最容易入門和學習的,薪資也是比較高的,很多零基礎的小夥伴被數據分析嚇到勸退往往是不知道怎麼樣高效學習,沒有找到適合自己的方法。想要了解更多,點擊下方鏈接就能找到我。
接下來就講講如何自學數據分析,學習步驟如下
自學數據分析推薦書籍
數據分析常用的工具
數據分析常見面試問題
一些小建議
1.自學數據分析推薦書籍
入門篇
對於剛走上數據分析這條路的小白們,面對每天的工作可能已經手忙腳亂,但工作後面的邏輯及工具的應用,真的已經了解了嗎?
從事數據分析的小白們,很多都和一樣是半路出家,甚至有些文科的小夥伴,也對數據分析非常感興趣。但是喜歡歸喜歡,基礎的知識還是得必備。
1. 《深入淺出數據分析》
這本書可以說是很多數據分析師的啟蒙書籍。
怎麼提升銷量、怎麼分析a門店比b門店好、怎麼進行細分分析和對比分析......在讀完這本書之後,跟著Acme在重重挑戰之下,對數據分析有了一個整體認識。
2. 《深入淺出統計學》
什麼是統計?什麼是眾數、異常值、四分位數?幾何分布,泊松分布,二項分布又是什麼?如何對數據進行預測?預測數據和置信區間又有什麼關系?
這些名詞是不是很可怕?沒事,這本書寫得非常淺顯易懂,很多圖片和對話,像看漫畫書一樣,把統計學學了。
3. 《誰說菜鳥不會數據分析》
牛老闆和應屆生小白之間的職場小故事,像看一本小說一樣,但是其中會告訴你什麼是數據分析,處理數據的技巧,提升圖表之美,如何建立結構化思維等等。和第一本書類似,看書也是多多益善嘛~
4. 《漫畫統計學》
這本書真的是以漫畫的形式來講統計學了,在詼諧的人物肢體和幽默的對話之間,傳達統計知識,讓無聊的數字變得生動有趣。
這本書可以在閑暇又不想學習的時候來打發時間呀,既學到了知識,又沒那麼累。
進階篇
想必這段時間,小白們也有了一定的工作經驗,對於數據分析有了稍微具體的認識。這時的目標是學習更加系統的數據思維。
5. 《商務與經濟統計》
戴維 R.安德森的這本書,把數據處理、數據分析、業務三者相結合,還有不少統計學的知識。
記得以前看這本書的時候,拿著贈送的數據一邊模擬操作,一邊學習。在實踐中對處理方法更加熟練,也對業務當中的數據分析有了更加立體的認識。
6. 《機器學習》
周志華先生寫的這本《機器學習》,俗稱西瓜書,是用西瓜的例子來引導一個又一個演算法的介紹及應用。
跟著這本書,倒是學會了用Python編了個聚類演算法,哈哈。不過這本書比較難,沒有一定的統計基礎和編程基礎,還是就了解了解吧。想要學習更多數據分析知識,點擊下方鏈接找到我。
2.數據分析常用的工具
(一)、常見數據分析工具
①、EXCEL
EXCEL可以說是數據分析師最常用的統計分析工具,它
使用廣泛,容易上手,小規模數據的處理成本低,樣式處理方便。
應該說只有學會了Vlookup,數據透視和基本公式才算EXCEL入門。
②、SQL
作為數據分析人員,要想獲取數據,肯定就要和資料庫打交道,因此sql肯定是要掌握的,在招聘要求中,sql也是很多數據分析崗位的能力要求之一。
SQL具有行業通用的優勢,它的語法簡單,獨立於資料庫本身。
③、Python
Python作為目前最火的編程軟體之一,確實在數據分析、數據挖掘上有著獨特優勢。它主要用於做一些像數據挖掘的項目,或者說一些數據可視化等等。
④、PPT
那麼最後,數據呈現,分析報告主要就是由PPT來實現,它是將分析關鍵結果傳遞給其他的重要手段。
學好PPT可以提升溝通和消息傳遞效率,也是數據分析師必備的技能。
E. 如何成為一個數據分析師需要具備哪些技能
接下來我們分別從每一個部分講講具體應該學什麼、怎麼學。
數據獲取:公開數據、Python爬蟲
如果接觸的只是企業資料庫里的數據,不需要要獲取外部數據的,這個部分可以忽略。
外部數據的獲取方式主要有以下兩種。
第一種是獲取外部的公開數據集,一些科研機構、企業、政府會開放一些數據,你需要到特定的網站去下載這些數據。這些數據集通常比較完善、質量相對較高。
另一種獲取外部數據費的方式就是爬蟲。
比如你可以通過爬蟲獲取招聘網站某一職位的招聘信息,爬取租房網站上某城市的租房信息,爬取豆瓣評分評分最高的電影列表,獲取知乎點贊排行、網易雲音樂評論排行列表。基於互聯網爬取的數據,你可以對某個行業、某種人群進行分析。
在爬蟲之前你需要先了解一些 Python 的基礎知識:元素(列表、字典、元組等)、變數、循環、函數(鏈接的菜鳥教程非常好)……以及如何用成熟的 Python 庫(urllib、BeautifulSoup、requests、scrapy)實現網頁爬蟲。如果是初學,建議從 urllib 和 BeautifulSoup 開始。(PS:後續的數據分析也需要 Python 的知識,以後遇到的問題也可以在這個教程查看)
網上的爬蟲教程不要太多,爬蟲上手推薦豆瓣的網頁爬取,一方面是網頁結構比較簡單,二是豆瓣對爬蟲相對比較友好。
掌握基礎的爬蟲之後,你還需要一些高級技巧,比如正則表達式、模擬用戶登錄、使用代理、設置爬取頻率、使用cookie信息等等,來應對不同網站的反爬蟲限制。
除此之外,常用的的電商網站、問答網站、點評網站、二手交易網站、婚戀網站、招聘網站的數據,都是很好的練手方式。這些網站可以獲得很有分析意義的數據,最關鍵的是,有很多成熟的代碼,可以參考。
數據存取:SQL語言
你可能有一個疑惑,為什麼沒有講到Excel。在應對萬以內的數據的時候,Excel對於一般的分析沒有問題,一旦數據量大,就會力不從心,資料庫就能夠很好地解決這個問題。而且大多數的企業,都會以SQL的形式來存儲數據,如果你是一個分析師,也需要懂得SQL的操作,能夠查詢、提取數據。
SQL作為最經典的資料庫工具,為海量數據的存儲與管理提供可能,並且使數據的提取的效率大大提升。你需要掌握以下技能:
提取特定情況下的數據:企業資料庫里的數據一定是大而繁復的,你需要提取你需要的那一部分。比如你可以根據你的需要提取2018年所有的銷售數據、提取今年銷量最大的50件商品的數據、提取上海、廣東地區用戶的消費數據……,SQL可以通過簡單的命令幫你完成這些工作。
資料庫的增、刪、查、改:這些是資料庫最基本的操作,但只要用簡單的命令就能夠實現,所以你只需要記住命令就好。
數據的分組聚合、如何建立多個表之間的聯系:這個部分是SQL的進階操作,多個表之間的關聯,在你處理多維度、多個數據集的時候非常有用,這也讓你可以去處理更復雜的數據。
數據預處理:Python(pandas)
很多時候我們拿到的數據是不幹凈的,數據的重復、缺失、異常值等等,這時候就需要進行數據的清洗,把這些影響分析的數據處理好,才能獲得更加精確地分析結果。
比如空氣質量的數據,其中有很多天的數據由於設備的原因是沒有監測到的,有一些數據是記錄重復的,還有一些數據是設備故障時監測無效的。比如用戶行為數據,有很多無效的操作對分析沒有意義,就需要進行刪除。
那麼我們需要用相應的方法去處理,比如殘缺數據,我們是直接去掉這條數據,還是用臨近的值去補全,這些都是需要考慮的問題。
對於數據預處理,學會 pandas 的用法,應對一般的數據清洗就完全沒問題了。需要掌握的知識點如下:
選擇:數據訪問(標簽、特定值、布爾索引等)
缺失值處理:對缺失數據行進行刪除或填充
重復值處理:重復值的判斷與刪除
空格和異常值處理:清楚不必要的空格和極端、異常數據
相關操作:描述性統計、Apply、直方圖等
合並:符合各種邏輯關系的合並操作
分組:數據劃分、分別執行函數、數據重組
Reshaping:快速生成數據透視表
概率論及統計學知識
數據整體分布是怎樣的?什麼是總體和樣本?中位數、眾數、均值、方差等基本的統計量如何應用?如果有時間維度的話隨著時間的變化是怎樣的?如何在不同的場景中做假設檢驗?數據分析方法大多源於統計學的概念,所以統計學的知識也是必不可少的。需要掌握的知識點如下:
基本統計量:均值、中位數、眾數、百分位數、極值等
其他描述性統計量:偏度、方差、標准差、顯著性等
其他統計知識:總體和樣本、參數和統計量、ErrorBar
概率分布與假設檢驗:各種分布、假設檢驗流程
其他概率論知識:條件概率、貝葉斯等
有了統計學的基本知識,你就可以用這些統計量做基本的分析了。通過可視化的方式來描述數據的指標,其實可以得出很多結論了,比如排名前100的是哪些,平均水平是怎樣的,近幾年的變化趨勢如何……
你可以使用python的包 Seaborn(python包)在做這些可視化的分析,你會輕松地畫出各種可視化圖形,並得出具有指導意義的結果。了解假設檢驗之後,可以對樣本指標與假設的總體指標之間是否存在差別作出判斷,已驗證結果是否在可接受的范圍。
python數據分析
如果你有一些了解的話,就知道目前市面上其實有很多 Python 數據分析的書籍,但每一本都很厚,學習阻力非常大。但其實真正最有用的那部分信息,只是這些書里很少的一部分。比如用 Python 實現不同案例的假設檢驗,其實你就可以對數據進行很好的驗證。
比如掌握回歸分析的方法,通過線性回歸和邏輯回歸,其實你就可以對大多數的數據進行回歸分析,並得出相對精確地結論。比如DataCastle的訓練競賽「房價預測」和「職位預測」,都可以通過回歸分析實現。這部分需要掌握的知識點如下:
回歸分析:線性回歸、邏輯回歸
基本的分類演算法:決策樹、隨機森林……
基本的聚類演算法:k-means……
特徵工程基礎:如何用特徵選擇優化模型
調參方法:如何調節參數優化模型
Python 數據分析包:scipy、numpy、scikit-learn等
在數據分析的這個階段,重點了解回歸分析的方法,大多數的問題可以得以解決,利用描述性的統計分析和回歸分析,你完全可以得到一個不錯的分析結論。
當然,隨著你實踐量的增多,可能會遇到一些復雜的問題,你就可能需要去了解一些更高級的演算法:分類、聚類,然後你會知道面對不同類型的問題的時候更適合用哪種演算法模型,對於模型的優化,你需要去學習如何通過特徵提取、參數調節來提升預測的精度。這就有點數據挖掘和機器學習的味道了,其實一個好的數據分析師,應該算是一個初級的數據挖掘工程師了。
系統實戰
這個時候,你就已經具備了數據分析的基本能力了。但是還要根據不同的案例、不同的業務場景進行實戰。能夠獨立完成分析任務,那麼你就已經打敗市面上大部分的數據分析師了。
如何進行實戰呢?
上面提到的公開數據集,可以找一些自己感興趣的方向的數據,嘗試從不同的角度來分析,看看能夠得到哪些有價值的結論。
另一個角度是,你可以從生活、工作中去發現一些可用於分析的問題,比如上面說到的電商、招聘、社交等平台等方向都有著很多可以挖掘的問題。
開始的時候,你可能考慮的問題不是很周全,但隨著你經驗的積累,慢慢就會找到分析的方向,有哪些一般分析的維度,比如top榜單、平均水平、區域分布、年齡分布、相關性分析、未來趨勢預測等等。隨著經驗的增加,你會有一些自己對於數據的感覺,這就是我們通常說的數據思維了。
你也可以看看行業的分析報告,看看優秀的分析師看待問題的角度和分析問題的維度,其實這並不是一件困難的事情。
在掌握了初級的分析方法之後,也可以嘗試做一些數據分析的競賽,比如 DataCastle 為數據分析師專門定製的三個競賽,提交答案即可獲取評分和排名:
員工離職預測訓練賽
美國King County房價預測訓練賽
北京PM2.5濃度分析訓練賽
種一棵樹最好的時間是十年前,其次是現在。現在就去,找一個數據集開始吧!!
F. 怎麼培養數據分析的能力
2、工具實踐
(1)對於入門小白,建議從Excel工具入手,這里以Excel為例:
學習Excel是一個循序漸進的過程:
基礎的:簡單的表格數據處理、列印、查詢、篩選、排序
函數和公式:常用函數、高級數據計算、數組公式、多維引用、function
可視化圖表:圖形圖示展示、高級圖表、圖表插件
數據透視表、VBA程序開發......
多逛逛excelhome論壇,平常多思考如何用excel來解決問題,學慣用各種插件,對能夠熟練使用Excel都有幫助。
其中,函數和數據透視表是兩個重點。
函數
製作數據模板必須掌握的excel函數:
日期函數:day,month,year,date,today,weekday,weeknum 日期函數是做分析模板的必備,可以用日期函數來控制數據的展示,查詢指定時間段的數據。
數學函數:proct,rand,randbetween,round,sum,sumif,sumifs,sumproct
統計函數:large,small,max,min,median,mode,rank,count,countif,countifs,average,averageif,averageifs 統計函數在數據分析中具有舉足輕重的作用,求平均值,最大值,中位數,眾位數都用得到。
查找和引用函數:choose,match,index,indirect,column,row,vlookup,hlookup,lookup,offset,getpivotdata 這幾個函數的作用不用多說,特別是vlookup,不會這個函數基本上復雜報表寸步難行。
文本函數:find,search,text,value,concatenate,left,right,mid,len 這幾個函數多半用在數據整理階段使用。
邏輯函數:and,or,false,true,if,iferror
(以上學會,基本能秒殺90%的辦公室白領!)
數據透視表
數據透視表的作用是把大量數據生成可交互的報表,它具有這樣一些重要功能:分類匯總、取平均、最大最小值、自動排序、自動篩選、自動分組;可分析佔比、同比、環比、定比、自定義公式等
現實中,取數或報表+EXCEL+PPT似乎還是主流形式。
工具上,無論是業務人員還是分析人員,都可以通過自動取數工具或者BI工具來製作報表,減少重復操作的時間。
其次,增加與業務人員的溝通,充分了解業務需求,當你的業務水平和他們差不多甚至更高時,自然而然知道他們一言兩語背後真實的需求是什麼了。
最後,站在更高角度上,報表的基本粒度就是指標,可梳理出企業的基本指標體系,從經營分析的角度去做報表,把報表的工作標准化,降低報表的冗餘,避免動不動就做一張報表。標准化包括指標分類,指標命名,業務口徑,技術口徑,實現方式等等。其實,最終目的是實現報表數據一致性,減少重復報表開發,降低系統開銷的戰略性舉措。
在業余時間,可以多補充數理統計知識,學習R、Python語言,學習常用的挖掘模型,往高級分析師路上發展!
一起加油鴨!
以上,就是今天的分享,數據分析能力聽起來很大很抽象,雖是軟實力但卻是行業的硬要求!量變引起質變,一步步來,才能做到觸類旁通,做起項目才會越來越順手。
G. 如何自學數據分析
第一方面是數學基礎,第二方面是統計學基礎,第三方面是計算機基礎。要想在數據分析的道路上走得更遠,一定要注重數學和統計學的學習。數據分析說到底就是尋找數據背後的規律,而尋找規律就需要具備演算法的設計能力,所以數學和統計學對於數據分析是非常重要的。
而想要快速成為數據分析師,則可以從計算機知識開始學起,具體點就是從數據分析工具開始學起,然後在學習工具使用過程中,輔助演算法以及行業致死的學習。學習數據分析工具往往從Excel工具開始學起,Excel是目前職場人比較常用的數據分析工具,通常在面對10萬條以內的結構化數據時,Excel還是能夠勝任的。對於大部分職場人來說,掌握Excel的數據分析功能能夠應付大部分常見的數據分析場景。
在掌握Excel之後,接下來就應該進一步學習資料庫的相關知識了,可以從關系型資料庫開始學起,重點在於Sql語言。掌握資料庫之後,數據分析能力會有一個較大幅度的提升,能夠分析的數據量也會有明顯的提升。如果採用資料庫和BI工具進行結合,那麼數據分析的結果會更加豐富,同時也會有一個比較直觀的呈現界面。
數據分析的最後一步就需要學習編程語言了,目前學習Python語言是個不錯的選擇,Python語言在大數據分析領域有比較廣泛的使用,而且Python語言自身比較簡單易學,即使沒有編程基礎的人也能夠學得會。通過Python來採用機器學習的方式實現數據分析是當前比較流行的數據分析方式。