Ⅰ 數據分析需要掌握些什麼知識
我們先從整體上了解數據分析師要掌握的技能有哪些,然後再從具體職位類別來看,不同的職位具體要掌握的技能有哪些。
這樣你就能根據自己的實際情況,有針對性的准備和學習。
一、數據分析的勝任力模型是什麼?
從整體上來看,數據分析師需要掌握的能力有很多,從總體上可以分為以下幾類,這些能力構成了數據分析師的能力模型。
1)理論基礎,包括統計學
2)數據分析工具,常用的分析工具有 Excel,SQL,Python 等
3)可視化工具,常用的有 Excel,商業智能(Business Intelligence,BI)
4)業務知識,包括常用的指標、某行業的業務流程
5)數據分析思維,包括常用的分析方法
6)通用能力,包括 PPT、溝通能力
下面我們來詳細看下每一種能力的要求。
理論基礎:統計學
數據分析背後的理論基礎是統計學。所以,掌握了統計學以後我們才能去看懂數據表達的意義是什麼。舉個例子,給你一家公司員工的工資,是平均值能代表這家公司的工資水平,還是中位數能代表?
如果沒學過統計學,那麼可能只認識這里的平均值,而不知道中位數這個知識。但是,如果你學過了統計學就會知道,中位數比平均值更能反映出數據的集中表現。
統計學的內容比較多,詳細又可以分為兩類內容:描述統計分析、推論統計分析。
什麼是描述統計分析?
對大量信息進行歸納是處理數據時最基本的任務。中國約有 14 億人,一張記錄每位中國人的姓名和收入的電子表格包含了我們衡量這個國家經濟健康狀況所需的所有信息,通常我們也將多個數據集合在一起的東東叫「簡稱數據集」。但這張信息過量的表格其實相當於什麼都沒有告訴我們。這就是讓人覺得諷刺的地方:經常是數據越多,事實越模糊。
因此,我們需要簡化,將一系列復雜的數據減少為幾個能夠起到描述作用的數字,正如奧運會體操比賽中,我們將一套多難度組合的復雜動作濃縮為一個得分:9.8 分。
描述統計分析就是將一系列復雜的數據減少為幾個能夠起到描述作用的數字,用這些有代表性的數字來代表所有的數據。這樣在面對一大堆數據時,你可在不知道所有數據的情況下就能知道數據的整體情況。
這就好比,我們通常一說起美女,能想到的是這樣幾個指標:長腿,大眼睛,臉蛋好看。雖然全國有那麼多美女,你也沒有見過全部的美女,但是你卻能通過這樣幾個代表美女的指標就可以大概知道什麼是美女。
同樣的,描述統計學的關鍵點在於,找到幾個關鍵的數字來描述數據的整體情況。那麼,問題就來了,能擔當起這樣重要責任的數字有哪些呢?描述數據的整體情況,我們可以用 4 個指標來做,分別是:平均值、四分位數、標准差和標准分。例如,前面我們在拿到工資數據,就可以用「中位數」這樣的數字來描述工資的整體情況。
所以,描述統計分析就是掌握 4 個指標:平均值,四分位數,標准差和標准分。
什麼是推論統計分析?
推論統計分析就是通過樣本來推斷出總體。需要掌握的知識包括概率分布、中心極限定、如何用樣本估計總體、置信區間、假設檢驗。例如,互聯網常用的 AB 測試背後的原理就是假設檢驗,如果不掌握推論統計分析,那麼連 AB 測試的結果也看不懂,更不用說完成一個 AB 測試實驗。
2.數據分析工具
很多人看到現在 Python 很火,就不管自己的能力水平如何,就一頭扎進學習 Python 的大潮,最後發現其實自己學不會,或者學完用不上。
這其實是不對的,真正工作里最常用的數據分析工具其實是 Excel,SQL。所以,如果你的零基礎,不建議一上來就學 Python,而是先學會 Excel 分析數據,然後學會 SQL。
這樣你學會了常用的分析工具,然後再學 Python 才是加分項。同時,這樣學習的順序還有一個好處,如果你是零基礎沒學過編程,一上來學 Python,大概率是學不會的。但是如果你學過用 Excel、SQL 處理數據,那麼就具備了一定的基礎,再學 Python,很多概念就會理解起來比較容易。
這就好比,一個嬰兒不是一上來就學習跑步(Python),而是先把走路學會,具備了走路(Excel、SQL)的基礎,再跑步就容易多了。
需要注意的是,除非是工作必須要求的,其他少部分公司用的工具其實不需要學習。比如有些公司要求其他編程語言,例如 R、SPSS、SAS 這些工具。
現在 Pyhon 已經是人工智慧排名第一的編程語言了,大部分公司要求 Python,很少部分的公司要求其他的編程語言,所以學習市場要求最多的那個技能才能找到更多機會。如果你學習了少部分公司才要求的工具,那麼意味著你找工作或者跳槽只能選擇這些公司,而會錯失其他大部分公司的求職機會,對你整個職業生涯不利。
TIOBE 編程語言排行榜是全球編程語言流行趨勢的一個指標,每月更新,官網地址(https://www.tiobe.com/tiobe-index)。下圖是 2021 年 2 月份排名前 10 的編程語言的變化圖,其中橙色曲線是 Python,我們會發現 Python 的流行趨勢越來越高。
3.可視化工具
常用的可視化工具包括 Excel、商業智能(BI)。
一般的可視化圖表用 Excel 里的圖表功能就可以實現,而且使用起來也方便。如果是要經常做報表,並且要求實現報表自動化,那麼就需要用到商業智能(BI)工具。
那什麼是商業智能(BI)呢?
微軟官方給的定義是「使用用於自助服務和企業商業智能 (BI) 的統一、可擴展平台(該平台易於使用,可幫助獲取更深入的數據見解),連接到任何數據並對數據進行可視化。 」
毫無懸念,看這種官方定義就是看不懂。簡單來說就是把數據導入商業智能(BI)工具中,就可以快速對數據可視化。例如下圖就是把數據導入用商業智能(BI)工具中,通過可視化數據來分析。
IDC《2019 年下半年中國商業智能軟體市場數據跟蹤報告》顯示,在中國商業智能軟體子市場中,報表分析仍是目前市場最主要的需求,2019 年全年年市場份額佔比為 79.0%。高級分析和預測分析市場份額佔比 21.0%(下圖)。
常用的商業智能(BI)工具有哪些呢?
目前使用最多的商業智能(BI)工具是 Power BI、Tableau、帆軟,選擇其中任意一種學習就可以了。
4.業務知識
因為數據分析是用來解決具體行業問題的,需要從業務的角度出發,了解各個指標,以及每個指標之間的關系,還需要聯系業務去理解數據。所以,工作中數據分析脫離不了業務,在分析中要找到導致問題發生的根本原因,而不只是單純的統計數據。
因此需要具備某個行業的業務知識才能去理解這個行業里的術語、業務問題等。
業務知識包括某個行業的常用指標、業務流程。需要注意的是,不同行業的指標、業務流程是不一樣的,所以需要學習的時候針對你的目標行業去學習准備。例如,下圖分別是金融信貸行業、在線教育行業的業務流程。
金融信貸行業業務流程(來自書《數據分析思維》)
在線教育業務流程(來自書《數據分析思維》)
如果是剛入門,這塊內容做到了解即可,等進入工作以後,再慢慢深入業務,積累業務經驗。具體某個行業的常用指標、業務流程可以看書《數據分析思維》,這本書里涉及了 10 多個行業的指標、業務流程。
5.數據分析思維
在數據分析相關的職位里經常會寫這么一條招聘要求「具備數據分析思維」。在工作或者面試中,會經常聽到分析思維、分析思路、分析方法。這三個詞語有什麼關系呢?其實簡單來說,它們都是指分析方法。
數據分析思維需要你掌握 10 種常用的分析方法。
數據分析 10 種常用的分析方法
如果你的分析目的是想將復雜問題變得簡單,就可以使用邏輯樹分析方法,例如經典的費米問題就可以用這個分析方法。
如果你的分析目的是做行業分析,那麼就可以用 PEST 分析方法,例如你想要研究中國少兒編程行業。
如果你想從多個角度去思考問題,那麼就可以用多維度拆解分析方法,例如找相親對象,需要從多個角度去分析是否合適。
如果你想進行對比分析,就要用到對比分析方法,例如你朋友問自己胖嗎,就是在對比。
如果你想找到問題發生的原因,那麼就要用到假設檢驗分析方法,其實破案劇里警察就是用這個方法來破案的。
如果你想知道 A 和 B 有什麼關系,就要用到相關分析方法,例如豆瓣在我們喜歡的電影下面推薦和這部分電影相關的電影。
如果你想對用戶留存和流失分析,就要用到群組分析方法,例如微博用戶留存分析。
如果你想對用戶按價值分類,那麼就要用到 RFM 分析方法,例如信用卡的會員服務,就是對用戶按價值分類,對不同用戶使用不同的營銷策略,從而做到精細化運營。
如果你想分析用戶的行為或者做產品運營,就要用到 AARRR 模型分析方法,例如對拼多多的用戶進行分析。
如果你想分析用戶的轉化,就要用到漏斗分析方法,例如店鋪本周銷量下降,想知道是中間哪個業務環節出了問題。
6.通用能力
通用能力包括 PPT 製作分析報告、溝通能力。
在工作中,要經常做分析結果做成數據分析報告,然後展示給業務部門、上級領導、客戶等,而這種展示數據分析報告的場景常用的工具就是 PPT,所以就要求你會用 PPT 製作數據分析報告,有較好的的文字、書面總結能力。
職業社交網站領英發布的《2018 新興工作崗位報告》報告里說,最大的技能缺口是軟技能,比如口頭交流、領導力和時間管理等。這份報告中建議,職場人士需要在快速變化的工作環境中,學習並保持軟技能,因為擁有這些技能的人才具備更大的職場優勢。
其實,任何職位都需要溝通能力,但是,數據分析師對溝通能力的要求更高。因為,數據分析師解決的是實際的問題,需要跨部門溝通業務,做好的數據分析報告也要展示給各個部門、領導、客戶,只有好的溝通能力,才能讓你的分析結果得到用戶的認可。 那麼這些通用能力如何提升呢?最直接的方式,就是通過寫文章來提升。
通過寫作可以同時提升你下面 3 個能力:
1)邏輯能力
寫作的本質其實是把一件事情講清楚,而邏輯能力強的人寫出來的內容,讀起來更順暢。
2)文字表達能力
數據分析師要經常做數據分析報告,和通過郵件匯報分析結果。這體現的其實就是文字表達能力,提高這個能力的辦法就是不斷去寫作。
3)溝通能力
寫作其實就是把想說的話通過文字和你的用戶去溝通。另外,經常在社群里提問和解答他人的問題,也可以提高你的溝通能力。你會看到不同人提問的水平是不一樣的,有的人可以完整的把一個問題描述清楚,有的人說完,其他人也不明白他的問題是什麼。這其實就是體現了溝通能力。
二、不同職位的數據分析能力要求有什麼不一樣?
經過前面的分析,我們從整體上知道了數據分析師需要掌握的能力。但並不是說,這些能力全都掌握了你才能找到一份數據分析師的工作。因為不同的職位的要求不一樣的。在《職業發展前景:數據分析師的晉升通道》章節我們知道了數據分析相關職位的分類。
我把勝任力模型中的這些能力對應到不同的職位,就可以清楚的看到對應職位的能力要求(下圖)。
有一個誤區,很多人以為只要掌握了分析工具,就掌握了數據分析,其實不是的。從圖中,我們可以看出。各個數據分析職位都需要的能力是:業務知識、分析思維、PPT、溝通能力。這些能力才可以讓你從一個只會舞弄工具的普通職場人變成真正解決業務問題的職場高手。
很多人以為數據分析師需要掌握很高大的工具,其實不是的。例如騰訊里有一個崗位叫「商業數據分析師」,這聽起來很高大上。其實這個職位對應的就是上圖初級數據分析師的能力要求,也就是理論基礎(描述統計分析),分析工具(Excel),可視化工具(Excel)。
上圖中黃色標出的是相對於前一職位多出來的能力。中級數據分析師在初級數據分析師要求的能力上增加了分析工具(SQL),可視化工具(商業智能 BI)。高級數據分析師在中級數據分析師要求的能力上增加了理論基礎(推論統計分析),分析工具(Python)。
Excel、SQL、Python 要掌握到什麼程度?
我們知道了數據分析師最常用的分析工具是 Excel、SQL、Python。那麼問題就來了,這些分析工具具體掌握哪些內容呢?
Ⅱ 數據分析需要掌握那些基礎知識
具體如下:
1、數學知識。
數學知識是數據分析師的基礎知識。對於初級數據分析師,了解一些描述統計相關的基礎內容,有一定的公式計算能力即可,了解常用統計模型演算法則是加分。
對於高級數據分析師,統計模型相關知識是必備能力,線性代數(主要是矩陣計算相關知識)最好也有一定的了解。而對於數據挖掘工程師,除了統計學以外,各類演算法也需要熟練使用,對數學的要求是最高的。
2、分析工具。
對於初級數據分析師,玩轉Excel是必須的,數據透視表和公式使用必須熟練,VBA是加分。另外,還要學會一個統計分析工具,SPSS作為入門是比較好的。
對於高級數據分析師,使用分析工具是核心能力,VBA基本必備,SPSS/SAS/R至少要熟練使用其中之一,其他分析工具(如Matlab)視情況而定。
數據分析有極廣泛的應用范圍。典型的數據分析可能包含以下三個步:
1、探索性數據分析:當數據剛取得時,可能雜亂無章,看不出規律,通過作圖、造表、用各種形式的方程擬合,計算某些特徵量等手段探索規律性的可能形式,即往什麼方向和用何種方式去尋找和揭示隱含在數據中的規律性。
2、模型選定分析,在探索性分析的基礎上提出一類或幾類可能的模型,然後通過進一步的分析從中挑選一定的模型。
3、推斷分析:通常使用數理統計方法對所定模型或估計的可靠程度和精確程度作出推斷。
Ⅲ 數據分析需要掌握些什麼知識
1)具有業務敏感度,反應迅速,能夠良好溝通;
2)具有數據分析和數據倉庫建模的項目實踐經驗;
3)3年及以上數據分析經驗,有互聯網產品、運營分析經驗;
4)熟悉R、SAS、SPSS等統計分析軟體,熟練運用Python,熟練使用 SQL、Hive等;
5)本科或以上學歷,數學、統計、計算機、運籌學等相關專業;
那麼對於正在入門階段的同學們應該如何正確把握自己的學習方向呢?
從學科知識來看,數據分析涉及到一下的知識要點:
(1)統計學:參數檢驗、非參檢驗、回歸分析等
(2)數學:線性代數、微積分等
(3)社會學:主要是一些社會學量化統計的知識,如問卷調查與統計分析;還有就是一些社會學的知識,這些對於從事營銷類的數據分析人員比較有幫助
(4)經濟金融:如果是從事這個行業的數據分析人員,經濟金融知識是必須的,這里就不多說了
1)數據分析報告類:Microsoft Office軟體等,如果連excel表格基本的處理操作都不會,連PPT報告都不會做,那我只好說離數據分析的崗位還差的很遠。現在的數據呈現不再單單只是表格的形式,而是更多需要以可視化圖表去展示你的數據結果,因為數據可視化軟體就不能少,BDP個人版、TABLUEA、Echart等這些必備的
(2)專業數據分析軟體:常見的有諸如SPSS、SAS、Matlab等等,這些軟體可以很好地幫助我們完成專業性的演算法或模型分析,還有高級的Python、R等。
(3)資料庫:hive、hadoop、impala等資料庫相關的知識可以學習;
(3)輔助工具:比如思維導圖軟體(如MindManager、MindNode Pro等)也可以很好地幫助我們整理分析思路。
Ⅳ 數據分析需要掌握哪些知識
1、數學知識。
數學知識是數據分析師的基礎知識。對於初級數據分析師,了解一些描述統計相關的基礎內容,有一定的公式計算能力即可,了解常用統計模型演算法則是加分。
對於高級數據分析師,統計模型相關知識是必備能力,線性代數(主要是矩陣計算相關知識)最好也有一定的了解。而對於數據挖掘工程師,除了統計學以外,各類演算法也需要熟練使用,對數學的要求是最高的。
2、分析工具。
對於初級數據分析師,玩轉Excel是必須的,數據透視表和公式使用必須熟練,VBA是加分。另外,還要學會一個統計分析工具,SPSS作為入門是比較好的。
對於高級數據分析師,使用分析工具是核心能力,VBA基本必備,SPSS/SAS/R至少要熟練使用其中之一,其他分析工具(如Matlab)視情況而定。
3、編程語言。
對於初級數據分析師,會寫SQL查詢,有需要的話寫寫Hadoop和Hive查詢,基本就OK了。對於高級數據分析師,除了SQL以外,學習Python是很有必要的,用來獲取和處理數據都是事半功倍。當然其他編程語言也是可以的。
Ⅳ 數據分析師需要具備哪些基礎知識
【導讀】在當前的大數據時代背景下,數據分析師的發展前景是比較廣闊的,未來傳統行業也會釋放出大量的數據分析崗位。要想成為數據分析師,需要具備三方面基礎知識,可以按照自身的知識結構進行階段性學習。
第一方面是數學基礎,第二方面是統計學基礎,第三方面是計算機基礎。要想在數據分析的道路上走得更遠,一定要注重數學和統計學的學習。數據分析說到底就是尋找數據背後的規律,而尋找規律就需要具備演算法設計能力,所以數學和統計學對於數據分析是非常重要的。
而要想快速成為數據分析師,則可以從計算機知識開始學起,具體點就是從數據分析工具開始學起,然後在學習工具使用的過程中,輔助演算法以及行業知識的學習。學習數據分析工具往往從Excel工具開始學起,Excel是目前職場人比較常用的數據分析工具,通常在面對10萬條以內的結構化數據時,Excel還是能夠勝任的。對於大部分職場人來說,掌握Excel的數據分析功能能夠應付大部分常見的數據分析場景。
在掌握Excel之後,接下來就應該進一步學習資料庫的相關知識了,可以從關系型資料庫開始學起,重點在於Sql語言。掌握資料庫之後,數據分析能力會有一個較大幅度的提升,能夠分析的數據量也會有明顯的提升。如果採用資料庫和BI工具進行結合,那麼數據分析的結果會更加豐富,同時也會有一個比較直觀的呈現界面。
數據分析的最後一步就需要學習編程語言了,目前學習Python語言是個不錯的選擇,Python語言在大數據分析領域有比較廣泛的使用,而且Python語言自身比較簡單易學,即使沒有編程基礎的人也能夠學得會。通過Python來採用機器學習的方式實現數據分析是當前比較流行的數據分析方式。
關於數據分析師需要具備哪些基礎知識,小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣,希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素大數據工程師具備能力等內容,可以點擊本站的其他文章進行學習。
Ⅵ 數據分析需要掌握些什麼知識
1、數學知識:數學是每一位數據分析師必學的基礎知識,對於初級數據分析師來講,必須要具備一定的公式計算能力,並且要了解常用的模型演算法。
2、分析工具:對於初級分析師來看,必須要學會玩轉excel,並且要將透視表和公式使用的比較熟練。除此之外,還要學會VBA基本必備,SPSS/SAS/R等分析工具的使用。
3、編程語言:初級的數據分析師,是必須要會寫SQL查詢,有需要的可以寫一下Hadoop和Hive查詢。另外,還要學習好Python,這都是具備的基礎語言。
4、業務理解:業務理解對於每一位數據分析來說也是基礎的知識,主要包括獲取方案以及指標的選取還有最終結論洞察等各個方面的內容。