㈠ 怎麼培養數據分析的能力
數據分析需要哪些思維/能力/知識呢?
比如,數據分析思維、結構化思維、公式化思維、學法體系的思維.......這些思維幫助你,即使碰到自己不熟悉的問題,也能從一定的角度切入分析並保持清晰的邏輯;
一定的業務理解能力,能理解業務背後的商業思路。只有理解問題,才能轉換成數據分析的問題,才知道如何設定分析目標並進行分析;
基礎理論知識:數理統計、模型原理、近期市場的調研等;
常規分析工具的使用:常用辦公軟體(Excel、PPT、思維導圖)、資料庫、統計分析工具、數據挖掘等;
數據報告和數據可視化的能力。數據分析得再好,如果不能以簡潔易懂的方式「表達」,成效也會大打折扣。
等等等,諸如此類的基本知識能力貯備......
那麼想要提升這些能力該做點什麼呢?下面具體來說說怎麼做能把這些基礎實力打好。
從分析理論和工具實踐著手
1、分析理論
分析理論包括:明確業務場景、確定分析目標、構建分析體系和梳理核心指標。
我們要做的就是,首先明確是什麼樣的業務場景,不同的業務,分析體系也隨之不同;然後,結合業務問題確定分析的目標,列出核心指標,再搜集整理所需要的數據。
推薦書籍:《數據化管理》、《決戰大數據 》
數據分析的幾個步驟:
(1)數據獲取
數據獲取往往看似簡單,但是它需要分析者對問題進行商業理解,即轉化成數據問題來解決,如,需要哪些數據,從哪些角度來分析等,在界定了這些問題後,再進行數據採集。
此環節,需要數據分析師具備結構化的邏輯思維。
推薦書籍:《金字塔原理》、麥肯錫三部曲:麥肯錫意識、工具、方法
推薦工具:思維導圖工具(Xmind網路腦圖等)
(2)數據處理
數據的處理需要掌握有效率的工具:
Excel及高端技能:
基本操作、函數公式、數據透視表、VBA程序開發。
我一般會先過一遍基礎,知道什麼是什麼,然後找幾個case練習。多逛逛excelhome論壇,平常多思考如何用excel來解決問題,善用插件,還有記得保存。
專業的報表工具:
(成規模的企業會用)日常做報表可以設計一個通用模板,只要會寫SQL就可上手。
相比excel做報表,這種工具開發的技術要求較低,能很快地開發常規報表、動態報表。
資料庫的使用:
熟練掌握SQL語言(很重要!!!),常見的有Oracle、SQL sever、My SQL等。
學習流行的hadoop之類的分布式資料庫來提升個人能力,對求職等都會有所幫助。
(3)分析數據
分析數據往往需要各類統計分析模型,如關聯規則、聚類、分類、預測模型等等。
因此,熟練掌握一些統計分析工具不可免:
lPSS系列:老牌的統計分析軟體,SPSS Statistics(偏統計功能、市場研究)、SPSS Modeler(偏數據挖掘),不用編程,易學。
SAS:經典挖掘軟體,需要編程。
R:開源軟體,新流行,對非結構化數據處理效率上更高,需編程。
各類BI工具:Tableau、PowerBI、FineBI,對於處理好的數據可作自由的可視化分析,圖表效果驚人。
推薦書籍:
《說菜鳥不會數據分析》系列,入門級書,初學者最適。
《數據挖掘與數據化運營實戰,思路、方法、技巧與應用》,內容很系統很全面。
《市場研究定量分析方法與應用》,簡明等編著,中國人民大學出版社。
(4)數據可視化呈現
很多數據分析工具已經涵蓋了數據可視化部分,這時就只需要把數據結果進行有效的呈現和演講匯報即可,可用word\PPT\H5等方式展現。
2、工具實踐
(1)對於入門小白,建議從Excel工具入手,這里以Excel為例:
學習Excel是一個循序漸進的過程:
基礎的:簡單的表格數據處理、列印、查詢、篩選、排序
函數和公式:常用函數、高級數據計算、數組公式、多維引用、function
可視化圖表:圖形圖示展示、高級圖表、圖表插件
數據透視表、VBA程序開發......
多逛逛excelhome論壇,平常多思考如何用excel來解決問題,學慣用各種插件,對能夠熟練使用Excel都有幫助。
其中,函數和數據透視表是兩個重點。
函數
製作數據模板必須掌握的excel函數:
日期函數:day,month,year,date,today,weekday,weeknum 日期函數是做分析模板的必備,可以用日期函數來控制數據的展示,查詢指定時間段的數據。
數學函數:proct,rand,randbetween,round,sum,sumif,sumifs,sumproct
統計函數:large,small,max,min,median,mode,rank,count,countif,countifs,average,averageif,averageifs 統計函數在數據分析中具有舉足輕重的作用,求平均值,最大值,中位數,眾位數都用得到。
查找和引用函數:choose,match,index,indirect,column,row,vlookup,hlookup,lookup,offset,getpivotdata 這幾個函數的作用不用多說,特別是vlookup,不會這個函數基本上復雜報表寸步難行。
文本函數:find,search,text,value,concatenate,left,right,mid,len 這幾個函數多半用在數據整理階段使用。
邏輯函數:and,or,false,true,if,iferror
(以上學會,基本能秒殺90%的辦公室白領!)
數據透視表
數據透視表的作用是把大量數據生成可交互的報表,它具有這樣一些重要功能:分類匯總、取平均、最大最小值、自動排序、自動篩選、自動分組;可分析佔比、同比、環比、定比、自定義公式等
現實中,取數或報表+EXCEL+PPT似乎還是主流形式。
工具上,無論是業務人員還是分析人員,都可以通過自動取數工具或者BI工具來製作報表,減少重復操作的時間。
其次,增加與業務人員的溝通,充分了解業務需求,當你的業務水平和他們差不多甚至更高時,自然而然知道他們一言兩語背後真實的需求是什麼了。
最後,站在更高角度上,報表的基本粒度就是指標,可梳理出企業的基本指標體系,從經營分析的角度去做報表,把報表的工作標准化,降低報表的冗餘,避免動不動就做一張報表。標准化包括指標分類,指標命名,業務口徑,技術口徑,實現方式等等。其實,最終目的是實現報表數據一致性,減少重復報表開發,降低系統開銷的戰略性舉措。
在業余時間,可以多補充數理統計知識,學習R、Python語言,學習常用的挖掘模型,往高級分析師路上發展!
一起加油鴨!
以上,就是今天的分享,數據分析能力聽起來很大很抽象,雖是軟實力但卻是行業的硬要求!量變引起質變,一步步來,才能做到觸類旁通,做起項目才會越來越順手。
㈡ 數據分析師做成了提數工程師,該如何破局
最近收到了不少數據分析朋友的吐槽和抱怨:
Title 是數據分析,結果天天做著提數的工作,沒有技術含量分析結論都是運營和產品向老闆匯報,沒自己什麼事別人家的數據分析都是各種演算法和模型,為什麼到了自己就是提數和提數
上面這些情形不管是在大公司還是小公司都是很常遇見的,如果你經常處於類似的工作狀態下,那麼一定時間後,你將失去兩項核心競爭力:技術深度和業務深度。
本文聊一下三個內容:
為什麼數據分析會變成提數工程師
數據分析該如何改變提數工程師的命運,充分發揮數據分析的作用
聊一下其它崗位的類似情況
一、為什麼成了提數工程師?
為什麼做數據分析會變成提數工程師?我們來看一下數據分析的大致工作流程:
1. 問題提出;
2. 數據獲取;
3. 數據處理;
4. 數據分析與建模;
5. 數據結論輸出。
由於現在大部分互聯網公司的產品和運營相對更靠近業務,因此這兩個角色更容易發現和提出問題,如果數據分析師的主動性比較弱,那就會變成了如下這樣的工作分工:
【產品或運營】問題提出【數據分析】數據獲取【數據分析】數據處理【數據分析】數據分析與建模【產品或運營】數據結論輸出
也就是說,問題提出 這個重要的環節不屬於數據分析師負責,按照上面的模型運行的時間一長,數據分析基本就變成了幫助產品或運營驗證想法的工具。
因此我們可以得到第一個原因:問題提出權不在數據分析師,數據分析只能去實現產品和運營的想法!
如果問題不是由數據分析師提出,再加上數據分析師的主動性差一些,那就會變成這種情況:產品或運營提一個需求,分析師就按需求實現一下,不需要思考太多,按需求做就好。這樣的結果是,很多分析問題都會很簡單,因為產品和運營並不太了解數據分析師能提供的能力。
我們得到第二個原因:產品和運營可能會提出相對簡單的問題,數據分析機械去執行即可,不需要過多的技術深度。
在上述兩種原因的影響下,數據分析也會逐漸失去主動性,最終淪為提數工具。
二、如何優雅地進行數據分析工作
前面拋出了問題和可能的原因,那麼我們該如何去改進呢?畢竟沒有誰願意只做個機械的提數工具的。總的來講,主觀能動性是解決問題的最重要的因素。細分來講,可以從下面幾個角度來改變:
積極主動地發現和提出問題,如果產品或運營已經拋出了問題,那就去深入詳細的了解問題的背景提供更多的分析思路和自己的見解,幫助產品和運營同學打開思路,讓對方知道數據分析可以提供的能力持續跟進分析結論的效果和反饋,不斷改進和優化優化數據分析的流程,加入數據分析師可以更多參與的環節
舉個栗子
上面說的太虛,我們舉個例子來說明:
需求:
假設運營同學提出了這樣一個數據分析需求:最近我們網站的DAU降低了,麻煩你提個數據,看一下近30天我們各個模塊的DAU是什麼樣子的。
解決方案一:
假設我只是想簡單地完成這個需求,那麼很簡單,我只需要做這三件事即可:2. 數據獲取;3. 數據處理;4. 數據分析與建模。到這個場景裡面,可能就是從數據裡面撈一下我們網站數據裡面各個模塊的DAU情況,提供給運營就行了,不需要多復雜的處理,甚至如果有現成的報表,簡單導出來一個excel即可。
那麼當運營拿到數據後,就可以看出哪一個模塊的DAU降低,簡單看一下原因後寫在報告裡面即可。
解決方案二:
我們當然不希望是上面這種解決方案這么低的參與感。那麼,該如何做呢?
首先,我們可以改進我們的分析流程:
問題提出:通過監控或者主觀的數據敏感度,提前來發現相應的數據問題,比如DAU下降,是可以通過監控平台來提前發現DAU的下降確定分析目標和產品訴求:需求中只是要看各模塊的DAU趨勢,但運營同學更想要的是找到為什麼整體DAU會下降,找到原因並優化該問題。我們需要和運營童鞋溝通並get相應的點收集假設:運營同學提出要看各模塊的DAU,這只是運營提出的一種猜測,讓我們提相應的數據去驗證該猜測。我們既然知道了運營童鞋的訴求,在盲目地直接撈數據之前,可以提出一些假設,比如說:是不是某種瀏覽器的兼容出現了問題,是不是某種類型的用戶對我們的網站感興趣度降低了,是不是某個模塊出現了問題,等等。設計指標:有了假設,我們就可以根據相應的假設設計一些統計指標或者相應的分析方法,比如看不同用戶畫像的用戶近期的訪問情況、不同瀏覽器用戶的訪問情況、不同模塊的訪問情況。設計驗證方法和建模:有了假設,有了指標,我們就可以設計相應的方案來驗證我們的假設是否正確,這時就可以用到相應統計學和機器學習的方法,當然用戶畫像也是很重要的一環。確定分析結論和運營策略:最終,根據前面的步驟,我們再提供相應的分析結論給到運營側,此時,我們提供的就不是簡單的一個數據,而是一整套的數據分析報告。效果驗證和改進:一定要關注數據分析的效果,比如你的報告中提出了DAU降低是由於18-25歲年齡的用戶大量流失,相應的運營策略是增加年輕化的內容,那你就要關注該策略上線前後的數據變化,數據是否按照你們假象的方向來發展,如果不符合預期就要相應的做調整。
如此,這才是相對優雅的數據分析流程。
在改進分析流程之外,我們可以提供更多的自助分析工具,比如BI工具。讓產品和運營能夠更多地自助驗證自己的想法,將數據分析師的工作從提數中解脫。這一塊,我之前寫過不少用BI工具來做分析的方案,就不再展開細講。
三、思考
其實,除了數據分析師之外,數據倉庫和數據開發同學都會面臨類似的困境,在很多分工不明確的公司中,這種提數需求是可以落在任意的數據同學身上,不同的是各個角色解決該問題的角度是不同的。簡單來講:
數據分析師:更多地要去深入到業務的需求中去,幫助產品、運營或者老闆思考,通過更多的思考來幫助需求方設計更好的分析思路數據倉庫工程師:數倉同學的側重點更多地在數據模型的設計,設計出更靈活的數據模型來支持多樣性的分析提取需求數據開發工程師:開發同學呢,則可以更多地側重於工具的建設,比如OLAP系統的建設,自助分析工具的建設等等。總結
總結一下本文的內容:本文通過【數據分析師做成了提數工程師,該如何改變這種現狀?】 這一個問題,引出了造成這種現象的兩大原因:
問題提出權不在數據分析師,數據分析只能去實現產品和運營的想法!產品和運營可能會提出相對簡單的問題,數據分析機械去執行即可,不需要過多的技術深度。
針對這兩個原因,我們提出了兩個解決方法:改進分析流程提供更多的自助分析工具
㈢ 如何做數據分析
數據分析行業應用,一般數據來源:智能手機 感知裝置 物聯網 社群媒體等 雲計算存儲.cda官網有很多行業案例,比如
風能發電業務場景
風力發電機有一個葉片,時間長了就要換,否則不安全,過去這個葉片一般10年換一次,因為沒辦法知道具體產品的使用情況,只能根據以往葉片老化的情況來估算。但這家公司在葉片上裝了感測器,就能檢測每個葉片的具體使用情況了,風大的地方,葉片老化快,可能8年就要換,風力均勻的地方,有些葉片可能用15年,這樣就能節省資本更新的成本了。
而且,過去這家公司只生產設備,這些設備被賣到國外,具體安裝到什麼地方,他是不知道的,有了感測器,公司就能知道這些發電機被安裝到哪裡,這些地方的風力是大是小,一年四季哪天有風哪天有雨,這些數據都可以獲取。根據這些數據,就能知道哪些地區風力資源豐富,有重點地規劃未來市場。傳統的行業利用大數據,就能更好地實現市場預判和銷售提升,分分鍾實現逆襲。
㈣ 數據分析師要學什麼來提升自己
想了解數據分析師的職業規劃或學習計劃,由此來提升自己的技能和專業知識,我覺得最准確最有針對性一個方法就是查閱招聘崗位的工作要求,這樣我們就可以有的放矢地好好專研自己的學習。我們看一下以下這條招聘要求:
1.負責大數據平台的規劃、分析、設計工作,把握整體架構,進行相關技術方案文檔的撰寫;
2.負責大數據平台的部署、開發、維護工作;
3.與BI分析人員協作,完成面向業務目標的數據分析模型定義和演算法實施工作;
4.承擔相關技術領域的探索與儲備。
任職要求:
1.大學本科以上學歷,熟練掌握C/C++或者JAVA;
2.熟悉各種常用數據結構及演算法,對linux下的網路資料庫開發有足夠經驗;
3.有2年以上C++實戰經驗者優先;
4.有大數據挖據方面經驗和技能者優先;如hadoop、hbase、hive等;
5.善於與其他部門的成員溝通、協作。
還有一個招聘要求是:
崗位職責:
1、理解並挖掘用戶需求,進行數據建模;
2、利用專業統計、分析工具從海量數據中總結規律、挖掘潛在價值,提供決策依據。
任職要求:
1、數學類、統計類、計算機類、人工智慧類相關專業本科及以上學歷,2年左右專職數據分析、挖掘經驗,優秀的應屆碩士也可;
2、良好的數據敏感性,善於從海量數據中提取有效信息進行分析挖掘和建模;
3、熟練掌握任一種分析工具,例SPSS、SAS、R語言、MatLab;
4、熟悉資料庫技術,如oracle、SQL、MongoDB;
5、對於數學建模、數據挖掘、Hadoop大數據有經驗者優先。
我想,你看到這,應該是對數據分析工程師有了非常明晰的看法,好好加油ba !
㈤ 數據分析師主要做什麼
數據分析是干什麼的?
在企業里收集數據、計算數據、提供數據給其他部門使用的。
數據分析有什麼用?
從工作流程的角度看,至少有5類分析經常做:
工作開始前策劃型分析:要分析一下哪些事情值得的做
工作開始前預測型分析:預測一下目前走勢,預計效果
工作中的監控型分析:監控指標走勢,發現問題
工作中的原因型分析:分析問題原因,找到對策
工作後的復盤型分析:積累經驗,總結教訓
㈥ 數據分析師常用的數據分析思路
01 細分分析
細分分析是數據分析的基礎,單一維度下的指標數據信息價值很低。
細分分析法可以大致分為兩類,一類是逐步分析,如:來北京市的訪客可分為朝陽和海淀等區;另一類是維度交叉,如:來自付費SEM的新訪客。
02 對比分析
對比分析主要是把兩個有關聯的數據指標進行相互比較,從數量上說明和展現研究對象的規模大小,水平的高低,速度快慢等方面的相對值,然後通過在一樣的維度下的指標數據對比,可以發現,找出業務在不同階段的問題。
03 漏斗分析
轉化漏斗分析是數據分析師進行業務分析的基本模型,我們最經常見的就是把最終的轉化設置為某種目的的實現,最典型的就是完成交易。但也可以是其他任何目的的實現,比如一次使用app的時間超過10分鍾。
04 同期群分析
同期群(cohort)分析在數據分析運營領域相當重要,尤其是互聯網運營,特別需要仔細觀察留存的情況。通過對性質完全一樣的可對比群體的留存情況的比較,來分析哪些因素影響用戶的留存。
05 聚類分析
聚類分析具有簡單,直觀的特徵,網站分析中的聚類主要分為:用戶,頁面或內容,來源。
用戶聚類主要體現為用戶分群,用戶標簽法;頁面聚類則主要是相似,相關頁面分組法;來源聚類主要包括渠道,關鍵詞等。
06 AB測試
增長黑客的一個主要思想之一,是千萬不要做一個大又全的東西,相反是需要不斷做出能夠快速驗證的小而精的東西。快速驗證,那如何驗證呢?主要方法就是AB測試。
07 埋點分析
只有採集了足夠的基礎數據,才能通過各種分析方法得到需要的分析結果。
通過分析用戶行為,並細分為:瀏覽行為,輕度交互,重度交互,交易行為,對於瀏覽行為和輕度交互行為的點擊按鈕等事件,因其使用頻繁,數據簡單,採用無埋點技術實現自助埋點,即可以提高數據分析的實效性,需要的數據可立即提取,又大量減少技術人員的工作量,需要採集更豐富信息的行為。
08 來源分析
流量紅利消失,我們對獲客來源的重視度極高,如何有效的標注用戶來源,至關重要。
傳統分析工具,渠道分析僅有單一維度,要深入分析不同渠道不同階段效果,SEM付費搜索等來源渠道和用戶所在地區進行交叉分析,得出不同區域的獲客詳細信息,維度越細,分析結果也越有價值。
09 用戶分析
眾所周知,用戶分析是互聯網運營的核心環節,通常用到的分析方法有:活躍分析,留存分析,用戶分群,用戶畫像,用戶細查等。可將用戶活躍細分為瀏覽活躍,互動活躍,交易活躍等,通過活躍行為的細分,掌握關鍵行為指標。
10 表單分析
表單分析中的填寫表單,這個環節是每個平台與用戶交互的必有環節,一份完美的表單設計,對客戶轉化率的提升有至關重要的作用。
用戶進入表單頁面,這時候就已經產生了微漏斗,從進入的總共的人數到最後完成,並且成功提交表單人數,這個過程之中,有多少人開始填寫表單,填寫表單時,遇到了什麼困難導致無法完成表單,都影響最終的轉化效果。
有關數據分析師常用的數據分析思路的內容,青藤小編就和您分享到這里了。如果您對互聯網大數據有著濃厚的興趣,希望這篇文章可以為您提供幫助。如果您還想了解更多關於大數據、數據分析師的技巧及素材等內容,可以點擊本站的其他文章進行學習。
㈦ 數據分析師每天做什麼
數據治理流程涉及到多部門多崗位的分工協作,數據分析師在這個流程中也承擔了重要的角色。
數據分析師的職責真的不止是分析,除了分析之外,數據分析師需要參與到數據規劃、數據採集過程中,而在數據應用過程中也需要完成指標體系、報表體系的建設以及部分臨時的數據查詢需求。
數據分析師當然也少不了分析,包括了各類活動效果分析、版本變化分析、用戶分析、流失分析等等。
一份好的分析報告能夠給業務的發展提供多種思路,也是分析師最重要的價值體現。
數據分析師在數據治理流程中需要撰寫數據埋點文檔、搭建數據指標體系、報表體系以及分析業務問題
㈧ 數據分析需要做什麼呀
收集數據
數據分析師的工作第一步就是收集數據,如果是內部數據,可以用SQL進行取數,如果是要獲取外部數據,數據的可靠真實性和全面性其實很難保證。在所有獲取外部數據的渠道中,網路採集越來越受到大家的關注。網路採集最常用的方法是通過爬蟲獲取數據,相比較而言,編寫爬蟲程序獲取到的海量數據更為真實、全面,在信息繁榮的互聯網時代更為行之有效。如果是分布式系統的大數據,使用Hadoop和Apache Spark兩者進行選取和清理。
數據清洗
是整個數據分析過程中不可缺少的一個環節,其結果質量直接關繫到模型效果和最終結論。在實際操作中,數據清洗通常會占據分析過程的50%—80%的時間。國外有些學術機構會專門研究如何做數據清洗,相關的書籍也不少。需要進行處理的數據大概分成以下幾種:缺失值、重復值、異常值和數據類型有誤的數據。
數據可視化
數據可視化是為了准確且高效、精簡而全面地傳遞出數據帶來的信息和知識。可視化能將不可見的數據現象轉化為可見的圖形符號,能將錯綜復雜、看起來沒法解釋和關聯的數據,建立起聯系和關聯,發現規律和特徵,獲得更有商業價值的洞見和價值。在利用了合適的圖表後,直截了當且清晰而直觀地表達出來,實現了讓數據說話的目的。人類右腦記憶圖像的速度比左腦記憶抽象的文字快100萬倍,這也就是為什麼數據可視化能夠加深和強化受眾對於數據的理解和記憶。
所處行業的數據方向建設和規劃
不同行業和領域的側重點是不同的,對一個領域有了充分的理解和在該領域深入從事的經驗,進而體現在數據分析上時,能夠更好地發現並定義出實際的問題,也就可以在數據分析之後更符合行業發展規律地去改進問題。
數據報告展示
最可以體現數據分析師價值的點就在於通過數據給業務帶來價值。數據分析師作為業務與IT的橋梁,與業務的需求溝通是其實是數據分析師每日工作的重中之重。在明確了分析方向之後,能夠讓數據分析師的分析更有針對性。如果沒和業務溝通好,數據分析師就開始擼起袖子幹活了,往往會是白做了。最後結果的匯總體現也非常重要,不管是PPT、郵件還是監控看板,選擇最合適的展示手段,將分析結果展示給業務團隊。