Ⅰ 什麼是大數據及大數據技術
別再忽視大數據了，努力固然重要，但是把握住時代發展潮流，選擇好方向也必不可少，甚至更重要。
目前企業提供的大數據崗位按照工作內容要求，可以分為以下幾類：
①初級分析類，包括業務數據分析師、商務數據分析師等。②挖掘演算法類，包括數據挖掘工程師、機器學習工程師、深度學習工程師、演算法工程師、AI工程師、數據科學家等。③開發運維類，包括大數據開發工程師、大數據架構工程師、大數據運維工程師、數據可視化工程師、數據採集工程師、資料庫管理員等。④產品運營類，包括數據運營經理、數據產品經理、數據項目經理、大數據銷售等。
大數據本身是一個抽象的概念。從一般意義上講，大數據是指無法在有限時間內用常規軟體工具對其進行獲取、存儲、管理和處理的數據集合。
目前，業界對大數據還沒有一個統一的定義，但是大家普遍認為，大數據具備 Volume、Velocity、Variety 和 Value 四個特徵，簡稱「4V」，即數據體量巨大、數據速度快、數據類型繁多和數據價值密度低，如圖 1 所示。下面分別對每個特徵作簡要描述。
1）Volume：表示大數據的數據體量巨大。
數據集合的規模不斷擴大，已經從 GB 級增加到 TB 級再增加到 PB 級，近年來，數據量甚至開始以 EB 和 ZB 來計數。
例如，一個中型城市的視頻監控信息一天就能達到幾十 TB 的數據量。網路首頁導航每天需要提供的數據超過 1-5PB，如果將這些數據列印出來，會超過 5000 億張 A4 紙。圖 2 展示了每分鍾互聯網產生的各類數據的量。
2）Velocity：表示大數據的數據產生、處理和分析的速度在持續加快。
加速的原因是數據創建的實時性特點，以及將流數據結合到業務流程和決策過程中的需求。數據處理速度快，處理模式已經開始從批處理轉向流處理。
業界對大數據的處理能力有一個稱謂——「 1 秒定律」，也就是說，可以從各種類型的數據中快速獲得高價值的信息。大數據的快速處理能力充分體現出它與傳統的數據處理技術的本質區別。
3）Variety：表示大數據的數據類型繁多。
傳統 IT 產業產生和處理的數據類型較為單一，大部分是結構化數據。隨著感測器、智能設備、社交網路、物聯網、移動計算、在線廣告等新的渠道和技術不斷涌現，產生的數據類型無以計數。
現在的數據類型不再只是格式化數據，更多的是半結構化或者非結構化數據，如 XML、郵件、博客、即時消息、視頻、照片、點擊流、 日誌文件等。企業需要整合、存儲和分析來自復雜的傳統和非傳統信息源的數據，包括企業內部和外部的數據。
4）Value：表示大數據的數據價值密度低。
大數據由於體量不斷加大，單位數據的價值密 度在不斷降低，然而數據的整體價值在提高。以監控視頻為例，在一小時的視頻中，有用的數據可能僅僅只有一兩秒，但是卻會非常重要。現在許多專家已經將大數據等同於黃金和石油，這表示大數據當中蘊含了無限的商業價值。
通過對大數據進行處理，找出其中潛在的商業價值，將會產生巨大的商業利潤。
Ⅱ 數據分析需要掌握些什麼知識
我們先從整體上了解數據分析師要掌握的技能有哪些，然後再從具體職位類別來看，不同的職位具體要掌握的技能有哪些。
這樣你就能根據自己的實際情況，有針對性的准備和學習。
一、數據分析的勝任力模型是什麼？
從整體上來看，數據分析師需要掌握的能力有很多，從總體上可以分為以下幾類，這些能力構成了數據分析師的能力模型。
1）理論基礎，包括統計學
2）數據分析工具，常用的分析工具有 Excel，SQL，Python 等
3）可視化工具，常用的有 Excel，商業智能(Business Intelligence,BI)
4）業務知識，包括常用的指標、某行業的業務流程
5）數據分析思維，包括常用的分析方法
6）通用能力，包括 PPT、溝通能力
下面我們來詳細看下每一種能力的要求。
理論基礎：統計學
數據分析背後的理論基礎是統計學。所以，掌握了統計學以後我們才能去看懂數據表達的意義是什麼。舉個例子，給你一家公司員工的工資，是平均值能代表這家公司的工資水平，還是中位數能代表？
如果沒學過統計學，那麼可能只認識這里的平均值，而不知道中位數這個知識。但是，如果你學過了統計學就會知道，中位數比平均值更能反映出數據的集中表現。
統計學的內容比較多，詳細又可以分為兩類內容：描述統計分析、推論統計分析。
什麼是描述統計分析？
對大量信息進行歸納是處理數據時最基本的任務。中國約有 14 億人，一張記錄每位中國人的姓名和收入的電子表格包含了我們衡量這個國家經濟健康狀況所需的所有信息，通常我們也將多個數據集合在一起的東東叫「簡稱數據集」。但這張信息過量的表格其實相當於什麼都沒有告訴我們。這就是讓人覺得諷刺的地方：經常是數據越多，事實越模糊。
因此，我們需要簡化，將一系列復雜的數據減少為幾個能夠起到描述作用的數字，正如奧運會體操比賽中，我們將一套多難度組合的復雜動作濃縮為一個得分：9.8 分。
描述統計分析就是將一系列復雜的數據減少為幾個能夠起到描述作用的數字，用這些有代表性的數字來代表所有的數據。這樣在面對一大堆數據時，你可在不知道所有數據的情況下就能知道數據的整體情況。
這就好比，我們通常一說起美女，能想到的是這樣幾個指標：長腿，大眼睛，臉蛋好看。雖然全國有那麼多美女，你也沒有見過全部的美女，但是你卻能通過這樣幾個代表美女的指標就可以大概知道什麼是美女。
同樣的，描述統計學的關鍵點在於，找到幾個關鍵的數字來描述數據的整體情況。那麼，問題就來了，能擔當起這樣重要責任的數字有哪些呢？描述數據的整體情況，我們可以用 4 個指標來做，分別是：平均值、四分位數、標准差和標准分。例如，前面我們在拿到工資數據，就可以用「中位數」這樣的數字來描述工資的整體情況。
所以，描述統計分析就是掌握 4 個指標：平均值，四分位數，標准差和標准分。
什麼是推論統計分析？
推論統計分析就是通過樣本來推斷出總體。需要掌握的知識包括概率分布、中心極限定、如何用樣本估計總體、置信區間、假設檢驗。例如，互聯網常用的 AB 測試背後的原理就是假設檢驗，如果不掌握推論統計分析，那麼連 AB 測試的結果也看不懂，更不用說完成一個 AB 測試實驗。
2.數據分析工具
很多人看到現在 Python 很火，就不管自己的能力水平如何，就一頭扎進學習 Python 的大潮，最後發現其實自己學不會，或者學完用不上。
這其實是不對的，真正工作里最常用的數據分析工具其實是 Excel，SQL。所以，如果你的零基礎，不建議一上來就學 Python，而是先學會 Excel 分析數據，然後學會 SQL。
這樣你學會了常用的分析工具，然後再學 Python 才是加分項。同時，這樣學習的順序還有一個好處，如果你是零基礎沒學過編程，一上來學 Python，大概率是學不會的。但是如果你學過用 Excel、SQL 處理數據，那麼就具備了一定的基礎，再學 Python，很多概念就會理解起來比較容易。
這就好比，一個嬰兒不是一上來就學習跑步（Python），而是先把走路學會，具備了走路（Excel、SQL）的基礎，再跑步就容易多了。
需要注意的是，除非是工作必須要求的，其他少部分公司用的工具其實不需要學習。比如有些公司要求其他編程語言，例如 R、SPSS、SAS 這些工具。
現在 Pyhon 已經是人工智慧排名第一的編程語言了，大部分公司要求 Python，很少部分的公司要求其他的編程語言，所以學習市場要求最多的那個技能才能找到更多機會。如果你學習了少部分公司才要求的工具，那麼意味著你找工作或者跳槽只能選擇這些公司，而會錯失其他大部分公司的求職機會，對你整個職業生涯不利。
TIOBE 編程語言排行榜是全球編程語言流行趨勢的一個指標，每月更新，官網地址（https://www.tiobe.com/tiobe-index）。下圖是 2021 年 2 月份排名前 10 的編程語言的變化圖，其中橙色曲線是 Python，我們會發現 Python 的流行趨勢越來越高。
3.可視化工具
常用的可視化工具包括 Excel、商業智能（BI）。
一般的可視化圖表用 Excel 里的圖表功能就可以實現，而且使用起來也方便。如果是要經常做報表，並且要求實現報表自動化，那麼就需要用到商業智能（BI）工具。
那什麼是商業智能(BI)呢？
微軟官方給的定義是「使用用於自助服務和企業商業智能 (BI) 的統一、可擴展平台（該平台易於使用，可幫助獲取更深入的數據見解），連接到任何數據並對數據進行可視化。 」
毫無懸念，看這種官方定義就是看不懂。簡單來說就是把數據導入商業智能(BI)工具中，就可以快速對數據可視化。例如下圖就是把數據導入用商業智能(BI)工具中，通過可視化數據來分析。
IDC《2019 年下半年中國商業智能軟體市場數據跟蹤報告》顯示，在中國商業智能軟體子市場中，報表分析仍是目前市場最主要的需求，2019 年全年年市場份額佔比為 79.0%。高級分析和預測分析市場份額佔比 21.0%（下圖）。
常用的商業智能（BI）工具有哪些呢？
目前使用最多的商業智能（BI）工具是 Power BI、Tableau、帆軟，選擇其中任意一種學習就可以了。
4.業務知識
因為數據分析是用來解決具體行業問題的，需要從業務的角度出發，了解各個指標，以及每個指標之間的關系，還需要聯系業務去理解數據。所以，工作中數據分析脫離不了業務，在分析中要找到導致問題發生的根本原因，而不只是單純的統計數據。
因此需要具備某個行業的業務知識才能去理解這個行業里的術語、業務問題等。
業務知識包括某個行業的常用指標、業務流程。需要注意的是，不同行業的指標、業務流程是不一樣的，所以需要學習的時候針對你的目標行業去學習准備。例如，下圖分別是金融信貸行業、在線教育行業的業務流程。
金融信貸行業業務流程（來自書《數據分析思維》）
在線教育業務流程（來自書《數據分析思維》）
如果是剛入門，這塊內容做到了解即可，等進入工作以後，再慢慢深入業務，積累業務經驗。具體某個行業的常用指標、業務流程可以看書《數據分析思維》，這本書里涉及了 10 多個行業的指標、業務流程。
5.數據分析思維
在數據分析相關的職位里經常會寫這么一條招聘要求「具備數據分析思維」。在工作或者面試中，會經常聽到分析思維、分析思路、分析方法。這三個詞語有什麼關系呢？其實簡單來說，它們都是指分析方法。
數據分析思維需要你掌握 10 種常用的分析方法。
數據分析 10 種常用的分析方法
如果你的分析目的是想將復雜問題變得簡單，就可以使用邏輯樹分析方法，例如經典的費米問題就可以用這個分析方法。
如果你的分析目的是做行業分析，那麼就可以用 PEST 分析方法，例如你想要研究中國少兒編程行業。
如果你想從多個角度去思考問題，那麼就可以用多維度拆解分析方法，例如找相親對象，需要從多個角度去分析是否合適。
如果你想進行對比分析，就要用到對比分析方法，例如你朋友問自己胖嗎，就是在對比。
如果你想找到問題發生的原因，那麼就要用到假設檢驗分析方法，其實破案劇里警察就是用這個方法來破案的。
如果你想知道 A 和 B 有什麼關系，就要用到相關分析方法，例如豆瓣在我們喜歡的電影下面推薦和這部分電影相關的電影。
如果你想對用戶留存和流失分析，就要用到群組分析方法，例如微博用戶留存分析。
如果你想對用戶按價值分類，那麼就要用到 RFM 分析方法，例如信用卡的會員服務，就是對用戶按價值分類，對不同用戶使用不同的營銷策略，從而做到精細化運營。
如果你想分析用戶的行為或者做產品運營，就要用到 AARRR 模型分析方法，例如對拼多多的用戶進行分析。
如果你想分析用戶的轉化，就要用到漏斗分析方法，例如店鋪本周銷量下降，想知道是中間哪個業務環節出了問題。
6.通用能力
通用能力包括 PPT 製作分析報告、溝通能力。
在工作中，要經常做分析結果做成數據分析報告，然後展示給業務部門、上級領導、客戶等，而這種展示數據分析報告的場景常用的工具就是 PPT，所以就要求你會用 PPT 製作數據分析報告，有較好的的文字、書面總結能力。
職業社交網站領英發布的《2018 新興工作崗位報告》報告里說，最大的技能缺口是軟技能，比如口頭交流、領導力和時間管理等。這份報告中建議，職場人士需要在快速變化的工作環境中，學習並保持軟技能，因為擁有這些技能的人才具備更大的職場優勢。
其實，任何職位都需要溝通能力，但是，數據分析師對溝通能力的要求更高。因為，數據分析師解決的是實際的問題，需要跨部門溝通業務，做好的數據分析報告也要展示給各個部門、領導、客戶，只有好的溝通能力，才能讓你的分析結果得到用戶的認可。 那麼這些通用能力如何提升呢？最直接的方式，就是通過寫文章來提升。
通過寫作可以同時提升你下面 3 個能力：
1）邏輯能力
寫作的本質其實是把一件事情講清楚，而邏輯能力強的人寫出來的內容，讀起來更順暢。
2）文字表達能力
數據分析師要經常做數據分析報告，和通過郵件匯報分析結果。這體現的其實就是文字表達能力，提高這個能力的辦法就是不斷去寫作。
3）溝通能力
寫作其實就是把想說的話通過文字和你的用戶去溝通。另外，經常在社群里提問和解答他人的問題，也可以提高你的溝通能力。你會看到不同人提問的水平是不一樣的，有的人可以完整的把一個問題描述清楚，有的人說完，其他人也不明白他的問題是什麼。這其實就是體現了溝通能力。
二、不同職位的數據分析能力要求有什麼不一樣？
經過前面的分析，我們從整體上知道了數據分析師需要掌握的能力。但並不是說，這些能力全都掌握了你才能找到一份數據分析師的工作。因為不同的職位的要求不一樣的。在《職業發展前景：數據分析師的晉升通道》章節我們知道了數據分析相關職位的分類。
我把勝任力模型中的這些能力對應到不同的職位，就可以清楚的看到對應職位的能力要求（下圖）。
有一個誤區，很多人以為只要掌握了分析工具，就掌握了數據分析，其實不是的。從圖中，我們可以看出。各個數據分析職位都需要的能力是：業務知識、分析思維、PPT、溝通能力。這些能力才可以讓你從一個只會舞弄工具的普通職場人變成真正解決業務問題的職場高手。
很多人以為數據分析師需要掌握很高大的工具，其實不是的。例如騰訊里有一個崗位叫「商業數據分析師」，這聽起來很高大上。其實這個職位對應的就是上圖初級數據分析師的能力要求，也就是理論基礎（描述統計分析），分析工具（Excel），可視化工具（Excel）。
上圖中黃色標出的是相對於前一職位多出來的能力。中級數據分析師在初級數據分析師要求的能力上增加了分析工具（SQL），可視化工具（商業智能 BI）。高級數據分析師在中級數據分析師要求的能力上增加了理論基礎（推論統計分析），分析工具（Python）。
Excel、SQL、Python 要掌握到什麼程度？
我們知道了數據分析師最常用的分析工具是 Excel、SQL、Python。那麼問題就來了，這些分析工具具體掌握哪些內容呢？
Ⅲ excel里的數據分析相關性，方差分析的各個指標是什麼含義
我想你的第一個表裡面的東西什麼含義不用我說了吧？下面我來說說第二個表--方差分析
SS代表離均差平方和，組間SS反映各組數據的差異性，其值等於兩列各自和的平方除以各自列內數據個數的和，再減去兩列的總和的平方除以總個數，比如你上面930*930/18+897*897/18-(930+897)*(930+897)/36=29.866；組內SS反映組內數據的變異情況，其值等於總SS-組間SS;總SS的演算法是兩列中每個數據的平方和減去兩列數據的總和的平方除以兩列數據的總個數；
df叫做自由度，組間df=列數-1，組內df=數據個數-列數
MS代表均方，這可以代替離均差平方和以消除各組內數據個數不同產生的影響，其值=SS/df
F值是組間均方除以組內均方得到，F值與1比較若接近1，說明組間的差異不具有統計學意義，若F遠大於1，說明組間差異具備統計學意義（F值越大代表兩組數據越不相關）
F crit是一個特定值，這個值可以通過查閱F界值表得到，一旦你的組數和組內數據個數確定，F crit值也就一定了（所謂特定值就這個意思）
P-VALUE檢驗假設成立條件下F值大於F crit的概率，不懂可以去學統計學的F檢驗