數據分析之前需要准備哪些

A. 數據分析的前期准備有哪些

（1）數據清理：數據清理是數據准備過程中最花費時間、最乏味，但也是最重要的步驟。該步驟可以有效減少學習過程中可能出現相互矛盾情況的問題。初始獲得的數據主要有以下幾種情況需要處理：含雜訊數據、錯誤數據、缺失數據、冗餘數據。
（2）數據集成：數據集成是一種將多個數據源中的數據（資料庫、數據立方體或一般文件）結合起來存放到一個一致的數據存儲(如數據倉庫)中的一種技術和過程。由於不同學科方面的數據集成涉及到不同的理論依據和規則，因此，數據集成可以說是數據預處理中比較困難的一個步驟。目前通常採用聯邦式、基於中間件模型和數據倉庫等方法來構造集成的系統，這些技術在不同的著重點和應用上解決數據共享和為企業提供決策支持。
（3）數據轉換：數據變換是採用線性或非線性的數學變換方法將多維數據壓縮成較少維數的數據，消除它們在空間、屬性、時間及精度等特徵表現的差異。這類方法雖然對原始數據通常都是有損的，但其結果往往具有更大的實用性。數據轉換的方法有數據平滑、數據聚集、數據概化、數據規范化、屬性構造等。
（4）數據歸約：數據經過去噪處理後，需根據相關要求對數據的屬性進行相應處理。數據規約就是在減少數據存儲空間的同時盡可能保證數據的完整性，獲得比原始數據小得多的數據，並將數據以合乎要求的方式表示。數據歸約方法主要有：數據立方體聚集、維規約、數據壓縮、數值壓縮、離散化和概念分層。

B. 數據分析一般有哪些准備工作

前幾天也和人探討了下數據分析，也順便和你說下，工作流程一般是這樣的：事前，採集歷史數據，分析數據關聯性，推測可能的模型和影響因子；
事中，採集線上數據，同前期規劃模型作比較，找到實際問題中的亟待解決的問題和模型改善，為進一步產品改進等做可能性、關聯性分析；
事後，歸納數據，發現自己分析的不足、考慮問題的全面性，為接下來的分析工作做經驗儲備； 簡單的講就是：
事前估計，為什麼會有這樣的預測，有什麼樣的數據或是模型支持此分析結果；
事中監測，有哪些突變或是自己尚未前瞻到的異常用戶數據，如何將其融合到新一輪的數據分析中，如何更好的為產品改進服務；
事後總結，在這次事件中有哪些問題，問題的原因出自哪裡，模型的問題還是客觀性或是其他問題，不斷提升自己的數據領悟力； 在數據分析中，重數據，卻不拘泥於數據；考慮模型，但要動態變化；不能為數據而數據，應該是客觀的評析數據，提出合理的分析結果；不斷在實踐中提升自己的感悟能力，這不是一朝一夕的事。數據既為上，又為己，希望你可以理解。

C. 數據分析師需要掌握哪些能力需要做哪些准備

• 數學知識

對於初級數據分析師來說，則需要了解統計相關的基礎性內容，公式計算，統計模型等。當你獲得一份數據集時，需要先進行了解數據集的質量，進行描述統計。

而對於高級數據分析師，必須具備統計模型的能力，線性代數也要有一定的了解。

• 分析工具

對於分析工具，SQL是必須會的，還有要熟悉Excel數據透視表和公式的使用，另外，還要學會一個統計分析工具，SAS作為入門是比較好的，VBA 基本必備，SPSS/SAS/R 至少要熟練使用其中之一，其他分析工具（如 Matlab）可以視情況而定。

• 編程語言

數據分析領域最熱門的兩大語言是 R 和 Python。涉及各類統計函數和工具的調用，R無疑有優勢。但是大數據量的處理力不足，學習曲線比較陡峭。Python 適用性強，可以將分析的過程腳本化。所以，如果你想在這一領域有所發展，學習 Python 也是相當有必要的。

當然其他編程語言也是需要掌握的。要有獨立把數據化為己用的能力, 這其中SQL 是最基本的，你必須會用 SQL 查詢數據、會快速寫程序分析數據。當然，編程技術不需要達到軟體工程師的水平。要想更深入的分析問題你可能還會用到：Exploratory analysis skills、Optimization、Simulation、Machine Learning、Data Mining、Modeling 等。

• 業務理解

對業務的理解是數據分析師工作的基礎，數據的獲取方案、指標的選取、還有最終結論的洞察，都依賴於數據分析師對業務本身的理解。

對於初級數據分析師，主要工作是提取數據和做一些簡單圖表，以及少量的洞察結論，擁有對業務的基本了解就可以。對於高級數據分析師，需要對業務有較為深入的了解，能夠基於數據，提煉出有效觀點，對實際業務能有所幫助。對於數據挖掘工程師，對業務有基本了解就可以，重點還是需要放在發揮自己的技術能力上。

• 邏輯思維

對於初級數據分析師，邏輯思維主要體現在數據分析過程中每一步都有目的性，知道自己需要用什麼樣的手段，達到什麼樣的目標。對於高級數據分析師，邏輯思維主要體現在搭建完整有效的分析框架，了解分析對象之間的關聯關系，清楚每一個指標變化的前因後果，會給業務帶來的影響。對於數據挖掘工程師，羅輯思維除了體現在和業務相關的分析工作上，還包括演算法邏輯，程序邏輯等，所以對邏輯思維的要求也是最高的。

• 數據可視化

數據可視化主要藉助於圖形化手段，清晰有效地傳達與溝通信息。聽起來很高大上，其實包括的范圍很廣，做個 PPT 里邊放上數據圖表也可以算是數據可視化。

對於初級數據分析師，能用 Excel 和 PPT 做出基本的圖表和報告，能清楚地展示數據，就達到目標了。對於稍高級的數據分析師，需要使用更有效的數據分析工具，根據實際需求做出或簡單或復雜，但適合受眾觀看的數據可視化內容。

• 協調溝通

數據分析師不僅需要具備破譯數據的能力，也經常被要求向項目經理和部門主管提供有關某些數據點的建議，所以，你需要有較強的交流能力。

對於高級數據分析師，需要開始獨立帶項目，或者和產品做一些合作，因此除了溝通能力以外，還需要一些項目協調能力。

D. 數據分析師需要掌握哪些能力需要做哪些准備

1、懂業務。從事數據分析工作的前提就會需要懂業務，即熟悉行業知識、公司業務及流程，最好有自孝帆己獨到的見解，若脫離行業認知和公司業務背景，分析的結果只會是脫了線的風箏，沒有太大的使用價值。

2、懂管理。一方面是搭建數據分析框架的要求，比如確定分析思路就需要用到營銷、管理等理論知識來指導，如果不熟悉管理理論，就很難搭建數據分析的框架，後續的數據分析也很難進行。另一方面的作用是針對數據分析結論提出有指導意義的分析建議。

3、懂分析。指掌握數據分析基本原理與一些有效的數據分鍵橡析方法，並能靈活運用到實踐工作中，以便有效的開展數據分析。

基本的分析方法有：對比分析法、分組分析法、交叉分析法、結構分析法、漏斗圖分析法稿慎旁、綜合評價分析法、因素分析法、矩陣關聯分析法等。高級的分析方法有：相關分析法、回歸分析法、聚類分析法、判別分析法、主成分分析法、因子分析法、對應分析法、時間序列等。

4、懂工具。指掌握數據分析相關的常用工具。數據分析方法是理論，而數據分析工具就是實現數據分析方法理論的工具，面對越來越龐大的數據，我們不能依靠計算器進行分析，必須依靠強大的數據分析工具幫我們完成數據分析工作。

5、懂設計。懂設計是指運用圖表有效表達數據分析師的分析觀點，使分析結果一目瞭然。圖表的設計是門大學問，如圖形的選擇、版式的設計、顏色的搭配等等，都需要掌握一定的設計原則。

E. 數據分析需要做什麼呀

• 收集數據

  數據分析師的工作第一步就是收集數據，如果是內部數據，可以用SQL進行取數，如果是要獲取外部數據，數據的可靠真實性和全面性其實很難保證。在所有獲取外部數據的渠道中，網路採集越來越受到大家的關注。網路採集最常用的方法是通過爬蟲獲取數據，相比較而言，編寫爬蟲程序獲取到的海量數據更為真實、全面，在信息繁榮的互聯網時代更為行之有效。如果是分布式系統的大數據，使用Hadoop和Apache Spark兩者進行選取和清理。

• 數據清洗

  是整個數據分析過程中不可缺少的一個環節，其結果質量直接關繫到模型效果和最終結論。在實際操作中，數據清洗通常會占據分析過程的50%—80%的時間。國外有些學術機構會專門研究如何做數據清洗，相關的書籍也不少。需要進行處理的數據大概分成以下幾種：缺失值、重復值、異常值和數據類型有誤的數據。

• 數據可視化

數據可視化是為了准確且高效、精簡而全面地傳遞出數據帶來的信息和知識。可視化能將不可見的數據現象轉化為可見的圖形符號，能將錯綜復雜、看起來沒法解釋和關聯的數據，建立起聯系和關聯，發現規律和特徵，獲得更有商業價值的洞見和價值。在利用了合適的圖表後，直截了當且清晰而直觀地表達出來，實現了讓數據說話的目的。人類右腦記憶圖像的速度比左腦記憶抽象的文字快100萬倍，這也就是為什麼數據可視化能夠加深和強化受眾對於數據的理解和記憶。

• 所處行業的數據方向建設和規劃

  不同行業和領域的側重點是不同的，對一個領域有了充分的理解和在該領域深入從事的經驗，進而體現在數據分析上時，能夠更好地發現並定義出實際的問題，也就可以在數據分析之後更符合行業發展規律地去改進問題。

• 數據報告展示

最可以體現數據分析師價值的點就在於通過數據給業務帶來價值。數據分析師作為業務與IT的橋梁，與業務的需求溝通是其實是數據分析師每日工作的重中之重。在明確了分析方向之後，能夠讓數據分析師的分析更有針對性。如果沒和業務溝通好，數據分析師就開始擼起袖子幹活了，往往會是白做了。最後結果的匯總體現也非常重要，不管是PPT、郵件還是監控看板，選擇最合適的展示手段，將分析結果展示給業務團隊。

F. 數據分析一般有哪些准備工作

前幾天也和人探討了下數據分析，也順便和你說下，工作流程一般是這樣的： 事前，採集歷史數據，分析數據關聯性，推測可能的模型和影響因子； 事中，採集線上數據，同前和慎期規劃模型作比較，找到實際問題中的亟待解決的問題和模型改善，為進一步產品改進等做可能性、關聯性分析； 事後，歸納數據，發現自己分析的不足、考慮問題的全面性，為接下來的分析工作做經驗儲備； 簡單的塵遲講就是： 在數據分析中，重喚兄敬數據，卻不拘泥於數據；考慮模型，但要動態變化；不能為數據而數據，應該是客觀的評析數據，提出合理的分析結果；不斷在實踐中提升自己的感悟能力，這不是一朝一夕的事。數據既為上，又為己，希望你可以理解。