① 什麼是數據分析
數據分析(Data Analysis) 數據分析概念
數據分析是指用適當的統計方法對收集來的大量第一手資料和第二手資料進行分析,以求最大化地開發數據資料的功能,發揮數據的作用。是為了提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。
數據也稱觀測值,是實驗、測量、觀察、調查等的結果,常以數量的形式給出。
數據分析與數據挖掘密切相關,但數據挖掘往往傾向於關注較大型的數據集,較少側重於推理,且常常採用的是最初為另外一種不同目的而採集的數據。 數據分析的目的與意義
數據分析的目的是把隱沒在一大批看來雜亂無章的數據中的信息集中、萃取和提煉出來,以找出所研究對象的內在規律。
在實用中,數據分析可幫助人們作出判斷,以便採取適當行動。數據分析是組織有目的地收集數據、分析數據,使之成為信息的過程。這一過程是質量管理體系的支持過程。在產品的整個壽命周期,包括從市場調研到售後服務和最終處置的各個過程都需要適當運用數據分析過程,以提升有效性。例如J.開普勒通過分析行星角位置的觀測數據,找出了行星運動規律。又如,一個企業的領導人要通過市場調查,分析所得數據以判定市場動向,從而制定合適的生產及銷售計劃。因此數據分析有極廣泛的應用范圍。 數據分析的功能
數據分析主要包含下面幾個功能:
1. 簡單數學運算(Simple Math)
2. 統計(Statistics)
3. 快速傅里葉變換(FFT)
4. 平滑和濾波(Smoothing and Filtering)
5. 基線和峰值分析(Baseline and Peak Analysis)
數據分析的類型
在統計學領域,有些人將數據分析劃分為描述性統計分析、探索性數據分析以及驗證性數據分析;其中,探索性數據分析側重於在數據之中發現新的特徵,而驗證性數據分析則側重於已有假設的證實或證偽。
探索性數據分析:是指為了形成值得假設的檢驗而對數據進行分析的一種方法,是對傳統統計學假設檢驗手段的補充。該方法由美國著名統計學家約翰·圖基(John Tukey)命名。
定性數據分析:又稱為「定性資料分析」、「定性研究」或者「質性研究資料分析」,是指對諸如詞語、照片、觀察結果之類的非數值型數據(或者說資料)的分析。
數據分析步驟
數據分析有極廣泛的應用范圍。典型的數據分析可能包含以下三個步:
1、探索性數據分析,當數據剛取得時,可能雜亂無章,看不出規律,通過作圖、造表、用各種形式的方程擬合,計算某些特徵量等手段探索規律性的可能形式,即往什麼方向和用何種方式去尋找和揭示隱含在數據中的規律性。
2、模型選定分析,在探索性分析的基礎上提出一類或幾類可能的模型,然後通過進一步的分析從中挑選一定的模型。
3、推斷分析,通常使用數理統計方法對所定模型或估計的可靠程度和精確程度作出推斷。
數據分析過程實施
數據分析過程的主要活動由識別信息需求、收集數據、分析數據、評價並改進數據分析的有效性組成。
一、識別信息需求
識別信息需求是確保數據分析過程有效性的首要條件,可以為收集數據、分析數據提供清晰的目標。識別信息需求是管理者的職責管理者應根據決策和過程式控制制的需求,提出對信息的需求。就過程式控制制而言,管理者應識別需求要利用那些信息支持評審過程輸入、過程輸出、資源配置的合理性、過程活動的優化方案和過程異常變異的發現。 二、收集數據
有目的的收集數據,是確保數據分析過程有效的基礎。組織需要對收集數據的內容、渠道、方法進行策劃。策劃時應考慮:
① 將識別的需求轉化為具體的要求,如評價供方時,需要收集的數據可能包括其過程能力、測量系統不確定度等相關數據;
② 明確由誰在何時何處,通過何種渠道和方法收集數據;
③ 記錄表應便於使用;
④ 採取有效措施,防止數據丟失和虛假數據對系統的干擾。
三、分析數據
分析數據是將收集的數據通過加工、整理和分析、使其轉化為信息,通常用方法有:
老七種工具,即排列圖、因果圖、分層法、調查表、散步圖、直方圖、控制圖;
新七種工具,即關聯圖、系統圖、矩陣圖、KJ法、計劃評審技術、PDPC法、矩陣數據圖;
四、數據分析過程的改進
數據分析是質量管理體系的基礎。組織的管理者應在適當時,通過對以下問題的分析,評估其有效性:
① 提供決策的信息是否充分、可信,是否存在因信息不足、失准、滯後而導致決策失誤的問題;
② 信息對持續改進質量管理體系、過程、產品所發揮的作用是否與期望值一致,是否在產品實現過程中有效運用數據分析;
③ 收集數據的目的是否明確,收集的數據是否真實和充分,信息渠道是否暢通;
④ 數據分析方法是否合理,是否將風險控制在可接受的范圍;
⑤ 數據分析所需資源是否得到保障。