1. 16種常用的數據分析方法-聚類分析
聚類(Clustering)就是一種尋找數據之間內在結構的技術。聚類把全體數據實例組織成一些相似組,而這些相似組被稱作簇。處於相同簇中的數據實例彼此相同,處於不同簇中的實例彼此不同。
聚類分析定義
聚類分析是根據在數據中發現的描述對象及其關系的信息,將數據對象分組。目的是,組內的對象相互之間是相似的(相關的),而不同組中的對象是不同的(不相關的)。組內相似性越大,組間差距越大,說明聚類效果越好。
聚類效果的好壞依賴於兩個因素:1.衡量距離的方法(distance measurement) 2.聚類演算法(algorithm)
聚類分析常見演算法
K-均值聚類也稱為快速聚類法,在最小化誤差函數的基礎上將數據劃分為預定的類數K。該演算法原理簡單並便於處理大量數據。
K-均值演算法對孤立點的敏感性,K-中心點演算法不採用簇中對象的平均值作為簇中心,而選用簇中離平均值最近的對象作為簇中心。
也稱為層次聚類,分類的單位由高到低呈樹形結構,且所處的位置越低,其所包含的對象就越少,但這些對象間的共同特徵越多。該聚類方法只適合在小數據量的時候使用,數據量大的時候速度會非常慢。
案例
有20種12盎司啤酒成分和價格的數據,變數包括啤酒名稱、熱量、鈉含量、酒精含量、價格。
問題一:選擇那些變數進行聚類?——採用「R 型聚類」
現在我們有4個變數用來對啤酒分類,是否有必要將4個變數都納入作為分類變數呢?熱量、鈉含量、酒精含量這3個指標是要通過化驗員的辛苦努力來測定,而且還有花費不少成本。
所以,有必要對4個變數進行降維處理,這里採用spss R型聚類(變數聚類),對4個變數進行降維處理。輸出「相似性矩陣」有助於我們理解降維的過程。
4個分類變數各自不同,這一次我們先用相似性來測度,度量標准選用pearson系數,聚類方法選最遠元素,此時,涉及到相關,4個變數可不用標准化處理,將來的相似性矩陣里的數字為相關系數。若果有某兩個變數的相關系數接近1或-1,說明兩個變數可互相替代。
只輸出「樹狀圖」就可以了,從proximity matrix表中可以看出熱量和酒精含量兩個變數相關系數0.903,最大,二者選其一即可,沒有必要都作為聚類變數,導致成本增加。
至於熱量和酒精含量選擇哪一個作為典型指標來代替原來的兩個變數,可以根據專業知識或測定的難易程度決定。(與因子分析不同,是完全踢掉其中一個變數以達到降維的目的。)這里選用酒精含量,至此,確定出用於聚類的變數為:酒精含量,鈉含量,價格。
問題二:20 中啤酒能分為幾類?—— 採用「Q 型聚類」
現在開始對20中啤酒進行聚類。開始不確定應該分為幾類,暫時用一個3-5類范圍來試探。Q型聚類要求量綱相同,所以我們需要對數據標准化,這一回用歐式距離平方進行測度。
主要通過樹狀圖和冰柱圖來理解類別。最終是分為4類還是3類,這是個復雜的過程,需要專業知識和最初的目的來識別。
這里試著確定分為4類。選擇「保存」,則在數據區域內會自動生成聚類結果。
問題三:用於聚類的變數對聚類過程、結果又貢獻么,有用么?——採用「單因素方差分析」
聚類分析除了對類別的確定需討論外,還有一個比較關鍵的問題就是分類變數到底對聚類有沒有作用有沒有貢獻,如果有個別變數對分類沒有作用的話,應該剔除。
這個過程一般用單因素方差分析來判斷。注意此時,因子變數選擇聚為4類的結果,而將三個聚類變數作為因變數處理。方差分析結果顯示,三個聚類變數sig值均極顯著,我們用於分類的3個變數對分類有作用,可以使用,作為聚類變數是比較合理的。
問題四:聚類結果的解釋?——採用」均值比較描述統計「
聚類分析最後一步,也是最為困難的就是對分出的各類進行定義解釋,描述各類的特徵,即各類別特徵描述。這需要專業知識作為基礎並結合分析目的才能得出。
我們可以採用spss的means均值比較過程,或者excel的透視表功能對各類的各個指標進行描述。其中,report報表用於描述聚類結果。對各類指標的比較來初步定義類別,主要根據專業知識來判定。這里到此為止。
以上過程涉及到spss層次聚類中的Q型聚類和R型聚類,單因素方差分析,means過程等,是一個很不錯的多種分析方法聯合使用的案例。
聚類分析的應用
聚類分析是細分市場的有效工具,被用來發現不同的客戶群,並且它通過對不同的客戶群的特徵的刻畫,被用於研究消費者行為,尋找新的潛在市場。
聚類分析被用來對動植物和基因進行分類,以獲取對種群固有結構的認識。
聚類分析可以通過平均消費來鑒定汽車保險單持有者的分組,同時可以根據住宅類型、價值、地理位置來鑒定城市的房產分組。
聚類分析被用來在網上進行文檔歸類。
聚類分析通過分組聚類出具有相似瀏覽行為的客戶,並分析客戶的共同特徵,從而幫助電子商務企業了解自己的客戶,向客戶提供更合適的服務。
2. 問卷數據不相關怎麼辦
原因主要從兩個維度展開。
第一,問卷設計,適度的人為設計問題實現答案選項的有效分布。舉個栗子吧,關於救落水兒童的問題設計,
1、你認為你遇到落水兒童,應不應該立即施救(A應該/B不應該)
2、如果你不會游泳,但當你遇到落水兒童,你會不會立刻去救他(A會/B不會)
3、你搭乘計程車趕往好朋友的婚禮現場,但路上發現遠處有一個落水兒童,你會不會立刻停車去救他而耽誤了好朋友的婚禮(A會/B不會)
相信你一定能體會出三種不同的設計,答案分布一定截然不同吧
第二,問卷樣本發放數量、樣本散布均勻度。樣本要滿足基本的數量,並且盡可能的在你所要調查的對象的不同特徵范圍之間實現均勻分布。比如男女分布、老少分布、收入范圍分布、區域分布等等。