⑴ 超級糟糕的問卷效度,要如何調整
做量表研究的人,或多或少都曾因為量表效度不達標困擾過,尤其在很多研究領域並沒有特別權威的經典量表可以引用。使用自製的量表來研究,容易信效度不達標,那麼如果遇到效度非常糟糕的情況時應該怎麼辦呢?
在解決效度低的這個問題之前,我們不妨一起來回顧下,判斷效度達標的指標都有哪些。以使用探索性因子分析檢驗結構效度為例:
( 1 ) KMO >0.6 、通過巴特萊球形檢驗
SPSSAU效度分析 中可自動輸出KMO 和 Bartlett 的檢驗結果。
如果KMO值高於0.8,則說明效度高;如果此值介於0.7~0.8之間,則說明效度較好;如果此值介於0.6~0.7,則說明效度可接受,如果此值小於0.6,說明效度不佳(如果僅兩個題;則KMO無論如何均為0.5)。
通過Bartlett 球形度檢驗意味著變數之間有一定的相關性,適合使用因子分析檢驗效度。
(2)分析項歸類清晰
結構效度分為兩種:一種是使用探索性因子分析的方法;另一種是使用驗證性因子性分析。其中探索性因子分析適合非經典量表使用。
比如說預期有5個維度,但是分析後得到3個公因子,可能就是某些分析項預期與實際分析時出現了偏差,這時可以適當刪減不合理的分析項,當分析項與維度的劃分與專業意義上的內在邏輯結構基本一致,此時則說明數據具有較好的效度。
通常分析項的在某個因子下的因子載荷系數絕對值>0.4,即認為該分析項可以歸屬於這個因子下。
比如上表中的分析項d1,預期歸屬於因子5里,但實際在因子1里。此時就應該移出d1重新分析。
(3)其他效度分析判斷指標: 共同度 、相關系數矩陣等
如果變數相關性過高,可能會存在共線性問題,區分效度較低等問題;如果相關性太低,則說明變數之間的內在聯系比較弱,不適合進行因子分析。通常共同度值>0.4即可。
共同度值可在 效度分析 結果中獲得,相關系數矩陣可通過SPSSAU【 通用方法 】--【 相關 】得到。
(1)怎麼都劃分不清維度
(2)實際分析項歸類與預期維度不同
(3)有很多共同度很低的題項
(1)怎麼都劃分不清維度
建議每次 放入一個維度的題項 ,移出共同度低的問題。重復以上操作,將每個維度分析一遍,確保每個維度內部沒有太糟糕的題。然後再放入全部的題目,整體分析。這樣就可以看到維度之間劃分得是否清晰。
(2)實際分析項歸類與預期維度不同
分析項歸類與預期維度不同,是一個非常常見的問題。
CFA檢驗流程輕參考:
https://spssau.com/helps/questionnaire/cfa.html
建議每次放入一個維度的題項,移出共同度低的問題。重復所有維度操作一遍,確保每個維度內部沒有太糟糕的題。然後再放入全部的題目,整體做一遍。這樣就可以看到維度之間劃分得是否清晰。
如果仍然無法解決建議可增加樣本量,或重新收集數據修改量表內容。
如果結果的維度劃分比較清晰,且符合專業知識認知,建議以分析結果為准,根據假設和結果,修正量表。
同樣的樣本數據,不同的分析思路,有可能出現結果不相同,但只要符合效度的思維概念即可。
(3)有很多共同度很低的題項
有很多共同度低的分析項,意味著分析項之間的關聯性較低,通常這時候分析項歸類也不好。
此時建議可以從共同度最低的分析項開始移出,依次分析直至刪除所有共同度小於0.4的項,需要來回多次進行對比,找出最佳結果。
當然,最根本的改善效度的方法,還是要做好預調研工作,保證數據收集質量。設計量表時每個維度的題目最好有出處可尋。這樣做才能為後續分析工作提供便利。