⑴ 超级糟糕的问卷效度,要如何调整
做量表研究的人,或多或少都曾因为量表效度不达标困扰过,尤其在很多研究领域并没有特别权威的经典量表可以引用。使用自制的量表来研究,容易信效度不达标,那么如果遇到效度非常糟糕的情况时应该怎么办呢?
在解决效度低的这个问题之前,我们不妨一起来回顾下,判断效度达标的指标都有哪些。以使用探索性因子分析检验结构效度为例:
( 1 ) KMO >0.6 、通过巴特莱球形检验
SPSSAU效度分析 中可自动输出KMO 和 Bartlett 的检验结果。
如果KMO值高于0.8,则说明效度高;如果此值介于0.7~0.8之间,则说明效度较好;如果此值介于0.6~0.7,则说明效度可接受,如果此值小于0.6,说明效度不佳(如果仅两个题;则KMO无论如何均为0.5)。
通过Bartlett 球形度检验意味着变量之间有一定的相关性,适合使用因子分析检验效度。
(2)分析项归类清晰
结构效度分为两种:一种是使用探索性因子分析的方法;另一种是使用验证性因子性分析。其中探索性因子分析适合非经典量表使用。
比如说预期有5个维度,但是分析后得到3个公因子,可能就是某些分析项预期与实际分析时出现了偏差,这时可以适当删减不合理的分析项,当分析项与维度的划分与专业意义上的内在逻辑结构基本一致,此时则说明数据具有较好的效度。
通常分析项的在某个因子下的因子载荷系数绝对值>0.4,即认为该分析项可以归属于这个因子下。
比如上表中的分析项d1,预期归属于因子5里,但实际在因子1里。此时就应该移出d1重新分析。
(3)其他效度分析判断指标: 共同度 、相关系数矩阵等
如果变量相关性过高,可能会存在共线性问题,区分效度较低等问题;如果相关性太低,则说明变量之间的内在联系比较弱,不适合进行因子分析。通常共同度值>0.4即可。
共同度值可在 效度分析 结果中获得,相关系数矩阵可通过SPSSAU【 通用方法 】--【 相关 】得到。
(1)怎么都划分不清维度
(2)实际分析项归类与预期维度不同
(3)有很多共同度很低的题项
(1)怎么都划分不清维度
建议每次 放入一个维度的题项 ,移出共同度低的问题。重复以上操作,将每个维度分析一遍,确保每个维度内部没有太糟糕的题。然后再放入全部的题目,整体分析。这样就可以看到维度之间划分得是否清晰。
(2)实际分析项归类与预期维度不同
分析项归类与预期维度不同,是一个非常常见的问题。
CFA检验流程轻参考:
https://spssau.com/helps/questionnaire/cfa.html
建议每次放入一个维度的题项,移出共同度低的问题。重复所有维度操作一遍,确保每个维度内部没有太糟糕的题。然后再放入全部的题目,整体做一遍。这样就可以看到维度之间划分得是否清晰。
如果仍然无法解决建议可增加样本量,或重新收集数据修改量表内容。
如果结果的维度划分比较清晰,且符合专业知识认知,建议以分析结果为准,根据假设和结果,修正量表。
同样的样本数据,不同的分析思路,有可能出现结果不相同,但只要符合效度的思维概念即可。
(3)有很多共同度很低的题项
有很多共同度低的分析项,意味着分析项之间的关联性较低,通常这时候分析项归类也不好。
此时建议可以从共同度最低的分析项开始移出,依次分析直至删除所有共同度小于0.4的项,需要来回多次进行对比,找出最佳结果。
当然,最根本的改善效度的方法,还是要做好预调研工作,保证数据收集质量。设计量表时每个维度的题目最好有出处可寻。这样做才能为后续分析工作提供便利。