《绩效评价问卷调查效度分析.docx》由会员分享,可在线阅读,更多相关《绩效评价问卷调查效度分析.docx(3页珍藏版)》请在优知文库上搜索。
1、绩效评价问卷调查效度分析效度是一种概念,其是指研究项(通常比如为问卷量表题目)的设计是否具有科学合理性。通常情况下效度可分为内容效度和结构效度。内容效度是指研究项的设计具有专业性,结合研究目的进行,专家认可等,即使用文字直接描述研究项为什么要这样设计,有什么参考依据,或者有什么专业上的意义,内容效度直接用文字详细描述即可。除开内容效度,还可以使用研究方法进行效度验证,此类效度称做结构效度。一般情况下,结构效度是使用因子分析方法进行研究。使用研究方法去探索研究项的内在逻辑结构,通常逻辑结构的判断,最终验证效度水平情况。比如本案例中共有14个量表题项,4个维度,而且14个题项与4个维度之间均有着专
2、业意义上的对应关系情况。那么如果使用研究方法即因子分析进行效度分析时,因子分析结果也显示4个维度分别与14个量表题项的对应关系,与专业上基本吻合,此时此说明研究方法识别出的逻辑内在结构,与专业意义上的内在逻辑结构有着一致性,此时则说明数据具有有效性。如果14个量表题项与4个维度之间的对应关系情况,与专业知识情况不符合,比如A1.这个题目被划分到了C维度下面,此时则说明可能A1.这个题项应该被删除处理,其出现了张冠李戴现象。因而在进行分析时很可能会对部分不合理的题项进行删除处理。效度不达标?针对问卷量表数据(重要提示:效度分析仅仅是针对量表数据),可以进行效度分析。如果是非量表,则不能进行效度分
3、析(可以使用文字详细描述问卷如何设计,问卷设计是否合理性等等以证明问卷设计有效度,文字描述的过程叫做内容效度)。效度分析需要注意以下几点:1、效度分析时,是综合各项指标进行综合判断,包括KMO值,巴特球形检验,方差解释率,累积方差解释率值,因子载荷系数值,维度和题项对应关系等。2、效度分析时,很可能需要删除题目,以便于维度和题项对应关系符合预期。3、效度分析时,最关键的地方在于:维度和题项对应关系,是否与专业预期符合;其余指标相应比较容易达标,最核心的是让维度和题项对应关系保持基本一致性。4、效度分析时,是个多次来回重复对比的过程,很可能重复进行很多次,对比删除题目后找出最优结果。5、如果分析
4、题目专业预期应该对应5个维度,则应该先设置成数字5,如下图。6、如果无论如何效度分析均不达标,可考虑以单个维度为准,如果有3个维度,则进行3次效度分析,然后将3次分析结果合并规范。如下图所示:非量表如何进行效度分析?量表是指类似于“非常不满意,不满意,非常满意”这样的题项,第1个选项用1分表示,第2个选项用2分表示,依次下去,分值越大代表越满意,或者越不满意。只有量表题才能进行效度分析(以及信度分析)。效度分析用于研究问卷设计是否有效合理,如果是非量表题,则没有办法使用研究方法进行分析,只能使用文字形式进行描述(这种叫内容效度),以证明问卷设计的合理性,建议按以下几点分别说明,从各个角度论证问卷设计的合理性。第一:用文字描述问卷的设计过程,包括问题设计与思路如何保持一致性;第二:用文字描述问卷设计的参考依据,比如参考某某文献设计问卷等;第三:用文字描述问卷设计的过程,比如是否进行过预测试,对问卷进行过哪些修改处理等,修正的原因等;第四:用文字描述专家或同行的认可性,比如问卷设计经过某指导教授或老师的认可,也或者相关专业人士(比如学长同学等)进行过沟通修改等。第五:其它可用于论证问卷设计合理的说明等。