第四章 效度讲义课件.pdf

第四章效度第一节概述第二节内容效度第三节效标关联效度第四节结构效度第五节提高测量效度的方法第一节概述一、效度的含义二、效度和信度的关系三、效度的种类返回一、效度的含义 效度(validation)指测验的有效性，即测验分数能够代表 所要测量的心理特性的程度，或测验结案 达至”则验目的的程度。一个测验对所要测验的特性测量到什么 程度的估计。AERA,APA,NCME(1999,pl2)指根据指定用途支持分数解释的那些事 实和理论的有效程度。效度的数学定义 测验分数=有效分数+系统误差+随机误差 测验分数的方差二有效分数的方差+系统误差的方差+随机误差的方差 效度为有效分数的方差与测验分数方差的比$2Vai=q st返回二、效度和信度的关系信度高是效度高的必要条件，而非充分条件S；效度不会大于信度的平方根（可由下面公式推导）=矫正后的真实效度系数”二实际测得的效度加=测验的信度系数 准则测量的信度系数返回L效度的种类1.内容效度2.效标关联效度3.结构效度返回第二节内容效度一、内容效度的含义二、验证测验内容效度的程序三、内容效度的确定方法四、适用范围五、表面效度返回，、内容效度的含义内容效度(content validation)测验项目对所要测量的内容范围的代表性程度。测验的使用者希望估计测验在它所要代表的环境整 体中一个考生表现如何。(1974)内容关联凭证(content-related evidence)(1985)基于考试内容的凭证(evidence based on test content)(1999)(p299)返回二、验证测验内容效度的一般程序 以教育测验为例1,确定所要测量的全部内容范围；2.将测验目的具体化为不同层次的测验目标；3,确定每一层测验目标在整个测验中的比重；4.编制双向细目表;5,确定每一小格中的测题数量；6.按比例随机抽取测验题目；7,请专家对测题的代表性、适合性进行分析，并 作必要的修改，直到大多数专家满意为止。返回双向细目表举例识记理解应用分析综合评价合计第一章8210第二章10621028第三章3624722第四章296125640合计13271418226100三、内容效度的确定1.专家判断法（如前所述）2.复本法3.处理后的重测法4.内容效度比复本法一组被试在取自同样内容范围的两个测 验复本上得分的相关来估计。如果相关低，则两个测验中至少一个缺 乏内容效度。如果相关高，一般推论测验具有内容效 度，但也可能出现两个测验有相同偏差 的情况。处理后的重测法 前测教学后测 在教学或训练之前施测某一测验，然后对 他们进行教学训练，结束时再测一次。如 果成绩提高很大，则说明测验对教学具有 较高的内容效度。内容效度比N-CVR=N=内容效度比=专家中认为某项目代表了相应测验内容的人数N=参加评定的专家的总人数返回四、适用范围内容效度适合于测验所要测量的内容总体 能够明确界定的情况：标准参照测验知识测验、技能测验等教育测验工作表现可以界定的职业心理测验不适合:智力测验,人格测验返回五、表面效度A 表面效度(face validity)被试主观上认为测验是否测量了所要测 量的心理特性。/并不是一种真正的效度。/表面效度影响被试的测验动机。/人格测验要求表面效度不宜过高。返回第三节效标关联效度一、效标关联效度概述、31 才示三、效标关联效度估计的方法四、效标关联效度的应用返回，、效标关联效度概述 效标关联效度(criterion-related validity)指测验分数与外部效标之间的相关。又称准则关联效度。效标即效度标准。指独立于测验结果，反映测验目的的行为参照。效标关联效度研究的一般步骤1.确定一种恰当的准则行为及其测量方法；2.确定一个能代表测验最终使用对象的适合 的受测者样本；3.施测并记录每个受测者的得分；4.得到准则资料，对每个受测者在该准则上 的操作进行测量；5.确定测验分数与准则分数的相关程度。效标关联效度的类型预测效度(predictive validity)测验分数与随后获得的效标分数之间的相关。同 时效度(concurrent validity)测验分数与几乎同时获得的效标分数之间的相关。返回八效标（准则）效标的测量常用的效标1.效标的测量 有效性：高效度 可靠性：高信度 客观性：效标污染(criterion contamination):在对效标 进行测量的过程中，由于事先知道预测源的结果,而对效标测量产生影响或污染的过程 实用性：方便，经济2.常用的效标 学术成就（智力测验、标准化成就测验的效标）实际工作表现（特殊能力测验、部分智力测验和人 格测验的效标）团体差异（测验分数能将已经知道的团体差异区分 开来）临床诊断（人格测验的效标）特殊训练的成绩（特殊能力测验的效标）等级评定（人格测验中其他人的评定）现有的测验返回1效标关联效度估计的方法 相关系数法 分组检验法 命中率法 功利率法返回1.相关系数法 方法：积差相关、点二列相关、二列相关、等级相关等 优点：提供了预测源与效标之间的数量关系；可利用回归方程来预测效标分数。缺点：预测源与效标是非线性关系时，会低估效度；不能提供关于取舍正确性的指标。积差相关A适用条件：测验分数与效标分数都是正态连续变量,且二者存在线性关系积距相关公式r lXYrXY_ ZZZyYxy-tJ nr rXYn举例二列相关A适用条件：两列变量均来自正态分布总体的等距变量,而其中一列被人为地划分为两个类别二列相关公式无二等距（等比）变量中与夕对应的那部分数据的平均值 月=等距（等比）变量中与夕对应的那部分数据的平均值=全部等距（等比）变量的标准差0=二分变量中取某一值的变量比例q=二分变量中取某一值的变量比例y=标准正态曲线下夕与夕交界点的y轴高度举例 返回2.分组检验法基本思想：根据被试在准则上的行为表现，将他们分为 不同的组别，如果这些组的预测源分数有显著差 异，那么，这个测验的预测效度是较高的。步骤：依据被试在准则上的行为表现进行分组：成功与失败或合格与不合格两独立样组测验分数的均数差异显著性t检验 计算重叠量独立样本t检验公式t _ Xi X2一后+(2 T应+2 2举例计算重叠量%4n当样组规模力越大时，均数之差的标准误就越小。如果方检验有显著性差异，还必须求两个分布的重叠量。计算重叠量方法一：Ai=失败组中高于成功组测验成绩平均数的人数人2=成功组中高于成功组测验成绩平均数的人数A重叠量4比率越低，两组差异越大方法二：计算两组分数分布的共同区域的人数百分比，即两组 分数分布的交叉区域的面积。共同区域的百分比越小,两组差异越显著。举例返回3.命中率法分类决策的正确性效 标测验成功 分数失败正确接受（A）错误接受（B）错误拒绝（C）正确拒绝（D）总命中率=-、+。-A+B+C+DA正命中率=-A+B举例返回4.功利率法效度的实用性U=B(Ns)-C(%)-Su二功利率B二录用一个成功的人员所产生的平均利润%二录用人员中成功的人数C二录用一个不合格人员所带来的损失%二录用人员中失败的人数S二实用测验的费用返回入效标关联效度的应用对个人分数的预测人员的分类与安置1.对个人分数的预测简单直线回归：由直线回归方程转化为以标准分数表示的方程Zy 二 口预测误差效度系数的平方表示由测验分数能说明的 准则测量方差的比例。A预测误差的标准误est=Sy 哈预测误差计算举例某智力测验与数学成绩的相关为0.60,数 学成绩的标准差为7.0分。如果用智力测验 成绩来预测数学成绩，则预测误差的标准 差为多少？Sest=SYJl-r=7.0 x，l 06=5.62.人员的分类与安置根据被试在效标上的预测结果而做出处理 或安排。选拔(selection):拒绝或接受 安置(placement):根据被试在单一效标 上的预测结果而做出处理或安排。分类(classification):使用两个或两个以 上的效标。返回第四节结构效度一、结构效度的含义二、确定结构效度的基本步骤三、搜集结构效度资料的方法返回结构效度的含义结构效度(construct validity)指测验分数在多大程度上测量或解释了某 种理论构想。又译构念效度、构想效度返回二、确定结构效度的基本步骤1.建立理论框架2.提出假设3.检验假设返回1搜集结构效度资料的方法1.测验内方法2.测验间方法3.效标关联法4.实验操作法5.发展水平的变化1.测验内方法 确定测验的内容效度 分析被试对项目的反应过程 考察测验的同质性2.测验间方法相容效度计算新旧同类测验分数之间的相关区分效度计算不同结构的测验之间的相关因素效度通过因素分析找到影响测验分数的共同 因素，每个测验在共同因素上的负荷量即 每个测验与共同因素的相亲，称为测验的 囱素效度验证智力测验效度的常用方法 相容效度法，即求测验结果与一种已经标准化的测验结 果的相关 效标关联法，即求测验结果与学生学生学业成绩、教师 评定的相关 发展水平的变化，即整个测验的分数和每个项目的通过 率是否随年龄的增长而增加 项目效度，即计算项目得分与测验总分的相关 内在一致性系数，即检验测验的同质性各种效度分析方法的比较一个算术测验适用于不同目的的效度分析测验目的解说性问题效度的证据小学算术成就测验迪克在过去学会了多少？内容描述预测中学数学成绩的 能力倾向测验珍妮在招来会学得好吗？时间效标预测诊断学习无能的技术比尔的成绩说明具体的学 习无能吗？同时效标预测数理推理能力的度量海伦的分数与她的推理能 力其他指标的关系如何？结构鉴定 AnneAnastasi&SusanaUrbina,1998,浙江教育.，P177多高的效度才算高？最低标准：效度系数在统计上有显著性；测验的有效性高于现有的决定工具。如果两个测验测量的是同一种心理属性或特质，那 么效标关联系数应在0.60以上。如果两个测验测量的心理属性或特质不完全一样，只是具有一定的相似性，那么，效标关联系数的要 求会低一些，能达到0.40以上就算是较好的。如智 力测验结果与学业成绩之间的相关。返回第五节提高测量效度的方法一、影响效度的因素二、提高测量效度的方法返回一、影响效度的因素 测验本身项目质量，项目数量 测验的实施测验实施的标准化程度 被试身心状态，样本的代表性与异质性 效标效标测量的可靠性，与测验分数的关系类型 测量的信度信度高是效度高的必要条件返回二、提高测量效度的方法 精心编制测验量表，避免出现较大的系统、口 伏差 妥善组织测验，控制随机误差 创设标准的应试情境，让每个被试都能发 挥正常的水平 增加被试样本的规模，提高代表性 选好正确的效标，恰当地进行效标测量，正确地使用有关公式返回第六节效度资料的概化A所谓概化，是指在一定条件下得出的结 论能否适用于其他情况。测验的效度和 信度一样，都与特定情境有关，只有在 具体情境下的效度，而没有笼统谈论某 一测验的效度。效度的概化(validity generation)在某一情境中所作的效度研究推广到其 他情境中的过程。，、效度概化的儿个方面1预测源的概化 使用同一测验的不同复本是否同样有效？同一测验对不同分数水平的人的预测是否同样有效？2效标的概化 采用不同种类或不同时距的效标，测验是否同样有效？对于效标的不同分数水平是否预测得一样好？3施测情境的概化 不同的施测者、不同的施测条件以及在不同的指导语或心 向下做测脸是否同样有效？4被试团体的概化 测验对于取自同一总体的另一样本是否同样有效？测验对于不同性别、不同年龄、不同教育水平、不同 社会经济地位、不同地区、不同民族、不同学校、不 同职业的被试是否同样有效？5建立效度方法的概化 用不同方法得到的效度指标是否一致？不同的效度之间是否有矛盾？:、交叉效度分析交叉效度分析是考察效度概化能力的一种方法,只涉及被试样本的概化。这种方法是对两个独立 取自同一总体的样本分别建立预测源-效标关系,看从一个样本中得到的效度资料是否适用于另一 样本。计算测验效度所依据的样本必须与选择项目所依 据的被试样本不同。如果使用同一样本，则会使 效度系数假性偏高，实质是循环论证。返回