第四章--测量信度.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,心理测量学的,4,个“度”,心理测量学的,4,个度是指信度、效度、难度、区分度。,信度、效度是鉴别心理测验的整体测量学属性的指标。,难度、区分度是检验心理测验各项目的质量好坏的指标。,第四章 测量信度,本章学习目标：,1,、理解信度的概念和统计学含义。,2,、掌握五种信度的定义。,3,、掌握影响信度的主要因素和提高方法。,4,、能计算同质性信度、评分者信度，以及新,增题目长度与新测验信度的关系。,第一节 信度的定义,一、什么是信度,信度指测量结果的稳定性、一致性程度。一个好的测量工具必须具备好的信度，也就是说它多次测量的结果应该相对的稳定、一致。,信度反映的是测量中随机误差的大小,。随机误差小，则信度高；反之，则信度低。,测验题目本身并不能提供信度的估计值，信度统计来自于测验分数。也就是说，在检验信度之前必须要实施心理测验，以获得测验分数。,1,、信度系数可定义为一个被测团体的真分数方,差与观测分数方差之比。或者说，真分数变异,能够解释观测分数变异的比例（,理论定义,）,r,xx,=,s,2,T,/s,2,x,(r,xx,为信度系数,),观测分数方差,真分数方差,二、用统计术语谈信度,2,、信度系数等于一个测验,X,与它的任意一个平,行测验,X,的相关系数（,操作定义,）,r,xx,=r,xx,(r,xx,为信度系数,),考察信度系数时，常常采用,相关系数,作为信度指标。采用不同的方式计算相关系数，就得到不同类型的信度系数。,信度值在,0,1.00,之间，当信度系数等于,1.00,时，表示测验完全可靠；当信度系数等于,0,时，则表示测验根本不可靠。,问题,一个能力测验用于人才招聘，经检验它的信度为,0.70,，如何理解这个信度系数的含义？,0.70,的信度系数表明，在不同的招聘候选人之间进行比较，候选人测验分数的,70%,差别是由于个体之间真实的能力差异所导致的，而,30%,差别是由于随机误差所导致。,第二节 信度的种类及其估计方法,采用不同的方法来计算相关系数，就会得到不同类型的信度指标：重测信度、复本信度、分半信度、同质性信度、评分者信度。,五种信度的含义和计算方法各异，我们在使用时要特别注意每一种信度的特定内涵和适用范围。,一、重测信度,重测信度,(Test-retest Reliability),指的是用同一个量表对同一组被试施测两次所得结果的一致性程度，其大小等于同一组被试在两次测验上所得分数的皮尔逊积差相关系数。,重测信度又叫再测信度，,它反映的是心理测验跨时间的一致性，是稳定性系数。,相关系数,施测,再施测,时间间隔,二、复本信度,复本信度,(Alternate-form Reliability),指用两个平行测验测量同一批被试所得结果的一致性程度。其大小等于同一批被试在两个复本测验上所得分数的皮尔逊积差相关系数。,复本信度又叫平行性信度，,它反映的是跨型式的一致性。,施测,型,施测,型,相关系数,连续施测或间隔施测,平行测验的概念,平行测验（,A,、,B,卷）必须是真正等值的，它们测量的是同一特质，具有大致相当的内容范围、题型、长度、难度、区分度、指导语、时限等，只是具体的题目不同。,在统计学上，真正的平行测验在测量同一批被试时，应具有相同的平均数和标准差，并且被试在分数分布形态上相似。,由于平行测验的题目不相同，所以不存在记忆效应。,两种复本信度,等值性系数,：,如果两个平行测验连续施测，则这种复本信度为等值性系数。它反映的是两个平行测验的题目差异所带来的变异情况。,稳定性与等值性系数,：,如果两个平行测验是间隔一段时间后施测，则这种复本信度为稳定性与等值性系数。它反映题目差异与时间间隔两方面所带来的变异情况，影响因素更多。一般而言，稳定性与等值性系数最为严格，它的值也最低。,采用复本信度的条件,要构造出,2,份或,2,份以上真正平行的测验。,被试有条件接受两次以上的测验。,复本信度的优缺点,优点：,1,、减少了记忆效应和练习效应。,2,、适用于追踪研究的多次测量。,3,、减少了辅导的可能性。,缺点：,1,、编制复本测验的难度较大。,2,、被试要有接受两次以上测验的条件和意愿。,三、分半信度,分半信度,(Split-half Reliability),指将一个测验分成,对等,的两半后，所有被试在这两半上所得分数的一致性程度。,最常用的分半方法是奇、偶分半，即奇号题组成“半个测验”，偶号题组成另外的“半个测验”，计算被试团体在这两个“半个测验”上得分的相关系数，,经校正后得到分半信度系数。,分半信度所描述的是,两半测验,能够测量相同心理特质的程度，,它是内部一致性系数的一种,（同质性信度是内部一致性系数的另一种）。,分半信度只需要一种测验形式，实施一次测验，操作起来更简便。,当一个测验无法分成对等的两半时，不宜使用分半信度。,分半信度的计算方法,1,、,当两个半测验分数的方差（,S,2,a,和,S,2,b,）相等时，,计算两个“半测验”之间的皮尔逊积差相关系数，然后用斯皮尔曼,-,布朗公式校正。,为何要校正？,r,xx,=2r,hh,/(1+r,hh,)(,斯皮尔曼,-,布朗公式,),其中,r,xx,是整个测验的分半信度，,r,hh,是两个半测验之间的相关系数。,练习题,假设一个测验中，奇数项题目得分与偶数项题目得分的方差相等，它们之间的相关系数是,0.80,请问该测验的分半信度是多少？,r,xx,=2r,hh,/(1+r,hh,),=20.80,（,1+0.80,）,=0.89,2,、,当两个半测验分数的方差（,S,2,a,和,S,2,b,）不相等时，,采用弗朗那根公式和卢仑公式。,弗朗那根公式：,r,xx,=2 1-,（,S,2,a,+S,2,b,）,/S,2,x,卢仑公式,:r,xx,=1-S,2,d,/S,2,x,其中,r,xx,是测验的分半信度，,S,2,a,、,S,2,b,表示被试在两半测验上得分的方差，,S,2,x,表示被试在整个测验上得分的方差，,S,2,d,表示被试在两半测验上得分之差的方差。,四、同质性信度,同质性信度（,Homogeneity Reliability,）指测验内部所有题目之间的一致性程度。,与分半信度一样，同质性信度也是内部一致性系数。分半信度是求,两半测验之间,的一致性程度，而同质性信度是求,所有题目之间,的一致性程度。,同质性信度的计算方法,1,、库德,-,理查德逊信度系数（仅用于,0,、,1,记分的测验,）,(KR,20,公式,),(KR,21,公式，各项目难度相当,),其中,p,i,表示答对第,i,题的人数比例，,q,i,为答错第,i,题的人数比例；,为题目的平均通过率，为题目的平均失败率。,某测验由,10,道选择题组成，施测于,10,名学生，所得结果如下表所示，,S,X,2,=3.0,。计算该测验的信度。,被试,题 目,1 2 3 4 5 6 7 8 9 10,总分,A,B,C,D,E,F,G,H,I,J,1 1 1 1 1 1 1 1 1 1,1 1 1 1 1 1 1 1 1 0,1 1 1 1 1 1 1 0 1 0,1 1 1 1 1 1 1 1 0 0,1 1 1 1 1 0 1 0 0 1,1 1 1 1 1 1 0 1 0 0,1 1 1 1 1 0 0 1 0 0,1 1 1 1 1 0 0 0 1 0,1 1 1 1 0 1 0 0 0 0,1 1 1 0 0 1 0 0 0 0,10,9,8,8,7,7,6,6,5,4,答案,解：根据题目所给条件，采用,KR,20,公式计算同质性信度。,2,、克龙巴赫,系数（,可用于多重记分的测验,）,=k/(k-1)1-(s,2,i,)/s,2,x,其中,k,是题目数，,s,2,i,表示所有被试在第,i,题上,得分的方差，,s,2,x,是被试测验总分的方差。,练习题,已知某分测验有,5,道题，所有被试在各个题,目上得分的方差分别是,0.75,、,0.80,、,0.73,、,0.84,、,0.78,，测验总分的方差为,13,，求这个分,测验的,系数。,=5/,（,5-1,）,1-,（,0.75+0.80+0.73+,0.84+0.78,）,/13,=5/4,（,1-0.3,）,=0.875,五、评分者信度,评分者信度（,Scorer Reliability,）指的是多个评分者给同一批被试作答情况进行评分的一致性程度。它主要用于主观性作品的评价过程中，如论述题评分、作文题评分、歌唱比赛的评分、设计作品的评分等。,评分者信度的计算方法,1,、当评分者人数为,2,时，评分者信度等于两者,评分的相关系数（积差相关或等级相关）。,2,、当评分者人数大于,2,时，评分者信度采用肯,德尔和谐系数计算。,W=12 R,2,i,(R,i,),2,/N/K,2,(N,3,N),其中,K,是评分者人数，,N,是被评的对象数，,R,i,是第,i,个被评对象的被评等级之和。,教材例题,P54,练习题,总结与比较：五种信度的误差来源,重测信度,时间取样，稳定性系数。,复本信度,（连续测验）内容取样，等值性系数；（间隔测验）时间与内容取样，稳定性与等值性系数；,分半信度,内容取样，内部一致性系数；,同质性信度,内容取样，内部一致性系数；,评分者信度,评分者之间的一致性。,第三节 影响信度的因素与提高方法,一、影响测量信度的主要因素,（一）测量工具的可能影响,1,、题目样本的选择不当,题目样本不具代表性（偏题怪题），题目涵盖面过于狭窄，,题目具有社会称许性,等。,2,、题目含义及表达的模棱两可,题目含义不明确，语言表达模棱两可，会造成被试的理解歧义，从而难以测查到被试的真实情况。,3,、要求的步骤不明确,指导语对于答题要求或步骤的指示不明确，使被试按照各自的理解作答，增加随机误差。,4,、题目难度过大或过小,难度通过影响被试的分数分布从而间接影响测验信度。难度过大或过小分数分布窄信度低，难度适中分数分布范围宽信度高。同时，太难的题目也增加被试猜测的机率，从而制造出随机误差。,5,、测验长度偏短,测验长度偏短，难以全面考察被试的心理特质，增加回答问题的随机性，从而降低信度。,6,、特殊题型中靠猜测答题的可能性较大,猜测性将增加测验得分的随机性，从而降低测验信度。,（二）施测过程的可能影响,1,、没有严格按照标准化程序施测,2,、测量的准备工作不充分,3,、故意制造紧张气氛,4,、给予特别协助,5,、测量时间把握不恰当,6,、评分不客观,（三）被试方面的可能影响,1,、动机作用,2,、测验经验,3,、测验焦虑,4,、生理变因（身心健康、疲劳等）,5,、被试团体的异质性程度,被试团体的异质性程度,被测团体越异质，其测验分数变动的范围就越大，其信度系数则会偏高；被测团体越同质，测验分数变动的范围就越小，其信度系数则会偏低。,如同一个智力测验，在天才班与普通班施测。,问题,排除其他影响因素，如果要检验一个能力测验,的信度，选择,4,、,5,、,6,年级的学生作为测量被,试，与选择,4,年级的学生作为测量被试，哪一种,测量结果的信度水平更高？,（四）间隔时间,间隔时间对于重测信度和复本信度（稳定性与等值性系数）的大小而言都是重要的。对于其他三种信度来说不存在时间间隔问题。,（五）估计信度的方法,采用不同的信度估算方法，得到的信度系数大小也会不同。,二、提高测量信度的常用方法,1,、适当增加测验的长度（最直接的方法）。,2,、使测验中所有试题的难度接近正态分布，并将难度的平均值控制在中等水平。,一般比例为容易：中等：难,=3,：,5,：,2,，并且测验的平均难度值保持在,0.50,左右。,3,、努力提高测验试题的区分度。,提高所有题目的区分度，可以有效提高测验的信度。,4,、选择恰当的被试团体。,被试团体的异质性程度会影响信度，因此检验信度时，一定要根据测验的使用目的来选择被试团体，一般选取一个与常模样本性质相同的被试团体施测。,5,、严格实行测验的标准化。,标准化可以最大程度地减少与测验目的无关的随机误差。,新增题目数量与新测验信度之间的关系：,其中,r,xx,为增加题目后新测验的信度，,r,xx,为,原有测验的信度，,k,为新测验长度与原测验长度之比。,此公式与斯皮尔曼,-,布朗公式有何关系？,练习题,已知某测验含有,40,个题目，信度系数为,0.80,，,请问这个测验必须增加多少个题目，才能使该测,验的信度系数达到,0.90,？,r,xx,=k r,xx,/1+(k-1)r,xx,0.90=k0.80/1+,（,k-1,）,0.80,求出,k=2.25,，新测验的长度为,2.2540=90,。,也就是说，必须增加的题目数是,90-40=50,（题）。,注意的问题,1,、增加测验的题目数量可有效提高测验信度，但所增加的项目必须满足两个条件：（,1,）在性质上与原有项目同质，即测量的是同一种心理特质。如果不同质反而会降低信度；（,2,）在数量上必须适度，并非增加的题目越多越好。报酬递减效应与可能的疲劳、厌倦效应。,2,、初始测验的信度越低，增加项目数对提高信度越显著。如果初始测验的信度本来就很高，那么测验题目的增加对提高信度的影响往往比较小。,第四节 信度的作用,一、信度系数的作用,1,、信度是确定测验工具好坏的指标之一。,2,、信度是测量过程中控制随机误差大小能力的反映。,3,、信度可以解释真分数与实得分数间的关系，明确告知测验,误差的大小（测量标准误是测量误差大小的客观指标）。,4,、下结论说某测验比较可靠，必须依据情境，并经多次证实。,5,、信度可以解释、预测个人分数的意义。,一般的原则是：当,0.70r,xx,0.85,时，测验结果可用于团体比较；当,r,xx,0.85,时，测验结果才可用来鉴别或预测个人。,测量标准误的计算,所谓测量标准误，指的是同一批被试两次测量结果的分数之差的标准差，它可以作为测量误差大小的客观指标。,计算公式见教材,P47,。,二、多大的信度系数可以接受,智力测验、能力测验、成就测验等认知测验的信度要求高一些，应在,0.90,以上。,人格测验、兴趣测验、态度测验的信度要求低一些，,0.80,以上即可。,教师自编的学绩测验的信度达到,0.60,即可。,创造力测验的信度一般在,0.50,左右，人格投射测验的信度在,0.20,左右。,思考问题,信度是否只是心理测验工具本身的特征？一个测验是否只有一个特定的信度值？,Thompson,：“,严格地说，与其说信度是测验的一个特征，不如说它是在一个特定场合及特定条件下，对特定群体施测而获得的分数的一种属性。”（,1994,）,也就是说，信度不仅仅是心理测验本身的特征，它还受主试、测量情境、施测过程、被试群体等因素的影响，信度是这些因素的综合反映。或者说，信度反映的是心理测量中控制随机误差的能力。,我们平时习惯讲“测量信度”，这实际是一种简略的表示方法，准确的表达应为“,测量结果的信度”。,课后作业,查阅一篇有关“心理测验编制或修订”的,研究报告，讨论该研究报告所采用的信度统计,方法，评价它的信度是否符合测量学要求。,伊索寓言,新编：,“六只狐狸与葡萄的故事”,酸的,大骂,得癌,跳累死,上吊,精神分裂,本章练习,一、选择题,1.,心理测验的信度是测量过程中（）大小的反映。,A.,误差,B.,系统误差,C.,随机误差,D.,真分数,2,、下列对信度的描述中，正确的是（）。,A,、信度既受测量中随机误差的影响，也受系统误差,的影响。,B,、信度是被试团体的真分数方差与实得分,数方差之比。,C,、一个测验只可能有一个信度系数。,D,、测验的长度越大，信度越高。,3,、测验内部所有题目间的一致性程度，这种信度称为（）。,A,、重测信度,B,、复本信度,C,、分半信度,D,、同质性信度,4,、下列属于重测信度使用前提的是（）。,A,、遗忘和练习的效果基本相互抵消。,B,、能构造出两份以上的平行测验。,C,、测验可以分成对等的两半。,D,、被试的数量规模达到,80-100,人。,二、计算题,1,、某测验有,20,道测题，其信度仅为,0.55,，若把测题增加到,60,题，信度能达到多少？增加到,120,题呢？,2,、某兴趣测验共有,6,道题，,60,个被试在各题上得分的方差分别是,0.80,、,0.81,、,0.79,、,0.78,、,0.80,、,0.82,，测验总分的方差是,16.00,。计算该兴趣测验的,a,系数。,3,、已知某量表两个半测验的相关系数为,0.63,，请问分半信度为多少？,4,、在一次作文比赛中，,3,位老师给,6,篇作文的评分如下表所示，计算这次比赛的评分者信度。,评委,选手,1,2,3,4,5,6,A,42,35,45,34,28,32,B,45,38,40,41,32,37,C,38,42,35,43,30,32,5,、,50,个学生参加一个智力测验，共有,6,道选择题，答题情况如下表所示。所有学生测验得分的方差为,2.8,。求该测验的信度系数。,项目,答对被试数,1,2,3,4,5,6,12,41,18,29,30,47,本章练习题答案,一、选择题答案,1,、,C 2,、,B 3,、,D 4,、,A,二、计算题答案,1,、,r,xx,=kr,xx,/1+(k-1)r,xx,=3,0.55/1+(3-1)0.55,=0.79,r,xx,=0.88,2,、,=k/(k-1)1-(s,2,i,)/s,2,x,=651-(0.80+0.81+0.79+0.78,+0.80+0.82)16,=1.2(1-0.3)=0.84,3,、,r,xx,=2r,hh,/(1+r,hh,),=20.63,（,1+0.63,）,=0.77,4,、（,1,）将评分转化为得分等级,评委,选手,1,2,3,4,5,6,A,2,3,1,4,6,5,B,1,4,3,2,6,5,C,3,2,4,1,6,5,R,i,6,9,8,7,18,15,63,779,W=12 R,2,i,(R,i,),2,/N/K,2,(N,3,N),=12,（,779-63,2,6,）,3,2,（,6,3,-6,）,=0.75,5,、,pq=0.240.76+0.820.18+0.360.64+0.580.42+,0.600.40+0.940.06,=1.10,r=6,(6-1),(2.8-1.1)2.8=0.73,利用,SPSS,计算教材,P57,第,2,题,一、分半信度的计算,1,、对,SPSS,数据进行“描述统计分析”，得到,S,a,=5.66,S,b,=5.77,S,x,=11.11,2,、,S,a,与,S,b,大致相等，利用斯皮尔曼,-,布朗公式计算。,求奇数题与偶数题的相关系数，得到,r,hh,=0.893,计算得到,r=0.94,3,、利用弗朗那根公式计算。,r,xx,=2,1-,（,S,2,a+S,2,b,）,S,2,x,=2,1-,（,5.66,5.66,+5.77,5.77,）,11.11,11.11,=2,1-,（,32.04+33.29,）,123.43,=2,（,1-0.53,）,=0.94,4,、利用卢伦公式计算,S,d,=2.65,rxx=1-S,2,d/S,2,x,=1-2.65,2.65,11.11,11.11,=1-0.06=0.94,二、利用,系数的公式计算（将奇数题和偶数题总体上看作两个大的题目）,=0.94,附加题,:,研究者对,10,个学生实施了一次测验，,2,个月后用同一测验对同一批学生进行了再次测验，两次测验的成绩如下表所示，请计算测验的信度。,被试,1,2,3,4,5,6,7,8,9,10,得分,X,15,14,13,12,12,11,11,10,10,10,Y,15,14,16,15,13,12,11,13,12,12,答案,=12,=13,r,xx =0.68,拓展知识点,一、差异分数的信度计算,所谓差异分数，就是同一个被试在不同测验中所获得的分数之差。,比如，小明在阅读能力测验中的分数是,83,分，在数学能力测验中的分数是,90,分。差异分数的信度，是指这两个分数的差异，多大程度上是由小明的真实能力差异所导致的？,例题,假设阅读能力测验与数学能力测验之间的相关是,0.70,，其中阅读能力测验的信度是,0.90,，数学能力测,验的信度是,0.70,，那么这两个测验差异分数的信度是,多少？,r=(r11+r22)2-r12(1-r12),=0.90+0.70,）,2-0.70,（,1-0.70,）,=0.33,差异分数的信度一直都低于两个测验分数的信度，因为差异分数的误差包括两个测验的误差。,在对不同测验或者不同分量表（如抑郁因子与精神分裂症因子）之间的分数差异进行解释时，一定要谨慎，因为差异分数的信度本身很低。,二、衰减校正的计算,所谓衰减校正，是指假设在没有测量误差的情况下，两个测验之间真实的相关水平。,例题：外向性属性在面试和心理测验上的相关是,0.50,，其中面试的信度为,0.60,，心理测验的信度为,0.80,。求外向性属性校正后的相关？,