人员素质与能力测评工具.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第三章 人员素质与能力测评工具,了解构想和基于构想的解释内容,掌握信度、效度、常模的概念,掌握人员测评工具组合的内容、设计内容,熟悉人员测评工具的组合原理,能进行简单的信度和效度检验,案例分析,请同学们阅读教材,P60,的案例“国内某保健公司中高层营销管理人员的考核与评估”，思考以下几个问题：,1,、回顾人员测评的作用与意义，此次测评主要起到什么作用？,2,、该公司主要运用哪种方法进行测评要素的设计的？怎样进行数据收集？,3,、你认为该公司的测评有效吗？为什么？,为什么需要测量工具？,你知道,foot,（英尺）的来历吗？,请列举一些你所使用过或接触过的量表,思考,:,量表的作用是什么？,你如何解释下述现象？,一个很聪明的孩子，测得智商是,80,分,一个学习很好的学生，考试成绩为,60,分,一个人缘很好的人，人际关系测量低于常模值,量表帮助我们了解心理现象（心理特质），就像尺子帮助我们测量身高。,思考,:,我们如何知道我们有多高？,有两个工具：尺子,/,秤,尺子的数据与我们的目测更一致，而秤盘的数据则与我们的目测不一致。因此，尺子是测量身高的有效工具,效度。,什么材料的尺子？,钢铁（热胀冷缩）,涉及到一致性的问题。,信度,1.70,与,1.7,的关系,量表是我们用来了解心理特质等方面的工具，但这个工具是有误差的。误差要控制在一个许可的范围内。,什么是误差,?,误差的种类,?,误差是在测量中与目的无关的变因所产生的不准确或不一致的效应。,何谓随机误差？,随机误差（,random error,）由于在测定过程中一系列有关因素微小的随机波动而形成的具有相互抵偿性的误差。,热起伏 磁场的变化,一、测评的信度,（一）信度的概念,是一种测验手段不被随机误差干扰的程度，也就是测量数据和结论的可靠性程度。,信度的意义,1,信度指实测值和真值相差的程度,2,信度指统计量与参数之间的接近程度,3,信度是指一种测验对相同的应试者再次测验时引起同样反应的程度,信 度,稳定性,可靠性,一致性,信度乃是一个被测团体真分数的变异数与实得分数的变异数之比。,r,XX,=S,T,2,/S,X,2,（二）测量表的信度参考依据：,信度,r,评价,r,0.30,不可信,0.30r0.40,勉强可信,0.40r0.50,稍微可信,0.50r0.70,可信,0.700.90,十分可信,她朝那边转？,看到几张脸？,这是什么？,（三）信度的估计方法,1,、重测信度（,Test-Retest Reliability,）,定义：同一量表，同一被试群体，在不同时间，两次施测，求其相关。,实质：表示测验结果的稳定性。故称之为稳定性系数（,Coefficient of Stability,）,形式：施测,适当时间,再施测,一般采用计算两次评价结果的积差的相关系数的方法，计算公式如下：,n,是两次测评结果的配对数据总数；,X,是第一次测评的测评结果（分数）；,Y,是重复测评的测评结果（分数）,r,越接近,1,，则表示测评结果的稳定性越高，测评结果越准确、可信；如果,r,的数值越低，表示测评结果稳定性越低，测评结果越不准确、不可信。,任务一：,计算下列测试的重测信度,（独立完成）,从某组织一次员工能力测验中，随机抽取了,10,个被测评者，记录他们所得的分数如下：,77 81 69 91 88 84 76 70 86 79,半个月后，在相同的条件对相同的被测评者,群体再次进行同样的测评，按照被测评者先后两,次测评的成绩两两对应，记录他们的此次的所得,测评分数如下：,78 83 74 92 91 85 78 75 88 80,完成得怎么样？,时间间隔的把握,间隔时间越长，稳定性系数越低。适宜时间间隔依照测验目的、性质及被试特点而定。几分钟至几年。,年幼儿童，间隔要小；年长群体，间隔可大。智力测验的间隔不能太短，成就测验的间隔不能太长。,一般间隔时间不超过六个月。（即不能让被试记住上一次测验的内容，又不能让其特质发生变化，或对所学知识产生遗忘）,2,、复本信度（,Alternate-form raliability,）,因为任何测验只是所有可能题目中的一份取样（行为样本），所以可编制许多平行的等值测验，叫做复本。,复本信度的计算方法有两种，,一种如果测评的结果为分数，就按积差相关法计算，另一种方法，如果测评结果为等级或名次，就使用等级相关法计算。,式中，,n,是测评结果的总个数（被测评者数量），,D,是同一个被测评者在两次测评结果中排列等级或者名次的差；,r,的数值越接近,1,，表示复本信度越高。,A,卷：你是一个喜欢热闹的人吗？,1=,绝对是,2=,是,3=,不一定,4=,不是,5=,绝对不是,B,卷：你是一个喜欢安静的人吗？,1=,绝对是,2=,是,3=,不一定,4=,不是,5=,绝对不是,任务二：计算下列测验的复本信度（独立完成）,从某公司的一次创造力测评中随机抽取的,10,个被测评者，使用某种测量工具，这,10,个人按照名次排列如下：,A B C D E F G H I J,为了检验上述测评工具的可靠性，组织又进行了一次类似的创造力测评，同样,10,个被测者此次结果按名次排列如下：,B A C F E E G I J H,对我们来说，这很简单！,放松一下，继续,前进！,复本等值要符合下列条件：,各份测验测量的是同一种心理特性。,各份测验具有相同的内容和形式。,各份测验的题目不应重复。,各份测验题目数量相等，难度和区分度大体相同。,各份测验的分数分布（平均数和标准差）大致相等。,复本编好后，应再测一次，以确保各份测验的等值。,定义：两个复本施测同一被试群体，求其相关。,等值性系数：同时连续施测，反映内容变异。,形式：复本,A,最短时间,复本,B,稳定性与等值性系数：,时间间隔施测，内容变异重测信度误差,形式：复本,A,适当时间,复本,B,3,、内部一致性信度（,Homogeneity Reliability,）,内部一致性（同质性,),指测验的所有题目测量的是同一种心理特质，表现为各个题目得分之间有较高的相关，相关越高则同质性越强。,内部一致性信度一般用 系数法,式中，,k,是测评项目数量，是测评结果的方差，是第,i,个项目上得分的方差，,是测评总分的方差。,任务三：计算下列测验的内部一致性信度（独立完成）,在一次关于学习能力的人力资源测评中，被测评者为,100,名员工，测试题目为,7,道，统计各个题目上被测评者的方差分别为,0.81,0.82,0.9,0.83,0.85,，,0.76,0.77,测评总分的方差为,14,，则此次测评的信度为多少？,奖励：,胡萝卜一个！,评分者信度（,Scorer Reliability,）,评分者信度是指不同评分者之间在测验结果计分上的一致性。,在心理测验中,评分者信度的计算,通常是随机抽取若干份试卷,由至少两位受过训练的评分者按计分规则分别判分,然后计算它们的相关。几个评分者的评分越一致,评分者信度越高。,4,、评分者间信度（,Scorer Reliability,）,最简单的估计方法就是随机抽取若干份答卷，由两个独立的评分者打分，再求每份答卷两个评判分数的相关系数。这种相关系数的计算可以用积差相关方法，也可以采用斯皮尔曼等级相关方法。,如果评分者在三人以上，而且又采用等级记分时，就需要用肯德尔和谐系数来求评分者信度。,其中，,K,是测评者人数，,n,是被测评的数量，第,i,个被测评者被测等级之和。,任务四：计算下列测验的评分者间信度（独立完成）,在一次关于沟通能力的测验中，共有四个测评者，被测评者有,5,个员工，测评结果按照等级排列，整理出的结果如表所示：,员工甲,员工乙,员工丙,员工丁,员工戊,A,1,2,3,4,5,B,2,3,1,5,4,C,1,2,5,4,3,D,3,1,4,2,5,7,8,13,15,17,为我们自己鼓鼓掌,估计信度的方法与测验复本的数目以及施测次数的关系,所需要,施测的次数,所需要副本的数目,一,二,一,同质性信度,评分者信度,复本信度,（连续施测）,二,再测信度,复本信度,（间隔施测）,在一般情况下，间隔施测的副本信度最低，因为很多因素有机会影响到分数。相反，校正过的分半相关，因为影响的因素少，所得的信度估计为最高。,各种信度系数相应误差变异的来源,信度系数的类型,误差变异的来源,再测信度,复本信度（连续施测）,复本信度（间隔施测）,同质性信度,评分者信度,时间取样,内容取样,时间与内容取样,内容的异质性,评分者间的差异,实际上，有多少种误差来源，便有多少种估计,信度的方法。一个测验哪种误差大，便应该用哪,种误差估计。有时一个测验需要有几种信度系,数，这样我们就把总分数的变异数分成不同的分,支。,二、人员测评的效度,（一）,效度的一般定义及其内涵,效度是指测验的准确性，即测验能够,测出他们所预测的特质的程度。,（二）效度的分类,1966,年美国心理学会在,教育心理测验,值标准,中将效度分为三大类,内容效度,构想效度,准则效度,1,内容效度（,Content Validity,）,内容效度指测验实际测到的内容与所要测量的内容之间的吻合程度。,2,结构效度,(Construct Validity),结构效度是指测验对于被称作构想的某一理论概念或特质测量的程度。,3,实证效度,(Criterion related Validity),实证效度是指一个测验对处于特定情景中的个体的行为进行估计的有效性。,（三）效度与信度的关系,信度是效度的必要条件,效度是信度的充分条件,（四）提高测量效度的方法,1,、控制系统误差,2,、精心编制量表,3,、妥善组织测验,4,、扩充样本容量,5,、适当增加测验的长度,三、测验的项目分析,项目分析包括定性分析和定量分析。定性分析包括考虑内容效度、题目编写的恰当性和有效性等；定量分析主要是指题目难度和区分度的测量。,对项目进行筛选和修订，可以提高测验的信度和效度。,（一）难度（,d,ifficulty,）,的意义,难度，指项目的难易程度。,在最高作为测验中，称为“难度”，而在典型作为测验中，则指“通俗性”。两者都是指在总体中，能够正确或确切回答某项目的人数。,（二）难度的计算,1,、二分法记分项目的难度,（,1,）通过率,P=R/N,（,2,）极端分组法（上下,27%,）,P=,（,P,H,+P,L,）,/2,2,、非二分法记分项目的难度,P=X/X,max,X,为所有被试在该项目上的平均得分，,X,max,为该项目的满分。,（三）测验难度水平的确定,效标参照测验、掌握测验：不考虑难度；,选拔测验：难度,=,录取率；,对于选择题来说，难度一般应大于猜测概率；,无论是速度测验，还是难度测验，一般都应防止被试得满分，因为满分的意义是不明确的。,难度对测验的影响,测验难度影响测验分数的分布形态,难度大，正偏态,难度低，负偏态,测验难度影响测验分数的离散程度,测验过难或过易，分数全距缩小，信度降低。,P=0.50,时最佳,大体而言，难度为,0.50,时最理想，此时项目具有最大的鉴别力。但在实际操作中，让所有项目难度都到达,0.50,困难很大，而且也不必要，一般只需使项目的平均难度接近,0.50,，而各个项目的难度在,0.50,0.20,之间变化。,（四）测验的区分度,1,、区分度的意义,区分度（,discrimination,）是指测验项目对被试心理品质水平差异的区分能力或鉴别能力。,项目的区分度是测验是否有效的“指示器”。,2,、区分度的计算,（,1,）项目鉴别指数法,1,鉴别指数（,index of discrimination,，,D,）的计,算：,D=P,H,-,P,L,取值范围：,-,1+1,鉴别指数,题目评价,0.40,以上,很好,0.300.39,良好，修改会更好,0.200.29,尚可，仍需修改,0.19,以下,差，必须淘汰,极端组的划分,27%,规则,一般情况下，取上下,25%33%,均可。,样本少时，可以取,50%,注意：,由于计算机的方便使用，可以上下,50%,作为划分高低组的标准，或者多分几组，对区分度和难度作详细分析。因为只取上下两端，只利用了一部分资料，浪费了很多信息，有可能得出错误结论。,（,2,）相关法（项目,-,总分相关）,点二列相关,X,p,-,X,q,r,pb,=pq,S,t,（五）区分度与难度的关系,难度（）,区分度（）,1.00,0,0.90,0.20,0.80,0.40,0.70,0.60,0.60,0.80,0.50,1,0.40,0.80,0.30,0.60,0.20,0.40,0.10,0.20,0.00,0,难度和区分度都是针对一定团体而言的。,一般来说，较难的项目对高水平被试区分度高，较易的项目对低水平被试的区分度高。,四、标准化与常模,（一）标准化,人员素质与能力测评工具的编制、实施、计分以及测验分数、解释程序都依据一套系统的程序。,内容标准化,实施标准化,客观计分,分数解释标准化,（二）常模,又称测验常模，指某一标准化样组在某一测评上的结果或平均数。,标准化样组：能够很好地代表被测评者全域的一个样本。它的产生与抽样的方法有关。,现实的问题,小明的期中考试，语文考了,84,分，数学考了,96,分，他的父母想知道他的学习究竟怎么样？你怎么解释？,张苗今年六岁，他做智力量表测验，得分,148,分，他的家长想让他跳级，你将给出什么建议？,我们总是与很多数字打交道，但很多人困惑是因为不知道这些数字的意义。,常模即解释分数的标准。,测验常模是指某个标准样本或有代表性团体的测验的分数，如平均数、四分位。,常模的主要用途是对测验的分数做出解释。,只有比较才有鉴别；,解决两个问题：发展水平和相对位置,总体与样本,总体,样本,抽样,常模团体的特征,群体的构成必须有明确的界限,常模团体必须是所测群体的代表性样本,样本的大小要适当,标准化样组是一定时空的产物,同学们来回顾一下统计学基础的知识，常用的取样方法有哪几种，分别是什么意思？,简单随机抽样,系统抽样,分组抽样,分层抽样,（三）常模的类型：,发展常模,百分位常模,标准分数常模,发展常模（,Development Norm,）,某一年龄或某一年级心理发展的平均水平。,导出分数：已经达到的发展水平。,如：年龄当量、年纪当量、顺序量表、比率智商、教育商数等。,组内常模（,WithinGroup Norm,）,具有同一身份的人的平均水平。,导出分数：在某一特殊团队中的相对位置。,如：百分位常模、标准分数常模、离差智商等。,总常模和分常模,总常模：一般是全国常模。,分常模：常见的有地区常模、性别常模、职业常模等,是不是有点,五、人员测评工具的设计,（一）测评工具的设计程序,1,、测评目标的分析,具有选择和预测功能的预测性测验,描述性的显示性测验,2,、制定编题计划,3,、编辑题目,4,、题目的试测和分析,5,、组合测试和标准化,6,、对测试的鉴定,7,、编写测试说明书,（二）测评题目的设计和测量的编制,1,、命题的一般原则,试题要符合测试的目的；,内容取样要有代表性；,试题格式不要使被测者产生误会；,文句要简明扼要，既排除与解题无关的因素，又不可遗漏解题所依据的必要条件，要避免使用深奥的字句；,应有不一起争论的确定答案；,各个试题彼此独立，不可相互牵连，不要使一个题目的答案影响另一个题目的答案；,题目中不可含有暗示本题或者其他题目正确答案的线索；,题目内容不要超过受测团体的知识和能力；,所提出的问题要避免涉及社会禁忌和个人隐私；,实施与评分省时。,2,、测题的种类及编制要领,填空题和简答题,论文题,选择型的题目,操作型的题目,（三）工具组合,程序：确立考评目的,需求分析,确定测量手段,预期结果,实施过程的涉及,成本,-,收益分析,了解不同管理目的、不同职务层次、不同岗位系列、不同组织层次、不同行业的人员素质与能力测评工具的组合设计。,结束,Finished,