人员素质测评质量分析.ppt

《人员素质测评质量分析.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第十一章素质测评的质量分析目录效度信度项目分析其他分析方法第一节效度测评的效度就是指测评的有效性，即能测评到所要测评目标的程度。效度是评价测评好坏、选择测评的重要标准之一。效度的作用比信度的作用更为重要。强调测评目标、工具与测评对象的统一。一、人员测评的有效性效度的理论定义：与测评目标有关的真实分数方差与总分方差的比率。公式：其中，为测评效度；为有效方差；为总分方差。效度的性质实际上效度指的是“测评结果的效度”，是指测评结果的准确性程度，而并不是指测评本身。也反映了测评结果对测评目标的体现程度。二、如何评

2、估人员测评的效度（一）内容效度1、内容效度是指测评内容取样是否反映测评的目标，适用于测评对象。2．内容效度的评估方法·测评内容范围明确；·测评内容的取样有代表性。采用如下步骤：1）确定总体范围；2）编制双向细目表；3）制定评定量表。还可采用经验的方法、统计分析方法。3．内容效度的应用内容效度最适合于评估教育和职业成就测评。也适合于某些用于人员选拔和分类的测评。（二）效标关联效度效标关联效度，也称效标效度，它反映的是测评分数与外在标准（效标）的相关程度，即测评分数对个体的效标行为表现进行预测的有效性程度。效

3、标是考察测评效用的外在参照标准。效标关联效度往往用于预测性测评。1．预测效度和同时效度预测效度的效标资料往往是测评结束后隔一段时间才获得，它反映被试行为表现的预测程度。同时效度的效标材料可以和测评分数差不多同时搜集。同时效度多用于诊断现在的状态，预测效度多预测未来的结果。如：1）“某人成功了吗？”2）“某人会成功吗？”2．效标和效标测评效标是衡量测评有效性的参照标准。把效标转化为某种可以操作的测评指标，称为效标测评。效标可以细分为观念效标（即效标的实质概念内容）和效标测评（即效标的具体度量方法）。例如，对

4、于筛选销售人员的观念效标是“销售工作的成功”，而效标测评是“年销售量”。3．常用的效标（1）学术成就（2）特殊训练成绩（3）实际工作表现（4）团体对照（5）等级评定（6）先前有效的测评（三）构想效度构想效度是指测评能够测评到理论上的构想或特质的程度。所谓构想通常指一些抽象的、假设性的概念或特质，如智力、创造力、言语流畅性、焦虑等。1．确定构想效度的步骤·建立理论框架，以解释被试在测评上的表现；·依据理论框架，推演出各种有关测评成绩的假设；·以逻辑和实证的方法来验证假设，根据累积材料决定这种理论是否能恰当地

5、解释现有材料；如果不能做出恰当解释，则应该修正上述假设，直到能做出恰当的解释为止。如：创造力测评构想效度。以测评分数与根据创造力的心理学理论观察被试行为所做出的判断做相关分析。2．常见的确定构想效度的指标（1）发展变化（2）与其他测评的相关（3）因素分析因素分析是分析行为资料内部关系、结构特性的一种统计技术。（4）内部一致性如果测评的所有题目被验证为具有很高的内部一致性，说明它们都是关于同一内容的，属于同一种构想。用来考察内部一致性的方法主要有三种：1）考察总分数较高和较低两类人在各题目上通过率的大小，如

6、果通过率低，应淘汰或修改。2）计算题目与总分的相关，如未达显著水准，应予淘汰。3）求分测评与总分的相关。各分测评与总分有显著相关，如果不是，则应予删除。（5）会聚效度和区分效度会聚效度：测评与测评相同特质或构想等理论上有关的变量高相关；区分效度：测评与测评不同特质或构想等理论上无关的变量低相关。如，一个数学推理能力测评与数学课成绩的相关就是会聚效度；而该测评与阅读理解能力测评的相关显著低，就是区分效度。三、影响效度的因素测评本身带来的影响因素1．测评题目的质量2．实施测评时的于扰因素3．被试的影响因素4．

7、测评的长度样本团体的性质效标的性质如果其他条件相同，所测评的行为或心理特质与效标行为或特质越相似，效度系数就越高。第二节信度一、信度的定义信度主要是指测评结果的可靠性或一致性。由测评工具否精确引起的误差叫系统误差。由操作是否到位引起的误差叫随机误差。信度考虑两方面的问题。一是稳定性：不同时间、不同测评条件下所得分数之间的一致性有多大；一个人的所得分数与“真实分数”之间接近程度有多大；是否可以达到实际应用的程度等。二是影响稳定性的原因：什么因素造成了这种差异；这些影响的相对作用有多大。二、信度的作用信度高低

8、的指标通常以相关系数表示，称为信度系数。信度系数一般是同一样本所得的两组资料的相关，在理论上表示为实得分数与真实分数相关的平方。信度系数公式：它是其中：真实分数标准差与实得分数标准差的比率。其中，rxr有时也称为信度指数，它是真实分数标准差与实得分数标准差的比率。还可通过分析个人分数再测时的变化（误差）来考察信度。两次测评分数的差异越大，信度就越低。在人员测评中，对信度系数进行确定通常有以下两方面的作用：方差：即每个被测评者得