坎贝尔开创的效度框架评估体系评述

《坎贝尔开创的效度框架评估体系评述》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、坎贝尔开创的效度框架评估体系评述　　1.引言　　定量研究质量评估近年来越来越受到学术界的重视，尤其表现在系统评价和元分析中（Lazaraton2000;Plonsky2014;郑新民2009;李德俊，洪艳青2012;鲍贵2014a,2014b）。基于某个研究课题的系统评价和元分析包括两大类。一类是囊括关联性研究和实验研究的系统评价和元分析（PlonskyGass2011;Plonsky2013;何家宁，张文忠2009）；另一类是对实验研究的元分析（NorrisOrtega2000;Huangetal.

2、2012）。较为全面的、不限于某个研究课题的实验研究系统评价则很少（吴旭东2002）。这在一定程度上说明综合评价实验研究难度很大。　　系统回顾和元分析的价值取决于各项实验研究的质量。鉴于实验各个环节所包含的要素的复杂性，前期研究评价主要就实验的若干要素进行评估，致使评价难免以偏概全。应用语言学界似乎普遍缺乏实验研究的系统知识，对实验研究的系统评价体系了解或应用不足。本文主要以应用语言学为背景评述实验研究最有代表性的评估体系-坎贝尔（Campbell）开创的效度框架（validityframepbel（

3、l1957）首次在实验研究的评估中引入效度的概念，将之二分为内部效度（internalvalidity）和外部效度（externalvalidity）。历经半个多世纪，坎贝尔效度研究传统的发展大致经历了三个阶段，每个阶段的发展集中体现为Campbell及其同事的代表作。第一个阶段为上个世纪60年代，代表作是CampbellStanley（1966）的实验和准实验设计研究。第二阶段为上个世纪70、80年代，代表作是CookCampbel（l1979）关于准实验设计的研究，提出了效度四分法，即内部效度、统

4、计结论效度（statisticalconclusionvalidity）、构念效度（constructvalidity）和外部效度。本世纪初为Campbell效度研究发展的第三个阶段，代表作是Shadishetal（。2002）关于广义因果推断的实验和准实验设计研究，继承与发展了前一个阶段的效度理论。坎贝尔效度评估框架以效度分类和效度威胁（threatstovalidity）清单为特色，注重推广理论的构建。下面以Shadishetal.（2002）为主评述坎贝尔实验研究效度框架。　　2.1效度类型　　

5、效度指推断的近似真实性（Shadishetal.2002:34）。近似这一限制语表明，我们绝不可能知道什么是真实的，充其量只能知道什么还没有作为错误被排除（CookCampbell1979:37）。效度是推断的属性，不是研究设计或方法的属性（Shadishetal.2002:34）。在效度分类上，Shadishetal（。2002）沿用了CookCampbell（1979）的效度四分法。　　根据CookCampbel（l1979:41），统计结论效度推断在α的某个水平上，由方差推定协变异的

6、合理性。Shadishetal。（2002）对CookCampbel（l1979）的统计结论效度的定义做了拓展，包括他们没有给予足够重视的实验效应量（effectsize）的大小。　　内部效度推断观察到的操纵变量A（推定的处理）和测量变量B（推定的结果）之间的协变异是否由A导致了B（Shadishetal.2002:38）。这一定义强调推断处理变量A和结果变量B之间的因果关系，且在A和B之间加上了限制语推定的（presumed）。推定的处理和推定的结果隐含着实际的研究操作未必就是计划的研究操作，可能还

7、包括外扰因素。　　CookCampbel（l1979:38）将构念效度的指称范围限制为处理和结果（或结果测量），但是Shadishetal（。2002:38）扩大了指称范围，将构念效度定义为从研究中对人、场景、处理和结果的操作向这些操作可能代表的构念所做推断的合理性。Shadishetal.（2002:38-39）认为，虽然CookCampbel（l1979）将构念效度的应用范围限制在处理和结果测量有一定的道理，但是这种对因果构念效度的重视有时让人觉得对人和场景总体的概括不重要，构念效度理应包括这两个

8、层面。　　CookCampbell（1979:38-39）将外部效度的指称范围限制为人、场景和时间。Shadishetal。（2002:38）则不将时间维度单列，将外部效度定义为在人、场景、处理和结果测量发生变化时推断因果关系成立的有效性。Shadishetal。（2002）定义中的外部效度指称范围等同于构念效度的指称范围，包括CookCampbel（l1979）提到的两类推广---向总体的推广和在子总体之间推广。　　2.2效度威胁种类　　效度威胁是使推