评分者内部一致性的研究和应用

被引：23

作者：

徐晓锋 ^{[1
]}

刘勇 ^{[2
]}

机构：

[1] 中央司法警官学院

[2] 华南师范大学心理应用研究中心

来源：

心理科学 | 2007年 / 05期

关键词：

评分者内部一致性; 评分者内部一致性信度; 区别;

D O I：

10.16719/j.cnki.1671-6981.2007.05.036

中图分类号：

B841 [心理学研究方法];

学科分类号：

040201 ;

摘要：

在行为科学的研究和实践中,研究者常常需要将个体层次的评价,整合到群体层次的评价,对于这种自下而上整合模式的一致性问题,国内一些学者常常错误地使用评分者内部信度作为评分者内部一致性的指标。评分者内部一致性和评分者内部信度不仅在理论基础上存在差异,而且在实践中也存在前者很高(或很低),而后者却很低(或很高)的不一致情况。文章阐述了学术界对评分一致性这一问题的提出、争论和取得一致观点的发展脉络,以期学者们对这一问题能够有深入的思索,避免在今后的研究中出现类似的错误。

引用

页码：1175 / 1178

页数：4

共 12 条

[1]

Rwg:Anassessment of within-group interrater agreement. James,L.R,Demaree,R.G.,&Wolf,G. Journal ofApplied Psychology . 1993

[2]

A disagreement about within-group agreement:Disentangling issues of consistency versusconsensus. Kozlowski,S.W.J,&Hattrup,K. Journal of Applied Psychology . 1992

[3]

Accurate Tests of Statistical Significance for R[Sub Wg] and Average Deviation Interrater Agreement Indexes.. Dunlap, W. P,Burke, M. J.,Smith-Crowe, K. Journal of Applied Psychology . 2003

[4]

An exploration of climates for technical updating and performance. Kozlowski,S.W.J,and Hults,B.M. Personnel Psychology . 1987

[5]

Estimating within group interraterreliability with and without responsebias. JamesLR,DamareeRG,Wolf G. JoumalofAppliedPsychology . 1984

[6]

Assessing InterraterAgreement on the Job Relevance of a Test:A Comparison of theCVI,T,rWG(J),and r*WG(J)Indexes. Lindell,MichaeK,Brandt,ChristinaJ. Journal of Applied Psychology . 1999

[7]

Statistical Properties of therWG(J)Index of Agreement. Cohen,Ayala,Doveh,Etti,Eick,Uri. Psychological Medicine . 2001

[8]

A note on estimating the reliability of categorical data. Fin,R.H. Educational and Psychological Measurement . 1970

[9]

Aggregation bias in estimates of perceptualagreement. James,L.R. Journal of Applied Psychology . 1982

[10]

Intraclass correlations:Uses inassessing rater reliability. Shrout,P.E,&Fleiss,J.L. Psychological Bulletin . 1979

← 1 2 →