Capturing Evaluation Capacity: Findings from a Mapping of Evaluation Capacity Instruments

This article surveys the literature on organizational evaluation capacity (EC) instruments. Over the past 25 years, articles have been published in four waves covering the development of organizational evaluation capacity models, surveys of the evaluation capacity and practice landscape, the development of EC instruments, and their replication and adaptation. Altogether, the authors identified 20 studies applying 16 EC instruments. Several studies applied variants of the same instrument. We found instruments of three types: checklists, rubrics, and questionnaires. The instruments vary in terms of type, purpose, scoring, dimensions, number of items, and validation processes. In general, the validation studies demonstrated acceptable face, content, construct validity, and internal consistency. Only two studies tested for predictive validity. No studies covered concurrent validity and test-retest, or inter-rater reliability. Cet article passe en revue la litt & eacute;rature sur les instruments de capacit & eacute; d'& eacute;valuation organisationnelle. Au cours des 25 derni & egrave;res ann & eacute;es, les articles parus dans le domaine ont port & eacute; sur le d & eacute;veloppement de mod & egrave;les de capacit & eacute; d'& eacute;valuation organisationnelle, sur des enqu & ecirc;tes & agrave; propos de la capacit & eacute; d'& eacute;valuation et du terrain de la pratique, sur le d & eacute;veloppement d'instruments de capacit & eacute; d'& eacute;valuation, ainsi que sur leur reproduction et adaptation. Au total, les auteurs ont identifi & eacute; 20 & eacute;tudes appliquant 16 instruments de capacit & eacute; d'& eacute;valuation sachant que plusieurs & eacute;tudes ont appliqu & eacute; des variantes du m & ecirc;me instrument. Nous avons trouv & eacute; des instruments de trois types : des listes de contr & ocirc;le, des rubriques et des questionnaires. Les instruments varient en termes de type, d'objectif, de notation, de dimensions, de nombre d'& eacute;l & eacute;ments et de processus de validation. En g & eacute;n & eacute;ral, les & eacute;tudes de validation ont d & eacute;montr & eacute; une validit & eacute; apparente, une validit & eacute; de contenu, une validit & eacute; de construit et une coh & eacute;rence interne acceptable. Seules deux & eacute;tudes ont test & eacute; la validit & eacute; pr & eacute;dictive. Aucune & eacute;tude n'a port & eacute; sur la validit & eacute; concomitante et le test-retest, ou encore sur la fiabilit & eacute; interjuges.