Reproduce to validate: A comprehensive study on the reproducibility of economics research

Journals have pushed for transparency of research through data availability policies. Such data policies improve availability of data and code, but what is the impact on reproducibility? We present results from a large reproduction exercise for articles published in the American Economic Journal: Applied Economics, which has had a data availability policy since its inception in 2009. Out of 363 published articles, we assessed 274 articles. All articles provided some materials. We excluded 122 articles that required confidential or proprietary data or that required the replicator to otherwise obtain the data (44.5% of assessed articles). We attempted to reproduce 152 articles and were able to fully reproduce the results of 68 (44.7% of attempted reproductions). A further 66 (43.4% of attempted reproductions) were partially reproduced. Many articles required complex code changes even when at least partially reproduced. We collect bibliometric characteristics of authors, but find no evidence for author characteristics as determinants of reproducibility. There does not appear to be a citation bonus for reproducibility. The data availability policy of this journal was effective to ensure availability of materials, but is insufficient to ensure reproduction without additional work by replicators. Les journaux militent pour la transparence de la recherche par le biais de politiques sur la disponibilit & eacute; des donn & eacute;es. De telles politiques sur les donn & eacute;es am & eacute;liorent la disponibilit & eacute; des donn & eacute;es et du code, mais quelle en est l'incidence sur la reproductibilit & eacute;? Nous pr & eacute;sentons les r & eacute;sultats d'un grand exercice de reproduction pour des articles publi & eacute;s dans le American Economic Journal: Applied Economics, qui a une politique de disponibilit & eacute; des donn & eacute;es depuis sa cr & eacute;ation en 2009. Parmi les 363 articles publi & eacute;s, nous en & eacute;valuons 274. Tous les articles avaient fourni certains documents. Nous avons exclu 122 articles qui n & eacute;cessitaient des donn & eacute;es confidentielles ou exclusives, ou qui exigeaient que la personne charg & eacute;e de la r & eacute;plication obtienne autrement les donn & eacute;es (44,5% des articles & eacute;valu & eacute;s). Nous avons tent & eacute; de reproduire 152 articles et avons r & eacute;ussi & agrave; enti & egrave;rement reproduire les r & eacute;sultats de 68 articles (44,7% des reproductions tent & eacute;es). Nous avons aussi partiellement reproduit 66 autres articles (43,4% des reproductions tent & eacute;es). De nombreux articles n & eacute;cessitaient de complexes changements de code, m & ecirc;me lorsqu'ils & eacute;taient au moins partiellement reproduits. Nous avons recueilli les caract & eacute;ristiques bibliom & eacute;triques des auteurs, mais n'avons pas constat & eacute; qu'elles & eacute;taient d & eacute;terminantes pour la reproductibilit & eacute;. La reproductibilit & eacute; ne semble offrir aucun avantage en mati & egrave;re de citations. La politique de disponibilit & eacute; des donn & eacute;es de ce journal a & eacute;t & eacute; efficace pour assurer la disponibilit & eacute; des documents, mais insuffisante pour assurer la reproduction sans travail suppl & eacute;mentaire des personnes charg & eacute;es de la r & eacute;plication.