Robert Finger, Carola Grebitus, Arne Henningsen*

Dieser Blog-Post ist in grossen Teilen eine Übersetzung des Artikels von Finger et al. (2023b), der unter der Creative-Commons-Lizenz CC BY-NC 4.0 [https://creativecommons.org/licenses/by-nc/4.0/] veröffentlicht wurde.

Die agrarökonomische Forschung liefert direkte Beiträge zur Politikgestaltung. Dazu gehören Ex-ante- und Ex-post-Bewertungen politischer Massnahmen oder ganzer Agrarpolitiken, oft mit weitreichenden finanziellen Konsequenzen (z.B. El Benni et al. 2023). Dies wirft die Frage auf, wie verlässlich die Forschung ist, auf der die Bewertungen und durchgeführten Massnahmen beruhen. Verlässlichkeit von Forschung kann durch das Replizieren von Forschungsstudien überprüft werden. Allerdings ist das Prüfen der Replizierbarkeit von Studien und damit die interne und externe Validität von Forschungsergebnissen oft schwierig und in manchen Fällen sogar unmöglich. Gründe dafür sind z.B. fehlende oder ungenügende Dokumentation der Datenerhebung, der Datenquelle, Datenanalyse, und/oder des verwendeten Computercodes (z.B. für empirische Analysen oder Modelle). Ferraro und Shukla (2023) sprechen diesbezüglich von einer “Credibility crisis in agricultural economics”. Dies kann dazu führen, dass politische Entscheidungen bezüglich der Einführung, Aufgabe oder Änderung politischer Massnahmen auf unzureichenden wissenschaftlichen Erkenntnissen beruhen. Es ist auch möglich, dass politische Massnahmen nicht die beabsichtigte Wirkung haben und Ressourcen ineffizient eingesetzt werden.

Um dies zu verhindern, können Replikationsstudien durchgeführt werden, um die Validität von (politikrelevanten) Analysen zu erhöhen und so agrarpolitische Entscheidungen auf ein solideres Fundament zu stellen. Momentan werden diese jedoch nicht systematisch genutzt.

Um Replikationen stärker in den Vordergrund zu rücken und dem Thema mehr Beachtung zu schenken, haben wir eine Special Issue inklusive Hintergrundartikel in der Zeitschrift Applied Economic Perspectives and Policy (Finger et al. 2023a) sowie einen Point de Vue in der Zeitschrift EuroChoices (Finger et al., 2023b) zum Thema “Replikationen in der Agrarökonomie” veröffentlicht. In diesen Beiträgen werden die Möglichkeiten von Replikationen in der agrarökonomischen Forschung und deren Potential für die Verbesserung der agrarpolitischen Entscheidungsfindung aufgezeigt. Darüber hinaus diskutieren wir die Notwendigkeit Replikationen systematisch zu unterstützen und führen auf, wie politische Entscheidungsträger diesen Prozess fördern können.

Definition von Replikationen für die Agrarpolitik

Duvendack et al. (2017) definieren Replikationen als „jede Studie, deren Hauptzweck darin besteht, die Gültigkeit eines oder mehrerer empirischer Ergebnisse aus einer zuvor veröffentlichten Studie zu bewerten“.

Wir schlagen in Finger et al. (2023a) eine Klassifizierung von Replikationsstudien vor, die sich am Ziel der Studie orientiert und besonders für die Agrarökonomie geeignet ist:

–         Replikationsstudien zur Bewertung der Wiederholbarkeit: Diese wiederholen die empirische Analyse einer veröffentlichten Studie und prüfen, ob die gleichen oder sehr ähnliche Ergebnisse erzielt werden. Beispielsweise ist eine ökonometrische Studie, die auf Buchhaltungsdaten beruht, wiederholbar, wenn andere Forscher Zugang zu denselben Daten haben und dieselbe Methode wie die ursprüngliche Studie anwenden, und dann zu denselben Ergebnissen gelangen. Eine experimentelle Studie, die zum Beispiel die Zahlungsbereitschaft der Verbraucher für klimafreundliche Produkte untersucht, ist wiederholbar, wenn dasselbe Experiment mit Teilnehmern aus derselben Population wiederholt wird und sehr ähnliche Ergebnisse erzielt werden.

–         Replikationsstudien zur Bewertung der internen Validität und Robustheit: Diese untersuchen die Eignung der Methoden, die in veröffentlichten Studien angewandt wurden. Stützt sich eine Replikationsstudie auf dieselben Daten oder dieselbe Population wie eine veröffentlichte Studie und es stellt sich heraus, dass andere (z.B. neuere) Methoden besser geeignet sind und zu deutlich anderen Ergebnissen führen, fehlt den Ergebnissen der ursprünglichen Studie die interne Validität. Stellt die Replikationsstudie fest, dass andere Methoden ebenso geeignet sind wie die in der ursprünglichen Studie angewandte Methoden, aber zu anderen Ergebnissen führen, fehlt es den Ergebnissen der ursprünglichen Studie an Robustheit.

–         Replikationsstudien zur Bewertung der externen Validität und Verallgemeinerung: Hier wird untersucht, ob die Ergebnisse veröffentlichter Studien auch für andere Grundgesamtheiten gelten. Wenn beispielsweise eine veröffentlichte Studie mit einer Stichprobe osteuropäischer Verbraucher oder Landwirte mit westeuropäischen Verbrauchern oder Landwirten repliziert wird und die Replikationsstudie deutlich abweichende Ergebnisse liefert, fehlt es den Ergebnissen der Originalstudie an externer Validität und Verallgemeinerbarkeit. Solange diese Studie jedoch wiederholbar ist und intern gültige und robuste Ergebnisse liefert, wäre dies kein Mangel der ursprünglichen Studie. In diesem Fall ist jedoch die Aussage über die Transferierbarkeit wichtig für Entscheidungsträger. Wenn eine Studie viele Male mit Stichproben verschiedener Grundgesamtheiten wiederholt wird, kann eine Metastudie die Gründe für die unterschiedlichen Ergebnisse aufzeigen.

Eine einzelne Replikationsstudie kann eine, zwei oder alle drei der oben beschriebenen Kategorien von Replikationsstudien erfüllen (Finger et al. 2023a).

Die Special Issue in der Zeitschrift Applied Economic Perspectives and Policy trägt zu diesem Thema mit 11 Artikeln bei, die verschiedene Beispiele für alle drei Kategorien von Replikationsstudien in politisch relevanten Kontexten aufweisen. So replizieren Wimmer und Dakpo (2023) eine Studie über die Komponenten der Entwicklung von landwirtschaftlicher Produktivität in den USA und dehnen die Analyse auf die EU aus. Sie stellen fest, dass der technische Fortschritt das Produktivitätswachstum in den USA antreibt, dies aber nicht für die EU gilt. Darüber hinaus wiederholen Rommel et al. (2023) ein Experiment zur Ermittlung der Risikopräferenzen französischer Landwirte und weiten die Analysen auf ganz Europa aus, indem sie neue Daten in 11 europäischen landwirtschaftlichen Systemen erheben. Sie bestätigen zwar die Ergebnisse der ursprünglichen Studie und deren Schlussfolgerungen, zeigen aber auch wichtige Unterschiede auf.

Bislang fehlt es den veröffentlichten Studien oft an vollständiger Transparenz in Bezug auf Dokumentation, Daten und Computercode © Markus Spiske.

Warum werden nicht mehr Replikationsstudien durchgeführt?

Es gibt mehrere Gründe, warum bisher nur wenige Replikationsstudien in der Agrarökonomie vorliegen. Zum Beispiel fehlt es Forschern an Anreizen, in Replikationen zu investieren, solange solche Studien nur schwer oder gar nicht in führenden Zeitschriften veröffentlichten werden können und keine speziellen Fördermittel gestellt werden, welche die hohen Kosten abdecken, z.B. für die Sammlung oder Beschaffung von Daten, Software und für den erforderlichen Zeitaufwand. Ein weiteres Hindernis für Replikationen ist die mangelnde Transparenz veröffentlichter agrarökonomischer Studien, da die Dokumentation der Analyse oft unzureichend ist und Code und Daten nur selten verfügbar sind. Die mangelnde Transparenz der Originalforschung gilt für Studien, die in Zeitschriften publiziert sind, aber insbesondere auch für durch die Politik und Verwaltung beauftragte Studien und Berichte. Transparenz ist oft mit hohen Kosten verbunden, z.B. aufgrund des zusätzlichen Arbeitsaufwands für die Autoren bezüglich Dokumentation oder des Mangels an Ressourcen für die Speicherung von Daten (und Code). Derzeit stehen diese zusätzlichen Kosten selten im Verhältnis zum wahrgenommenen Nutzen. Ein weiteres Hindernis sind vertrauliche und geschützte Datensätze wie Buchhaltungsdaten, Zensusdaten oder Scannerdaten, welche für die agrarökonomische und agrarpolitische Forschung von grosser Bedeutung sind. Solche Daten können nicht ohne weiteres weitergegeben werden, was die Möglichkeiten zur Durchführung von Replikationen einschränkt oder unmöglich macht.

Implikationen für die Gestaltung der Agrarpolitik

Um den Mangel an Replikationen und Replizierbarkeit in der Agrarökonomie zu überwinden, ist die Beteiligung einer Vielzahl von Akteuren erforderlich, darunter Forscher, Universitäten, Verlage, Fördereinrichtungen und dergleichen. Wir konzentrieren uns hier darauf, wie Entscheidungsträger in der Agrarpolitik diesen Prozess unterstützen können. Replikationen sollten zu einem Standardinstrument in politischen Prozessen und Bewertungen werden. Die Bestätigung von Ergebnissen und der Nachweis höherer Zuverlässigkeit verringern die Unsicherheiten hinsichtlich der Auswirkungen von Massnahmen. Auch die Entkräftung von Ergebnissen verbessert die Politik und damit die Effizienz der Ressourcenallokation.

Politische Entscheidungsträger können sowohl nachfrage- als auch angebotsseitige Probleme im Zusammenhang mit Replikationen angehen. Auf der Nachfrageseite können die politischen Entscheidungsträger die Replikation von politikrelevanten Analysen fordern und unterstützen. Zu diesem Zweck sollten die Replikation und die Wiederverwendung bereits vorhandener Daten in den politischen Entscheidungsprozessen und bei der Finanzierung politikrelevanter Studien einen höheren Stellenwert erhalten.

Die öffentliche Forschungsfinanzierung fokussiert sich häufig auf die Erhebung neuer Daten. Der zusätzliche wissenschaftliche und politische Wert dieser Datensammlungen ist jedoch oft gering. Daher sollte die Aufforderung zur Teilnahme an und die Finanzierung von Replikationen in öffentlichen Förderprogrammen zur Regel werden. Beispielsweise könnten gezielte Aufrufe zur Replikation von Studien, die als besonders politikrelevant erachtet werden, initiiert werden. Da Replikationsstudien kostspielig sind, würde dies klare Leitlinien dafür erfordern, welche Studien für eine Replikation Vorrang haben.

Auf der Angebotsseite können die politischen Entscheidungsträger dazu beitragen, dass Studien von Forschern häufiger wiederholt werden, insbesondere wenn die Forschung von politischen Institutionen in Auftrag gegeben wurde. Im Idealfall wiederholen Replikationsstudien nicht nur veröffentlichte Forschungsergebnisse, sondern erweitern die veröffentlichte Arbeit erheblich, um ihre eigenen Vorzüge zu schaffen. Zu diesem Zweck müssen Open Science Strategien und Praktiken erweitert werden. Die Veröffentlichung von Daten, Code, Modellen sowie Dokumentation aller methodischen Schritte, die zur vollständigen Replikation von Studien erforderlich sind, sowie vollständige Replikationspakete sollten zum Standard werden. Die Durchsetzung solch hoher Standards und vollständiger Transparenz verbessert nicht nur die Replizierbarkeit, sondern schafft auch einen „credible threat“ (Mueller-Langer et al. 2019); da Forscher wissen, dass ihre Analyse repliziert werden kann, wird die eigentliche Analyse oft sorgfältiger durchgeführt, was zur Verbesserung der Qualität der ursprünglichen politischen Analyse beiträgt. Politische Entscheidungsträger könnten auch die Ressourcen sowie die rechtlichen und regulatorischen Grundlagen für Replikationen bereitstellen. Dies kann beispielsweise durch die Unterstützung von Plattformen wie Zenodo (zenodo.org) erfolgen, welche für die langfristige Speicherung und den Austausch von Details, die für die Replikation von Studien benötigt werden. Ausserdem sollte der Zugang zu öffentlichen Datenquellen, die für die Forschung genutzt werden, erleichtert werden. So könnten rechtliche Rahmenbedingungen und technische Plattformen entwickelt werden, um den transparenten Zugang zu und die Nutzung von vertraulichen und geschützten Daten (z.B. Buchhaltungsdaten, Zensusdaten) für Replikationszwecke zu erleichtern.

Abschliessend können Regierungen und politische Entscheidungsträger eine Replikationskultur in öffentlichen Forschungseinrichtungen fördern, indem sie Budgets für Replikationsaktivitäten bereitstellen. Weiterhin sollten Replikationen in Lehre und Forschung zum Standard und entsprechend gewürdigt werden, z.B., um Forscher zu Replikationsbemühungen zu ermutigen. All dies könnte schlussendlich zu einem allgemeineren Engagement in Open Science führen.

*Autoren: Robert Finger, ETH, Zürich, Schweiz; Carola Grebitus, Arizona State University, USA; Arne Henningsen, University of Copenhagen, Dänemark. Kontakt: rofinger@ethz.ch

Studien (open access)

Finger, R., Grebitus, C., Henningsen, A. (2023a). Replications in Agricultural Economics. Applied Economic Perspectives and Policy 45(3): 1258-1274  https://doi.org/10.1002/aepp.13386

Finger, R., Grebitus, C., Henningsen, A. (2023b). Improving Agricultural Policy Decisions through Replications . EuroChoices. In Press https://doi.org/10.1111/1746-692X.12413

Referenzen

Duvendack, M., R. Palmer-Jones, and W. R. Reed. (2017). “What Is Meant by „Replication“ and Why Does It Encounter Resistance in Economics?” American Economic Review 107(5): 46–51.

Ferraro, P. J., and P. Shukla. 2023. “Credibility Crisis in Agricultural Economics.” Applied Economic Perspectives and Policy 45(3): 1275–91

Finger, R., Grebitus, C., Henningsen, A. (2023). Improving Agricultural Policy Decisions through Replications . EuroChoices. In Press https://doi.org/10.1111/1746-692X.12413

Finger, R., Grebitus, C., Henningsen, A. (2023). Replications in Agricultural Economics. Applied Economic Perspectives and Policy 45(3): 1258-1274  https://doi.org/10.1002/aepp.13386

Mueller-Langer, F., B. Fecher, D. Harhoff, and G. G. Wagner. (2019). “Replication Studies in Economics—How Many and which Papers Are Chosen for Replication, and why?” Research Policy 48(1): 62– 83.

Rommel, J., J. Sagebiel, M. C. Baaken, J. Barreiro-Hurlé, D. Bougherara, L. Cembalo, et al. (2023). “Farmers‘ Risk Preferences in 11 European Farming Systems: A Multi-Country Replication of Bocquého et al. (2014).” Applied Economic Perspectives and Policy 45(3): 1374–99.

Wimmer, S., and K. H. Dakpo. (2023). “Components of Agricultural Productivity Change: Replication of US Evidence and Extension to the EU.” Applied Economic Perspectives and Policy 45(3): 1332–55.

Die Special Issue ‘Replications in Agricultural Economics’ in Applied Economic Perspectives and Policy ist hier verfügbar https://onlinelibrary.wiley.com/doi/10.1002/aepp.13386