The reliability of replications: a study in computational reproductions

Nate Breznau, Eike Mark Rinke, Alexander Wuttke, Muna Adem, Jule Adriaans, Esra Akdeniz, Amalia Alvarez-benjumea, Henrik K. Andersen, Daniel Auer, Flavio Azevedo, Oke Bahnsen, Ling Bai, Dave Balzer, Paul C. Bauer, Gerrit Bauer, Markus Baumann, Sharon Baute, Verena Benoit, Julian Bernauer, Carl Berning, Anna Berthold, Felix S. Bethke, Thomas Biegert, Katharina Blinzler, Johannes N. Blumenberg, Licia Bobzien, Andrea Bohman, Thijs Bol, Amie Bostic, Zuzanna Brzozowska, Katharina Burgdorf, Kaspar Burger, Kathrin Busch, Juan-carlos Castillo, Nathan Chan, Pablo Christmann, Roxanne Connelly, Christian S. Czymara, Elena Damian, Eline A. De Rooij, Alejandro Ecker, Achim Edelmann, Christina Eder, Maureen A. Eger, Simon Ellerbrock, Anna Forke, Andrea Forster, Danilo Freire, Chris Gaasendam, Konstantin Gavras, Vernon Gayle, Theresa Gessler, Timo Gnambs, Amélie Godefroidt, Max Grömping, Martin Groß, Stefan Gruber, Tobias Gummer, Andreas Hadjar, Verena Halbherr, Jan Paul Heisig, Sebastian Hellmeier, Stefanie Heyne, Magdalena Hirsch, Mikael Hjerm, Oshrat Hochman, Jan H. Höffler, Andreas Hövermann, Sophia Hunger, Christian Hunkler, Nora Huth-stöckle, Zsófia S. Ignácz, Sabine Israel, Laura Jacobs, Jannes Jacobsen, Bastian Jaeger, Sebastian Jungkunz, Nils Jungmann, Jennifer Kanjana, Mathias Kauff, Salman Khan, Sayak Khatua, Manuel Kleinert, Julia Klinger, Jan-philipp Kolb, Marta Kołczyńska, John Kuk, Katharina Kunißen, Dafina Kurti Sinatra, Alexander Langenkamp, Robin C. Lee, Philipp M. Lersch, David Liu, Lea-maria Löbel, Philipp Lutscher, Matthias Mader, Joan E. Madia, Natalia Malancu, Luis Maldonado, Helge Marahrens, Nicole Martin, Paul Martinez, Jochen Mayerl, Oscar J. Mayorga, Robert Mcdonnell, Patricia Mcmanus, Kyle Mcwagner, Cecil Meeusen, Daniel Meierrieks, Jonathan Mellon, Friedolin Merhout, Samuel Merk, Daniel Meyer, Leticia Micheli, Jonathan Mijs, Cristóbal Moya, Marcel Neunhoeffer, Daniel Nüst, Olav Nygård, Fabian Ochsenfeld, Gunnar Otte, Anna Pechenkina, Mark Pickup, Christopher Prosser, Louis Raes, Kevin Ralston, Miguel Ramos, Frank Reichert, Arne Roets, Jonathan Rogers, Guido Ropers, Robin Samuel, Gregor Sand, Constanza Sanhueza Petrarca, Ariela Schachter, Merlin Schaeffer, David Schieferdecker, Elmar Schlueter, Katja Schmidt, Regine Schmidt, Alexander Schmidt-catran, Claudia Schmiedeberg, Jürgen Schneider, Martijn Schoonvelde, Julia Schulte- Cloos, Sandy Schumann, Reinhard Schunck, Julian Seuring, Henning Silber, Willem Sleegers, Nico Sonntag, Alexander Staudt, Nadia Steiber, Nils D. Steiner, Sebastian Sternberg, Dieter Stiers, Dragana Stojmenovska, Nora Storz, Erich Striessnig, Anne-kathrin Stroppe, Jordan W. Suchow, Janna Teltemann, Andrey Tibajev, Brian Tung, Giacomo Vagni, Jasper Van Assche, Meta Van Der Linden, Jolanda Van Der Noll, Arno Van Hootegem, Stefan Vogtenhuber, Bogdan Voicu, Fieke Wagemans, Nadja Wehl, Hannah Werner, Brenton M. Wiernik, Fabian Winter, Christof Wolf, Cary Wu, Yuki Yamada, Björn Zakula, Nan Zhang, Conrad Ziller, Stefan Zins, Tomasz Żółtak, Hung H.v. Nguyen, coautores

Royal Society Open Science

Este estudio investiga la variabilidad entre investigadores en la reproducción computacional, una actividad para la cual se espera la menor variabilidad posible. Ochenta y cinco equipos independientes intentaron replicar numéricamente resultados de un estudio original sobre preferencias de política e inmigración.

Los equipos de reproducción fueron asignados aleatoriamente a un ‘grupo transparente’, que recibió el estudio original y el código, o a un ‘grupo opaco’, que recibió solo una descripción del método y los resultados, sin acceso al código. El grupo transparente logró verificar mayormente los resultados originales (95,7% con mismo signo y umbral de valor p), mientras que el grupo opaco tuvo menor éxito (89,3%).

Las reproducciones numéricas exactas en el segundo decimal fueron menos frecuentes (76,9% y 48,1%, respectivamente). La investigación cualitativa de los flujos de trabajo reveló múltiples causas de error, incluyendo equivocaciones y variaciones procedimentales. Incluso al depurar los errores, solo el grupo transparente logró resultados consistentemente confiables.

Los hallazgos sugieren la necesidad de mayor transparencia, pero también de medidas adicionales. Controles institucionales y una menor dificultad subjetiva para los investigadores que realizan reproducciones serían beneficiosos, lo que implica la necesidad de mejor formación. Asimismo, se enfatiza una mayor conciencia sobre la complejidad del proceso de investigación y de las replicaciones automatizadas.