Observing many researchers using the same data and hypothesis reveals a hidden universe of uncertainty

Nate Breznau, Eike Mark Rinke, Alexander Wuttke, Tomasz Żółtak, Luis Maldonado, +162 coautores

Proceedings of the National Academy of Sciences

Este estudio explora cómo las decisiones analíticas de los investigadores afectan la fiabilidad de los hallazgos científicos. La mayoría de las discusiones sobre problemas de fiabilidad en la ciencia se han centrado en sesgos sistemáticos; sin embargo, este trabajo amplía la perspectiva para enfatizar la idiosincrasia de las decisiones conscientes e inconscientes que los investigadores toman durante el análisis de datos.

Se coordinó a 161 investigadores organizados en 73 equipos de investigación, observando sus decisiones al utilizar los mismos datos para probar de manera independiente una hipótesis destacada en ciencias sociales: que un mayor nivel de inmigración reduce el apoyo público a las políticas sociales. A pesar de condiciones iniciales idénticas, los equipos reportaron resultados numéricos y conclusiones sustantivas ampliamente divergentes.

La experiencia, creencias previas y expectativas de los investigadores apenas logran predecir esta variación en los resultados. Incluso después de codificar cualitativamente todas las decisiones identificables en los flujos de trabajo, más del 95% de la varianza en los resultados numéricos permanece sin explicación.

Estos hallazgos revelan un universo de incertidumbre que permanece oculto cuando se considera un solo estudio de manera aislada. La naturaleza idiosincrática de las decisiones analíticas constituye una explicación subestimada de por qué muchas hipótesis científicas siguen siendo objeto de debate, lo que plantea la necesidad de mayor humildad epistémica y claridad en la comunicación de resultados científicos.