La crisis de replicabilidad en la Psicología

En los últimos años, desde principios de la década de 2010, la comunidad científica ha llamado la atención sobre la existencia de una crisis de replicabilidad en la ciencia, especialmente en la psicología y en la medicina: los resultados de muchas investigaciones son imposibles de replicar o bien, simplemente, no se llevan a cabo intentos de hacerlo.

Sin embargo, los problemas relacionados con la confirmación de hipótesis no son los únicos que se engloban en la crisis de replicación, sino que esta tiene un carácter más amplio. En este sentido cabe destacar la relevancia de la falsificación de resultados, en particular en el campo de la psicología social, y de otros factores metodológicos muy significativos.

• Artículo relacionado: "Los 15 tipos de investigación (y características)"

La crisis de replicabilidad en la ciencia

Uno de los fundamentos del método científico es la replicación de los resultados. A pesar de que muchas personas tienen una tendencia marcada a tomar como creíbles y definitivas las conclusiones de un único estudio, lo cierto es que una hipótesis sólo cobra verdadera solidez cuando es confirmada por varios estudios válidos de distintos equipos de investigación.

En el mismo sentido, son tan importantes los resultados negativos, es decir, la refutación de hipótesis, como su verificación. No obstante, la proporción de estudios que refutan planteamientos parece haberse reducido en la ciencia en general; en consecuencia existe una clara primacía de las publicaciones que corroboran las hipótesis experimentales.

Muchas de las publicaciones que se han llevado a cabo en torno a la crisis de replicación destacan la magnitud que ha tomado en la psicología. No obstante, es necesario explicitar que esta crisis afecta a la ciencia en su conjunto y que también tiene una intensidad particular en el caso de la medicina. Esto se debe a una serie de factores interrelacionados.

• Quizás te interese: "Los 7 tipos de muestreo y su uso en las Ciencias"

Las principales causas de este fenómeno

Un metaanálisis realizado por Daniele Fanelli (2009) concluye que el fraude en las publicaciones es más habitual en la investigación médica y farmacéutica que en el resto de campos. El autor sugiere que esto puede deberse a la gran magnitud de los incentivos económicos por las publicaciones o bien a un mayor grado de concienciación en estos ámbitos.

Existen, no obstante, diversos factores que influyen en la crisis de replicabilidad más allá de la falsificación explícita de los datos. Uno de los más significativos es la selectividad de las publicaciones: en general los resultados positivos y llamativos tienen un mayor potencial de aparecer en revistas y de proporcionar reconocimiento y dinero a los investigadores.

Es por esto que se produce con frecuencia el “efecto cajón”, por el cual los estudios que no apoyan las hipótesis esperadas son desechados mientras que los que sí lo hacen son seleccionados por los autores y publicados más comúnmente. Además, la no replicación de los estudios positivos disminuye el riesgo de que las hipótesis queden refutadas.

Otras prácticas habituales que tienen objetivos parecidos son seleccionar un gran número de variables y posteriormente centrarse sólo en las que correlacionan, modificar el tamaño de las muestras (por ejemplo, incluir sujetos hasta que los resultados sean positivos) o llevar a cabo múltiples análisis estadísticos e informar exclusivamente de los que apoyen las hipótesis.

¿Por qué es tan grave en psicología?

Se considera que la crisis de replicación en psicología se remonta a los primeros años de la década de 2010. Durante este periodo surgieron numerosos casos de fraude que implicaban a autores relevantes; por ejemplo, el psicólogo social Diederik Stapel falsificó los resultados de varias publicaciones

Un metaanálisis de Makel, Plucker y Hegarty (2012) encontró que sólo alrededor de un 1% de los estudios sobre psicología publicados desde inicios del siglo XX son replicaciones de estudios previos. Se trata de una cifra muy baja puesto que sugiere fuertemente que muchas de las conclusiones obtenidas por estudios aislados no pueden tomarse como definitivas.

El número de replicaciones independientes con éxito también es bajo, situándose en torno al 65%; en cambio, más del 90% de las realizadas por el equipo de investigación original corroboran las hipótesis. Por otra parte, los trabajos con resultados negativos también son especialmente infrecuentes en la psicología; lo mismo se puede decir de la psiquiatría.

Soluciones a la crisis de la investigación

La crisis de replicabilidad en la psicología y en la ciencia en general no sólo compromete los resultados de un gran número de estudios, sino que puede conducir a la legitimación de hipótesis que no han sido confirmadas con el rigor necesario. Esto podría provocar el uso generalizado de hipótesis incorrectas, alterando el desarrollo de las ciencias.

En la actualidad existen muchos intereses económicos (y otros relacionados también con el prestigio) que favorecen que la crisis de replicación se mantenga. Mientras los criterios que se siguen en cuanto a la publicación de estudios y la difusión de sus resultados en grandes medios continúen teniendo este carácter monetarista, la situación difícilmente podrá cambiar.

La mayoría de las propuestas que se han realizado para ayudar a solucionar esta crisis se asocian con la rigurosidad en la metodología en todas sus fases, así como con la participación de otros miembros de la comunidad científica; de este modo, se trataría de potenciar el proceso de “peer-review” y de procurar fomentar los esfuerzos de replicación.

Concluyendo

Hay que tener en cuenta que en el ámbito de la psicología se trabaja con muchas variables, por un lado, y es difícil establecer un contexto en el que el punto de partida sea similar al de otro estudio, por el otro. Eso hace que sea muy fácil que elementos que no se tienen en cuenta en la investigación "contaminen" los resultados.

Por otro lado, las limitaciones de las maneras en las que se decide si hay fenómenos reales o solo fenómenos estadísticos hace que a veces aparezcan falsos positivos: el simple hecho de que el valor p sea significativo no tiene por qué ser suficiente para indicar que refleja un fenómeno psicológico real.

Referencias bibliográficas:

• Fanelli, D. (2009). How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data. PLoS ONE 4(5).

• Makel, M. C., Plucker, J. A. & Hegarty, B. (2012). Replications in psychology research: how often do they really occur? Perspectives on Psychological Science, 7(6): 537-542.

• Nosek, B. A., Spies, J. R. & Motyl, M. (2012). Scientific Utopia: II. Restructuring incentives and practices to promote truth over publishability. Perspectives on Psychological Science, 7(6): 615-631.