Tópicos Ciencia e investigaciones

Sesgo de publicación en psicología: qué es y por qué da problemas

La psicología, en concreto su vertiente investigadora, lleva unos cuantos años en crisis, lo cual no ayuda para nada a su credibilidad. No únicamente el problema se encuentra en los problemas a la hora de replicar experimentos clásicos, sino también a la hora de publicar nuevos artículos.

El gran problema es que parece haber un destacado sesgo de publicación en psicología, es decir, parece que la publicación de artículos se basa más en aspectos como lo interesantes que puedan parecer al público general más que los resultados e información científicamente relevante que ofrecen al mundo.

Hoy vamos a tratar de comprender cómo de grave es el problema, qué implica, cómo se ha llegado a esta conclusión y si es algo exclusivo de las ciencias de la conducta o hay otras que también se encuentran en la misma encrucijada.

¿Qué es el sesgo de publicación en psicología?

En los últimos años, diversos investigadores en psicología han alertado sobre la falta de estudios de replicación dentro del campo, lo cual ha sugerido la posibilidad de que hubiera un sesgo de publicación en las ciencias del comportamiento. Si bien esto era algo que se venía venir, no fue hasta finales de los 2000 y principios de la década siguiente que se tuvo evidencia de que la investigación psicológica tenía problemas, los cuales podían suponer la pérdida de valiosa información para el avance de esta gran, aunque precaria, ciencia.

Una de las primeras sospechas del problema fue lo que ocurrió con el experimento de Daryl Bem de 2011. El experimento en sí era simple:

Consistía en una muestra conformada por voluntarios a quienes se les mostraron 48 palabras. A continuación se les pedía que apuntaran tantas palabras como pudieran recordar. Una vez hecho esto, tuvieron una sesión práctica, en la cual se les daba un subconjunto de esas 48 palabras previamente mostradas y se les pidió que las escribiesen. La hipótesis inicial era que algunos participantes recordarían mejor aquellas palabras que, luego, se les hizo practicar.

Tras la publicación de este trabajo, otros tres equipos de investigación, por separado, trataron de replicar los resultados vistos en el trabajo de Bem. Pese a que, en esencia, siguieron el mismo procedimiento que el trabajo original, no obtuvieron resultados similares. Esto, pese a que permitiría sacar algunas conclusiones, fue motivo suficiente para que los tres grupos investigadores tuvieran serios problemas para conseguir publicar sus resultados.

En primer lugar, al tratarse de una réplica de un trabajo anterior, daba la sensación de que las revistas científicas estaban interesadas en algo nuevo, original, no una “mera copia” de algo anterior. Sumado a esto, se encontraba el hecho de que los resultados de estos tres nuevos experimentos, al no ser positivos, eran vistos más como estudios que estaban metodológicamente mal hechos y que eso explicaría la obtención de malos resultados antes que pensar que, quizás, los nuevos datos suponían un nuevo avance para la ciencia.

En psicología, los estudios que confirman sus hipótesis y, por lo tanto, obtienen resultados positivos más o menos claros, parece que se acaban comportando como rumores. Se divulgan fácilmente por la comunidad, a veces sin siquiera consultar la fuente original de donde proceden o sin reflexionar detenidamente sobre las conclusiones y discusiones realizadas por el mismo autor o por críticos de ese trabajo.

Cuando los intentos por replicar estudios anteriores que tenían resultados positivos fracasan, estas réplicas quedan sistemáticamente sin publicar. Esto hace que, pese haberse realizado un experimento que confirma que uno clásico no era replicable por cualquier razón o motivo, al no ser de interés para las revistas, los propios autores evitan publicarlo, y de esta forma no queda constancia en la literatura. Esto hace que lo que es técnicamente un mito se siga divulgando como un hecho científico.

Por otro lado, están los hábitos arraigados por la comunidad de investigadores, formas de proceder que son bastante criticables aunque están tan generalizadas que se hace mucho la vista gorda: modificar los diseños experimentales de forma que se garanticen resultados positivos, decidir el tamaño de la muestra después de comprobar si los resultados son significativos, seleccionar estudios anteriores que confirmen la hipótesis del estudio actual, omitiendo o ignorando, como quien no quiere la cosa, los que la refutan.

Pese a que las conductas que acabamos de exponer son criticables pero, dentro de lo que cabe, comprensibles (aunque no necesariamente tolerables), existen casos de manipulación de los datos del estudio para garantizar que se acaben publicando que se puede hablar abiertamente de fraude y una total falta de escrúpulos y ética profesional.

Uno de los casos más salvajemente bochornosos para la historia de la psicología es el caso de Diederik Stapel, cuyo fraude es considerado de proporciones bíblicas: llegó a inventarse todos los datos de algunos de sus experimentos, es decir, hablando en claro, como quien escribe una novela de ficción, este señor se inventó investigaciones.

Esto no únicamente supone una falta de escrúpulos y una ética científica que brilla por su ausencia, sino que también la total falta de empatía hacia aquellos quienes usaron sus datos en investigaciones posteriores, haciendo que esos estudios tuvieran en mayor o menor medida un componente ficticio.

Estudios que han puesto en relieve este sesgo

Kühberger, Fritz y Scherndl analizaron en 2014 cerca de 1.000 artículos publicados en psicología desde el año 2007, seleccionados al azar. El análisis reveló, de forma abrumadora, un evidente sesgo de publicación en el campo de la ciencia del comportamiento.

Según estos investigadores, teóricamente, el tamaño del efecto y el número de personas que participan en los estudios deberían ser independientes entre sí, no obstante, su análisis reveló que existe una fuerte correlación negativa entre esas dos variables en base a los estudios seleccionados. Esto quiere decir que los estudios con muestras más pequeñas presentan unos tamaños del efecto más grandes que los estudios con muestras mayores.

En ese mismo análisis también se evidenció que el número de estudios publicados con resultados positivos era mayor que el estudios con resultados negativos, siendo la proporción aproximadamente de 3:1. Esto viene a indicar que es la significación estadística de los resultados la que determina si el estudio se publicará más que si realmente supone algún tipo de beneficio para la ciencia.

Pero por lo visto no es solamente la psicología la ciencia que sufre este tipo de sesgo hacia los resultados positivos. De hecho, se podría decir que se trata de un fenómeno generalizado en todas las ciencias, aunque serían la psicología y la psiquiatría las más propensas a reportar resultados positivos, dejando de lado estudios con resultados negativos o moderados. Estos datos han podido ser observados mediante una revisión llevada a cabo por el sociólogo Daniele Fanelli de la Universidad de Edimburgo. Revisó cerca de 4.600 estudios y vio que entre los años 1990 y 2007, la proporción de resultados positivos se elevó en más del 22%.

¿Tan mala es una réplica?

Existe la creencia errónea de que una réplica negativa invalida el resultado original. Que una investigación haya llevado a cabo el mismo procedimiento experimental con resultados diferentes no significa que ni la nueva investigación esté mal hecha metodológicamente ni tampoco que los resultados del trabajo original hayan sido exagerados. Son muchas las razones y factores que pueden hacer que los resultados no sean los mismos, y todos ellos permiten tener un mejor conocimiento de la realidad, que a fin de cuentas, es el objetivo de cualquier ciencia.

Las nuevas réplicas no deben ser vistas como una dura crítica a los trabajos originales, ni tampoco como un simple “copia y pega” de un trabajo original solo que con distinta muestra. Es gracias a estas réplicas que se da una mayor comprensión de un fenómeno previamente investigado, y permite hallar condiciones en las que el fenómeno no se replica o no se da de la misma forma. Cuando se entienden los factores que condicionan la aparición o no del fenómeno, se pueden elaborar mejores teorías.

Prevenir el sesgo de publicación

Solucionar la situación en la que se encuentra la psicología y las ciencias en general es difícil, pero no necesariamente esto quiera decir que el sesgo tenga por qué agravarse o cronificarse Si bien para que se pueda compartir con la comunidad científica todo dato útil implica el esfuerzo de todos los investigadores y una mayor tolerancia por parte de las revistas hacia los estudios con resultados negativos, algunos autores han propuesto una serie de medidas que podrían contribuir con acabar las situación.

  • Eliminación de las pruebas de hipótesis.
  • Actitud más positiva a los resultados no significativos.
  • Mejora de la revisión y publicación por pares.

Referencias bibliográficas:

  • Kühberger A., Fritz A., Scherndl T. (2014) Publication Bias in Psychology: A Diagnosis Based on the Correlation between Effect Size and Sample Size. PLoS One. 5;9(9):e105825. doi: 10.1371/journal.pone.0105825
  • Blanco, F., Perales, J.C., & Vadillo, M.A. (2017). Pot la psicologia rescatar-se a si mateixa? Incentius, biaix i replicabilitat. Anuari de psicologia de la Societat Valenciana de Psicologia, 18 (2), 231-252. http://roderic.uv.es/handle/10550/21652 DOI: 10.7203/anuari.psicologia.18.2.231
  • Fanelli D. (2010). Do pressures to publish increase scientists'' bias? An empirical support from US States Data. PloS one, 5(4), e10271. doi:10.1371/journal.pone.0010271NLM