Recientemente han coincidido en el tiempo dos noticias de impacto relacionadas con la ciencia: por un lado, ha sido publicado un estudio realizado por el Grupo de Oncología Experimental del Centro Nacional de Investigaciones Oncológicas (CNIO) en el que se consiguió eliminar tumores de páncreas por completo y sin que aparezcan resistencias en un ensayo clínico realizado en ratones. Esta noticia se recibió originalmente entre la prensa como un espaldarazo a las esperanzas de desarrollar una cura para el cáncer de páncreas (uno de los que peor pronóstico tiene para quienes lo sufren) en un futuro, aunque posteriormente han salido algunas voces a bajar un poco el soufflé. Por otro lado, ha saltado a la palestra la historia del pseudopaper que Pascual Diago, profesor de la Universidad de Valencia, ha conseguido publicar en la revista Clinical Journal of Obstetrics and Gynecology. Diago utilizó ChatGPT sin ningún tipo de disimulo para crear un artículo deliberadamente disparatado, incluyendo referencias a autores inventados tan estrambóticos como Sneakydez, Trickón o Cheatillo y concluía, entre otras chorradas, que introducir la secuencia de Fibonacci entre embarazadas lograba aumentar el antojo por números primos. En la web de Retraction Watch se dan más detalles sobre el recorrido tan surrealista que siguió este artefacto desde su concepción (como venganza a los 10 mensajes diarios que esta revista mandaba a Diago) hasta su publicación final sin coste alguno, a pesar de los 2.949 dólares que le exigió la revista en concepto de tasas de publicación.
Estos dos ejemplos, completamente antagónicos, están sujetos a un fenómeno común: la disonancia entre lo que esperamos de la ciencia y su funcionamiento en la vida real. El artículo de Diago ha tenido bastante recorrido en la red social antiguamente conocida como Twitter, especialmente entre personas que reniegan de avances científicos como las vacunas (nótese mi intención de evitar mencionar términos clave), quienes lo han usado como espantajo para apoyar sus tesis de que la ciencia, su método y sus avances son una gigantesca estafa, e incluso ha sido comparado con el archiconocido escándalo Sokal, en el cual el físico Alan Sokal logró colar un artículo plagado de sinsentidos en la revista Social Text. En realidad, no hace falta irnos tan lejos. En el año 2005, los científicos David Mazières y Eddie Kohler, hartos (al igual que Diago) de que la revista International Journal of Advanced Computer Technology les mandase una y otra vez emails con invitaciones a supuestas conferencias, decidieron vengarse escribiendo un artículo que posteriormente un compañero de ambos envió a la mencionada revista para que considerasen su publicación. La revista aceptó el paper automáticamente, con una revisión calificándolo de “excelente”, y le solicitó una tasa de 150 dólares para su publicación. Pues bien: este “excelente” artículo tenía una longitud de 10 páginas, dos referencias, dos gráficos, y una sola frase que se repetía una y otra vez a lo largo del mismo: Get me off your fucking mailing list. Sí, tal cual. 10 páginas de “Get me off your fucking mailing list. Get me off your fucking mailing list. Get me off your fucking mailing list”. Una gracieta que nunca pensaron que pudiera ser publicada.
Lo que tienen en común el International Journal of Advanced Computer Technology y el Clinical Journal of Obstetrics and Gynecology, además de su gusto por los nombres pretenciosos, es, sencillamente, que son revistas depredadoras. Muy brevemente: las revistas científicas tienen un sistema de revisión por pares, en el cual varios revisores con conocimientos expertos en el tema del artículo a revisar deciden si éste cumple las condiciones para ser publicado en la revista o si por el contrario debe sufrir una serie de cambios o directamente no puede ser publicado. Pues bien: las revistas depredadoras carecen de este sistema, o bien sus “revisores” son extremadamente laxos (por decirlo de forma suave). Este tipo de publicaciones se disfrazan de revistas científicas y se publicitan como solución rápida para poder publicar ese artículo que necesitas para presentar una tesis o conseguir una plaza… siempre y cuando vayas con la panoja por delante. Ese es su negocio: cobrar un precio desorbitado a cambio de publicar, sin necesidad de pasar por una estricta revisión que pueda demorar la publicación meses o años, como sí sucede en otras revistas. Por tanto, lo que se publica en ellas carece, por así decirlo, de una “garantía de calidad”, y generalmente esos artículos suelen tratarse con escepticismo o directamente descartarse a la hora de reunir toda la evidencia existente sobre un tema de investigación. Decir que la ciencia equivale a lo que se publica en revistas depredadoras es como decir que la gastronomía española se define como la paella pasadísima y con guisantes que te sirven en la trampa para guiris de cualquier localidad turística de nuestro país.
¿Significa eso que las revistas no depredadoras están completamente a salvo? Desde luego que no. Sigue habiendo artículos de calidad cuestionable publicados en revistas de prestigio. Sigue habiendo revisores que empujan a incluir referencias a sus propios artículos, incluso sin tener nada que ver con el tema. Sigue habiendo malas revisiones. Pero hay mecanismos para protegerse de todas estas circunstancias. Existe el llamado post peer review, en el cual se hace una revisión (normalmente colaborativa) después de la publicación de un artículo científico y se exponen, si los hubiera, los fallos metodológicos que puedan debilitar las evidencias que éste presenta. Pero sobre todo existe un consenso respecto a una máxima: un solo artículo no es evidencia de nada. Para poder aseverar que un fenómeno es real, que un tratamiento funciona o que cierta intervención tiene cierta consecuencia, necesitamos que todo ello se observe en multitud de contextos diferentes con otros sujetos experimentales (distintos ensayos clínicos, distintas muestras de personas, distintos países…), es decir, que los resultados sean reproducibles. No sería novedoso que un resultado no se reprodujera al repetir un experimento en un contexto diferente al original: en el área de la psicología es famosa la crisis de replicabilidad que llevó a endurecer y mejorar los estándares para conformar una evidencia. Por ejemplo, el experimento que acuñó el famoso efecto Dunning-Kruger (que quienes vivimos en internet hemos escuchado o leído 50 millones de veces) se ha intentado replicar en otros experimentos posteriores sin éxito, por lo que no es descartable que dicho efecto no exista. Además, para generar evidencia no vale cualquier cosa: el diseño de las investigaciones y de los experimentos realizados en ellas debe tener una estructura concreta, basada en la metodología estadística, que permita la validación de hipótesis y relaciones causales. No basta sólo con que sea publicado en una revista. De hecho, los llamados metaanálisis, que consisten en un análisis de los resultados de un conjunto de experimentos para calcular de manera más exhaustiva y precisa la magnitud de un efecto, y que se consideran la herramienta más potente para crear evidencia científica, suelen hacer una criba donde descartan estudios que tengan errores metodológicos o que no cumplan con unos estándares de calidad. Es decir: la publicación en revista es el primer paso en la cadena de creación de evidencia, pero está lejos de ser el último. Ni el artículo de Diago ni el de Mazières y Kohler habrían pasado la más mínima criba.
Todo este asunto de la reproducibilidad también ha sido comentado al respecto del hallazgo del equipo del CNIO sobre los tumores de páncreas. Los fundamentos metodológicos de su estudio, realizado en 45 ratones, son muy buenos y los resultados son motivo suficiente para seguir avanzando en las fases del ensayo clínico a realizar, pero por desgracia todavía queda mucho camino por recorrer para poder afirmar que se dispone de la cura contra el cáncer de páncreas, como ya han comentado varios expertos en la materia. Este resultado en ratones todavía tiene que ratificarse en humanos, tanto a “pequeña escala” (con relativamente pocos sujetos) para evaluar su seguridad y efectividad, como a “gran escala” (involucrando miles de sujetos y centros) para evaluar su eficacia. De nuevo, replicabilidad. Y mucha cautela, incluso cuando las noticias sean buenísimas. El gran poder de caminar a hombros de gigantes también conlleva una gran responsabilidad.
