Los periodistas científicos no son los únicos que deberían saber evaluar una investigación y aprender a distinguir los buenos estudios de los malos. Artículo original de Paul Raeburn, publicado en Nieman Reports y traducido por Vanessa Pombo.
Una patología llamada carcinoma ductal in situ (CDIS) es –o no—precursora de cáncer de mama. Requiere –o no—tratamiento. Los médicos difieren en estas cuestiones porque no existen evidencias científicas contundentes. Algunas mujeres con CDIS, una masa de células anormales que se produce en los conductos mamarios, se someten a una mastectomía [extirpación del tumor y la mama]. Otras, a tumorectomía [conserva la mama] y radiación. Unas cuantas observan y esperan.
Así que cuando JAMA Oncology publicó un estudio sobre el tema en agosto de 2015, tuvo una cobertura muy diversa. Gina Kolata, del New York Times, escribió que CDIS no tenía riesgo, o muy poco: «Las pacientes de esta patología tienen casi la misma posibilidad de fallecer por cáncer de mama que las mujeres de la población general». Alice Park, de Time, llegó a una conclusión diferente: «El CDIS podría ser menos benigno de lo que los médicos creían». Y Jennifer Calfas, del USA Today, citó opiniones expertas confrontadas, sin extraer ninguna conclusión en absoluto. El estudio, escribía, «ha abierto el debate sobre la importancia de las opciones de tratamiento para mujeres diagnosticadas en las fases más tempranas del cáncer de mama» —en el caso de que el CDIS sea una fase temprana de cáncer de mama—.
¿Confuso? También lo eran el estudio y los comentarios del investigador principal, Steven A. Narod, y su hospital. Narod, del Women’s College Research Institute, perteneciente al Women’s College Hospital de Toronto, contó a Kolata, del New York Times, que tras una biopsia para extraer las células anormales, «la mejor forma de tratar al CDIS es no hacer nada». Pese a que la nota de prensa del hospital cita unas palabras de Narod en las que dice que el CDIS «tiene más en común con pequeños tumores invasivos de lo que se creía» y que «el CDIS tiene un potencial inherente de diseminarse a otros órganos». De hecho, no hay nada en el estudio que apoye las amplias afirmaciones que hicieron muchos de los reportajes. Y pocos de ellos se centraron en los hallazgos más claros: edad y raza constituyen riesgos.
La cobertura del estudio sobre el CDIS pone en evidencia el que es, quizá, el mayor reto que afrontan los periodistas científicos: evaluar e interpretar resultados complejos, y en ocasiones contradictorios, en una época en la que tantas cuestiones mediáticas –desde el cambio climático y la reforma sanitaria hasta las normativas energéticas y medioambientales, pasando por los sondeos electorales y la economía—exigen tener una comprensión de la ciencia suficientemente compleja. Esto vuelve más crucial que nunca el papel del periodismo como promotor de la alfabetización científica del público. «Necesitamos un mundo alfabetizado científicamente, porque, a medida que la ciencia y la tecnología modifican el entorno en el que vivimos, debemos abordar esos cambios con inteligencia”, dice Deborah Blum, divulgadora científica ganadora de un Premio Pulitzer, directora del programa Knigh Science Journalism del MIT y editora de la nueva revista científica Undark. «¿Cómo lo hacemos, si no entendemos cómo funciona?».
Este es parte del reto que supone la noticia del CDIS. Incluso divulgadores científicos especializados en cuestiones médicas –o, más concretamente, especializados en cáncer, incluso en cáncer de mama—han tenido problemas al abordar la cuestión. Y pocos divulgadores científicos tienen el lujo de especializarse en ámbitos tan concretos. La mayoría de ellos cubren múltiples temas: un día escriben sobre un experimento de la NASA; al siguiente, sobre una controversia con desechos tóxicos. A pesar de ello, deben traducir la ciencia que hay tras esas historias de una forma rápida y rigurosa, y al mismo tiempo ser cautelosos con los errores y las falsificaciones.
Esta tarea se ha vuelto más difícil debido a obstáculos recientes dentro de la propia ciencia. En una época de recortes presupuestarios, en ocasiones severos, los científicos están sometidos a una presión cada vez mayor para obtener resultados. Un fallo puede poner en peligro carreras y futuras financiaciones. Como consecuencia, los estudios que encuentran un efecto para una droga experimental, por ejemplo, tienen muchas más posibilidades de ser publicados que los ensayos infructuosos –incluso aunque algunas veces los resultados negativos sean igual de importantes. Puede parecer fascinante una investigación que encuentra en una droga un prometedor efecto contra un tumor, pero su acogida sería diferente si existiera una docena de estudios que no hubieran encontrado ningún efecto en ella.
Al mismo tiempo, ha habido un aumento en las retractaciones de estudios científicos, debido tanto a errores como a falsificaciones. A menudo, los datos requeridos para evaluar la validez de un estudio son confidenciales, tanto por motivos comerciales como de competencia. Además, el modo en que se financian las investigaciones —y quién las financia— dificulta aún más la búsqueda de la verdad. Buena parte de la financiación destinada a la investigación académica llega a las universidades desde el gobierno. Las universidades fomentan un modelo de “publica o muere” por el que los investigadores reciben incentivos para publicar cada vez que recogen la más mínima cantidad de nuevos datos —porque reciben promociones basadas, en parte, en cuántos estudios publican y dónde los publican-.
A menudo se dice que la legitimidad de la investigación científica depende de rigurosas revisiones por pares. Es decir, cuando se envía un artículo a una revista científica, otros expertos en el área revisan su rigor. Pero la confianza en la revisión por pares está decreciendo. A veces, se cuelan trabajos de inferior calidad o fraudulentos.
La revisión por pares puede fallar incluso cuando se aplica a artículos importantes de científicos respetados. En un reciente proyecto de varios años de duración, por ejemplo, un grupo de investigadores intentaron replicar 100 estudios de psicología. Solo pudieron confirmar 39. En marzo de 2015, la revista británica BioMed Central se retractó de 43 artículos en los que se habían producido movimientos para «influir positivamente en las conclusiones de la revisión por pares, sugiriendo revisores ficticios». Según Ivan Oransky, cofundador con Adam Marcus del blog Retraction Watch, esto fundamenta el escepticismo de los divulgadores científicos. Arguye que deberían permanecer tan escépticos hacia los científicos como los periodistas políticos lo son hacia los propios políticos. «Cuando queremos someter a un control a los políticos, las empresas… buscamos fraude, corrupción, comportamiento deshonesto», dice Oransky. «En ciencia, nuestra herramienta de control es si las afirmaciones de los científicos seguirán sosteniéndose o no». Dado el repunte en retractaciones, los periodistas no pueden seguir confiando en la revisión por pares como un medidor fiable de la legitimidad de una investigación.
Por supuesto, la imposibilidad de reproducir resultados no significa que los hallazgos originales fueran erróneos, o que la investigación fuera fraudulenta. La ciencia implica ensayo y error. De hecho, parte del reto para los divulgadores científicos está en expresar los matices y las incertezas que hay hasta en los experimentos mejor ejecutados. «Es bastante difícil reproducir resultados», dice Sarah Brookhart, directora ejecutiva de la Association for Pysochological Science. «Siempre hay problemas de reproducibilidad, replicación y generalización» debido a que los modelos animales no se pueden trasladar a los seres humanos, por ejemplo, o a diferencias en la metodología. A principios de marzo, cuatro investigadores de Harvard resaltaron este punto en un artículo publicado en Science, que calificaba el estudio de reproducción como estadísticamente defectuoso y erróneo. Los periodistas, arguye Brookhart, deberían ver los artículos científicos como parte de un proceso, no como un resultado que arroja una conclusión firme.
Algunas veces, los revisores no hacen bien su trabajo. Pero la cantidad de artículos científicos que se están publicando ha creado otro problema: no hay suficientes revisores que puedan dedicar tiempo a hacer una revisión rigurosa de cada estudio. Atul Gawande, cirujano en el Boston’s Brigham and Women’s Hospital, escritor del New Yorker y autor de ‘Being Mortal’, apunta que la comprobación periodística de hechos (fact checking) puede en ocasiones ser más exhaustiva que la revisión científica por pares. «El proceso de revisión por pares es útil”, dice, «pero cuando el New Yorker verifica mis artículos… no se limita a mirar mis notas al pie. Comprueban si en ellas he seleccionado solo los datos que me favorecen. Leen el artículo y comprueban si he citado algo fuera de contexto, o si hay otros cinco artículos que sugieren lo contrario. Me hacen revisión por pares». Dado que al año se publican 2,5 millones de artículos científicos, Gawande reconoce que ese tipo de comprobación rigurosa de hechos no es posible para la mayoría de las revistas revisadas por pares ―o para la mayoría de las publicaciones, si a eso vamos.
Un seguimiento inteligente y cuidadoso puede, sin embargo, sortear algunos de estos problemas. Christie Aschwanden, principal divulgadora científica en el sitio de periodismo de datos FiveThirtyEight, mostró cómo hacerlo el pasado otoño, cuando analizó un estudio que afirmaba que los consumidores jóvenes de cigarrillos electrónicos eran ocho veces más propensos a empezar a fumar cigarrillos tradicionales que los no fumadores. El autor principal era Brian Primack, profesor de la University of Pittsburgh School of Medicine. El estudio, que apareció en JAMA Pediatrics en septiembre, encuestó a 694 participantes de entre 16 y 26 años, y volvió a entrevistarlos un año después.
Dieciséis de los encuestados fumaban cigarrillos electrónicos al inicio del estudio. Aschwanden descubrió que los resultados que encabezaban el título del artículo ―Los Angeles Times: “Los adolescentes que vapean son más propensos a fumar en el futuro, dice un estudio”; y Time: “Los e-cigarrillos son la puerta de entrada hacia el tabaco, dice un estudio”― surgen del hecho de que seis usuarios de e-cigarrillos se habían convertido en fumadores tradicionales entre la primera y la segunda encuesta. Seis. «Así que, como seis personas habían empezado a fumar, las noticias afirmaron que los e-cigarrillos son la puerta de entrada al tabaco convencional», escribió Aschwanden. Aunque fue un estudio grande, la conclusión clave se extrajo en función de un puñado de participantes.
El error, según Aschwanden, está en confundir correlación con causalidad. Aunque había un riesgo sustancialmente elevado asociado con aquellos que fumaban e-cigarrillos, se encuestó a tan pocos que los consumía (solo 16) que la muestra es demasiado pequeña para ofrecer resultados definitivos. «Es una investigación perfectamente correcta», dice Aschwanden, «pero parecía más un estudio generado a partir de una hipótesis, que uno del que se pueda extraer conclusión alguna. Había que leer la letra pequeña para descubrir que estaban examinando una muestra mínima».
Otro reto para los divulgadores científicos es que, como los propios científicos, no pueden ser expertos en todo. Hace poco, en un periodo de dos meses, el columnista del New York Times Carl Zimmer escribió sobre el calentamiento de los océanos, el barrenador esmeralda del fresno (un escarabajo asiático que ataca a los fresnos), el mimetismo animal, la paleodieta, las vacunas, un hongo que ataca a las salamandras y la transmisión de células fetales a las madres. La clave para poder cubrir un terreno tan amplio, dice Zimmer, no es ser un experto en cada una de esas áreas, sino identificar a quienes sí lo son. Esto no siempre es fácil, y muchos expertos ajenos a las investigaciones tienen sus propios sesgos. Por ese motivo, una llamada rápida a una sola autoridad quizás no es suficiente. En historias complicadas, Zimmer, que también es corresponsal del Stat, la publicación online de ciencia y salud del Boston Globe Media, puede llegar a hablar con media docena de fuentes, incluso aunque solo una o dos terminen apareciendo en el artículo.
La idea de que los periodistas deben utilizar fuentes externas para ayudar a evaluar la investigación puede sonar obvia. Pero lo más llamativo es que pocos lo hacen, especialmente cuando la ciencia forma parte de otro tipo de artículo, por ejemplo, una noticia política. Zimmer urge a todos los periodistas, sean científicos o no, a que, cuando la ciencia sea un factor central en una historia, la aborden. Encontrar fuentes creíbles ayuda a evaluar la investigación. Los periodistas que no tengan una agenda repleta de contactos de científicos, deberían pedírselos a sus colegas de la sección de ciencia.
Como muchos resultados científicos son provisionales, algunas veces el reto está en explicar a los lectores qué es certeza y qué especulación. Kathryn Schulz, reportera del The New Yorker, se enfrentó a este problema en su noticia de julio de 2015, “El Realmente Grande”, en el que describía un terremoto masivo que se predecía para el noroeste del Pacífico. Si la zona de subducción de Cascadia, la línea de 700 millas [algo más de 1.100 km] que va desde el norte de California hasta cerca de la isla Vancouver, en Canadá, cede por completo, el terremoto resultante podría tener una magnitud mayor de 9,2, según los sismólogos. Es decir, mayor que el terremoto de 2011 y el posterior tsunami en la costa de Japón que causó una gran devastación. Los investigadores coinciden en afirmar que se producirá un temblor —en la zona de subducción de Cascadia ocurren cada 243 años de media; han transcurrido 316 años desde el último— pero es imposible decir cuándo ocurrirá exactamente, ni determinar con precisión cuáles serán sus consecuencias.
Teniendo en cuenta las evidencias científicas para un seísmo, Schulz escribió la pieza en tiempo verbal futuro, en lugar de en un condicional, que hubiera sido mucho más precavido: «La zona del impacto cubrirá ciento cuarenta mil millas cuadradas [más de 350.000 km2, un 70% de España] incluyendo Seattle, Tacoma, Portland, Eugene, Salem (capital de Oregón), Olympia (capital de Washington) y afectará a unos siete millones de personas… Los calentadores de agua caerán y aplastarán las conducciones internas de gas. Las casas que no estén sujetas a sus cimientos se deslizarán… A la deriva sobre el ondulante terreno, las casas comenzarán a derrumbarse». Las cosas se ponen aún peor cuando llega el tsunami.
Chris Goldfinger, un sismólogo de la Oregon State University cuyo trabajo fue mencionado en el artículo, dice que Schulz quizás usó un poco de drama escénico (el artículo ganó un National Magazine Award en 2016 en la categoría de “narrativa periodística”), pero captó la ciencia correctamente. «No veo nada de malo en añadir un poco de color y de humor, siempre y cuando no te desvíes de los hechos», dice Goldfinger. «Es una forma de captar la atención de la gente, que hablen de ello. Si escribes la misma información de un modo seco, descolorido, no se podría hacer viral, y no habría causado tanto bien como este».
El artículo de Schulz generó un interés público masivo… y también angustia. Se crearon foros a lo largo del noroeste del Pacífico sobre la falta de preparación de la región, y los legisladores están discutiendo, e incluso tomando, medidas para revertir esta negligencia —desde crear rutas de evacuación de tsunamis hasta reacondicionar los edificios más viejos para que puedan soportar terremotos de gran magnitud—.
Gawande dice que trata de abordar algunas dificultades propias del periodismo científico dejando descansar una historia para ver si se sostiene. «Tiendo a sentarme en ella durante un tiempo y decir “¿cómo se va a ver dentro de tres meses, de seis meses? ¿Hacia dónde evoluciona?”. Esto significa retomar las historias que hiciste hace seis meses o un año y decir: “De acuerdo, ¿cómo se ve ahora desde esa perspectiva?”, y desarrollarlo a manera de seguimiento. Así evitarás verte arrastrado por los bombazos del momento».
Los periodistas científicos veteranos enseguida aprenden que decidir qué temas no cubrir es tan importante como decidir sobre qué temas saltar de inmediato. El pasado mes de septiembre, por ejemplo, Nature publicó un estudio que afirmaba haber encontrado evidencias de transmisión infecciosa de la enfermedad de Alzheimer… una gran historia, y terrorífica también. Pero Virginia Hughes, editora científica de BuzzFeed News, decidió no cubrirla. «Es una investigación ridícula», dice. «Creo que se había hecho con ocho personas y era muy, muy especulativa. Sabíamos que iba a generar grandes titulares, y no la cubrimos». Un día después, Kelly Oakes, editora científica en BuzzFeed UK, decidió sacarla, pero no a la manera convencional. Escribió un artículo que tumbó el estudio y los devastadores titulares que había generado.
La cuestión es que los periodistas no deberían aceptar cualquier cosa al pie de la letra. «Los periodistas deberían cubrir los problemas de la ciencia de forma rutinaria», dice Ben Goldacre, médico británico que escribió la columna “Bad Science” en The Guardian durante una década. «¿Se ha producido un descubrimiento grande y drástico sobre un nuevo tratamiento? Habla de ello mostrando que los primeros resultados tienden a exagerar los beneficios. ¿Una universidad que lleva a cabo muchos ensayos clínicos ha informado de un ensayo clínico positivo? Quizás han dejado sin publicar datos menos llamativos. Investiga qué proporción de sus ensayos anteriores habían quedado sin informar».
Oranksy cree que los periodistas deberían cambiar completamente el modo en que trabajan sobre los artículos científicos que se publican. Informar «no debería detenerse cuando los artículos científicos se publican… debes tratarlos como documentos vivos. Debes tratar cada hallazgo como provisional»… especialmente aquellos que invitan a generar grandes titulares. Tal y como añade Blum, la directora del Knight Science Journalism del MIT: «La ciencia es un proceso y cada estudio es un dato puntual en él. Debes descubrir dónde se sitúa en el arco de ese proceso».
