miércoles, 26 de marzo de 2014

La ignorancia estadística y sus consecuencias (II)

La imagen representa un posible resultado
de las pruebas mencionadas en el texto.
Las figuras negras representan embarazadas
que dieron negativo.
Las rojas son falsos positivos.
Solo las blancas son verdaderos positivos.
Los resultados para el síndrome de Down
aparecen arriba a la izquierda.
En estudios realizados hace unos años [1] se describe una situación delicada en relación con ciertas pruebas médicas muy utilizadas. Se trata de un test (la triple prueba) que se ha venido realizando a muchas mujeres embarazadas, con objeto de detectar si el feto va a padecer el síndrome de Down y otras deficiencias. Cuando el resultado de la prueba es positivo, los ginecólogos suelen recomendar que se realice una amniocentesis o una muestra de vellosidades coriales (biopsia), pero dado que estas pruebas suponen cierto riesgo, muchas embarazadas no quieren correrlo, y algunas podrían decidir practicar un aborto solo con los resultados de la triple prueba.
El síndrome de Down afecta aproximadamente al 0,13% de los fetos. El problema es que la prueba que se ha venido utilizando para detectarlo tiene una sensibilidad del 70% (o, lo que es lo mismo, la probabilidad de un falso negativo es del 30%) y una especificidad del 91%, lo que significa que la probabilidad de un falso positivo es del 9%.
¿Cómo hay que interpretar estas cifras?
Supongamos que se realiza la triple prueba a 1000 mujeres embarazadas. Aplicando los datos anteriores deducimos que:
·         El número previsible de fetos afectados por el síndrome de Down está entre 1 y 2.
·         La probabilidad de detectarlos con la prueba es del 70%.
·         90 de las mujeres analizadas (9% de 1000) darán positivo en la prueba, aunque su hijo no tendrá el síndrome de Down.
Cuando la prueba sale positiva, la probabilidad de que el feto esté afectado por el síndrome es de 1 o 2 en 90, del orden de un 2% (sí, así de baja). Si, como consecuencia de esa información se practica un aborto, en un 98% por ciento de los casos se está matando a un niño normal: si lo hubiesen dejado nacer, no habría padecido el síndrome.
Las cosas pueden mejorar gracias a una prueba nueva, basada en un análisis de sangre de la embarazada, que se ha puesto en práctica a partir de enero de 2013 y que permite detectar trisomías del feto, como la del cromosoma 21 (la que produce el síndrome de Down), con una sensibilidad del 99% y una especificidad del 99,9%. Al menos, gracias a esto, algunos fetos podrían escapar del aborto, aunque seguirá en pie una cuestión fundamental: ¿por qué los niños con síndrome de Down no tienen derecho a la vida?


[1] E.Kurz-Milcke, G.Gigerenzer, L.Martignon, Transparency in risk communication: graphical and analog tools, en Strategies for risk communication: evolution, evidence, experience, Annals of the New York Academy of Sciences, vol.1128, 2008.

Manuel Alfonseca

miércoles, 19 de marzo de 2014

Consecuencias de la ignorancia estadística

En un estudio realizado hace unos años [1], se propuso el siguiente problema a 18 expertos consultores para enfermos del SIDA:
Elena ha dado positivo en la prueba del SIDA. ¿Qué probabilidad piensa usted que hay de que tenga el SIDA? ¿Qué le aconsejaría?

Los datos de partida son los siguientes:
1.      La probabilidad de tener el SIDA, si se pertenece a una población sin riesgo especial, es de 1 en 10,000.
2.      La sensibilidad de la prueba del SIDA es del 99,9%. O, lo que es lo mismo, la probabilidad de un falso negativo es del 0,1%.
3.      La especificidad de la prueba del SIDA es del 99,99%. O, lo que es lo mismo, la probabilidad de un falso positivo es del 0,01%.

El resultado del estudio fue el siguiente:

·         Los 18 expertos coincidieron en que la probabilidad de que Elena tenga el SIDA es mayor del 90%. La mayoría pensaban que dicha probabilidad es mayor del 99%. Algunos llegaron a afirmar que es mayor que 99,9%.
·         Todos los expertos dijeron que aconsejarían a Elena que se lo comunicara a su familia, que se hicieran todos la prueba del SIDA, y que comenzara a medicarse.

Para ver cuál es la realidad, partamos de una población de 10.000 personas sin riesgo especial de SIDA y les hacemos la prueba a todos ellos. ¿Cuáles serían los resultados?
1.      Como la probabilidad de tener el SIDA en esa población es de 1 en 10,000, habrá una persona con SIDA y 9,999 sin SIDA:
2.      Como la probabilidad de un falso negativo es del 0,1%, es casi seguro que la persona que tiene el SIDA dará positivo.
3.      Como la probabilidad de un falso positivo es del 0,01%, al hacer la prueba a los 9.999 individuos que no tienen el SIDA, uno de ellos dará positivo sin tener el SIDA (la probabilidad de que eso ocurra es 0,9999).
4.      Resumiendo: al hacer la prueba del SIDA a esas 10.000 personas, dos darán positivo. Uno de ellos tiene el SIDA, el otro no.
5.      Luego la probabilidad de que Elena tenga el SIDA es del 50% (la misma que la de que salga cara al arrojar una moneda al aire).
6.      Luego el consejo que los expertos deberían haberle dado a Elena es el siguiente: repita la prueba en otro laboratorio.

¿Son expertos los expertos? ¿En manos de quiénes estamos?

[1] E.Kurz-Milcke, G.Gigerenzer, L.Martignon, Transparency in risk communication: graphical and analog tools, en Strategies for risk communication: evolution, evidence, experience, Annals of the New York Academy of Sciences, vol.1128, 2008.

Manuel Alfonseca

miércoles, 12 de marzo de 2014

Fraude científico, un peligro para la ciencia

La actividad fraudulenta no es privativa de los políticos y de los financieros, aunque quizá esté más extendida entre ellos. También afecta a los científicos, que como todos los seres humanos son propensos a la tentación y a veces (sorprendentemente pocas) caen en ella. Los motivos son los de siempre: la ambición, la fama y la presión insoportable para obtener resultados y publicarlos a que se ven sometidos los investigadores.
Lo primero que habría que tener claro es qué es y qué no es fraude científico. De acuerdo con los criterios utilizados en Estados Unidos, entre las actividades científicas claramente fraudulentas destacan esencialmente dos: la invención o falsificación de resultados experimentales, y el plagio. No se consideran fraudulentas, pero sí cuestionables, otras actividades: presentar especulaciones como si fueran hechos; usar procedimientos estadísticos incorrectos; o pedir la aprobación de experimentos éticamente controvertidos después de realizados. Finalmente, no se pueden considerar fraudulentos ni cuestionables los errores de juicio, las diferencias de opinión al interpretar los datos, o los errores cometidos en su análisis.
Supongamos el caso hipotético siguiente: Un investigador repite cuatro veces un experimento y obtiene tres veces el mismo resultado, y una vez otro distinto. Para mejorar la presentación de los resultados y asegurar su publicación, elimina el experimento discrepante y en su artículo se refiere únicamente a los otros tres.
Parece un fraude pequeño, pero ciertamente es un fraude. Einstein dijo: El derecho a buscar la verdad implica también un deber: uno no debe ocultar ninguna parte de lo que uno reconoce que es verdad.
Algunos fraudes científicos son famosísimos y merecerían un tratamiento más amplio, pero han sido descritos con frecuencia, por lo que me limitaré a mencionarlos, añadiendo una enumeración de algunos de los más recientes.
·       A principios del siglo XX, la tinción con tinta china de las manos del sapo partero, en relación con el intento de Paul Kammerer de demostrar la herencia de los caracteres adquiridos (Lamarckismo), en contra de la teoría de Darwin. Este fraude pudo ser debido a la iniciativa de un ayudante, demasiado preocupado por el prestigio científico de su jefe.   
·     El hombre de Piltdown, el eslabón perdido inglés, fabricado en 1912 con un cráneo de hombre moderno y la mandíbula de un orangután. Casi un siglo después, aún hierve la controversia sobre quién fue el autor del fraude.
·         Los resultados espectaculares obtenidos por Franz Moewus en los años 40 en el campo de la biología molecular, cuyos experimentos parecen ser imaginarios.
·         Las investigaciones de Cyril Burt (en tiempos considerado uno de los más eminentes psicólogos británicos) sobre la controversia sobre el origen de la inteligencia: ¿predominan las influencias hereditarias, o las ambientales y educativas? Sus estudios sobre gemelos univitelinos separados parecieron decidir la cuestión en favor de la influencia genética. Años después de su muerte, se descubrió que, de los 119 pares de gemelos supuestamente estudiados por Burt, sólo los 15 primeros eran reales: los restantes se los había inventado. También parece haber inventado a dos supuestas colaboradoras, que le habrían ayudado en sus investigaciones. 
·         Además de éste, a Burt se le atribuyen otros fraudes de menor importancia, como la publicación de cartas, reseñas y notas bajo seudónimo en la revista de la que era editor (el British Journal of Psychology), para citarse a sí mismo y aumentar el índice de impacto de sus artículos.
·         En 1974, el inmunólogo norteamericano Summerling anunció haber logrado realizar, sin provocar rechazo, trasplantes de piel de ratones albinos a ratones negros. Cuando se pusieron en duda sus resultados, fue sorprendido in fraganti tiñendo de blanco el pelo de un ratón.
·         En 1986, Claudio Milanese, del Dana-Farber Cancer Institute de la Universidad de Harvard, reconoció haber manipulado los resultados de un experimento que condujo a la publicación del descubrimiento de una molécula inexistente (interleucina-4A).
·         En un análisis realizado entre 1977 y 1988 por la FDA norteamericana, se detectaron deficiencias graves en muchos informes y datos de laboratorio de los investigadores contratados por empresas farmacéuticas para estudiar drogas experimentales, tales como manipulación de datos, falta de consentimiento de los pacientes, o protocolos científicos incorrectos. 395 casos fueron estudiados a fondo, por presentar deficiencias especialmente graves. En 63 de ellos, la FDA tomó medidas disciplinarias contra los investigadores.
·         Entre 1989 y 1991, el gobierno de los Estados Unidos analizó 200 casos posibles de mala conducta científica. En 30 de ellos, la sospecha se confirmó.
·         Entre 1992 y 1999, las agencias federales de los países nórdicos investigaron 37 casos de mala conducta científica, que sólo se confirmó en 9.
·         En 1999 se descubrió en China un fósil, aparente eslabón perdido entre los dinosaurios y las aves, al que se dio el nombre de Archaeoraptor. La revista National Geographic le dedicó un artículo. Posteriormente se descubrió que el fósil había sido montado con la cabeza del ave extinguida Yanomis, la cola de un Microraptor y las patas de una tercera especie.
·         En 1999, Victor Ninov y sus colegas del Lawrence Berkeley Lab anunciaron que habían conseguido por primera vez fabricar los elementos 116 y 118. En 2002, un panel investigador concluyó que Ninov había manipulado intencionadamente los datos. Aunque negó las acusaciones, Ninov fue despedido.
·         En 2000, Robert Tracy, uno de los miembros del equipo de Michael Lieber, confesó haber manipulado los datos que parecían demostrar la existencia de híbridos de ADN y ARN que desempeñarían un papel en la síntesis de anticuerpos. Sus colegas tuvieron que retractarse de la publicación correspondiente.
·         En 2002, un panel de Lucent Technologies acusó a Jan Hendrik Schön, de Bell Labs, de haber manipulado datos sobre experimentos en electrónica molecular que parecían haber conducido a una cascada de descubrimientos: un transistor formado por una sola molécula, transistores plásticos, transistores superconductores... Los datos manipulados habían contaminado 25 artículos científicos, entre ellos varios en Nature y Science. Schön fue despedido.
·         En 2004, el coreano Woo Suk Hwang, de la universidad de Seul, anunció haber logrado clonar células madre embrionarias humanas. La revista Science publicó dos artículos. A finales de 2005, esta investigación fue cuestionada, Hwang fue acusado de fraude y expulsado de la universidad, y Science retractó los dos artículos.
·         En un artículo publicado en The Lancet en 2005, Jon Sudbö, del Hospital Noruego del Radio y la universidad de Oslo, publicó un estudio que demostraba que el ibuprofeno reduce el riesgo de cáncer de boca en los fumadores. Acusado de fraude, Sudbö reconoció haber inventado los 908 pacientes que mencionaba en el artículo.
David Baltimore
No todos los supuestos fraudes científicos resultan serlo al final. También en relación con esto es preciso ser exquisitamente escrupulosos con la presunción de inocencia. En 1986, el premio Nobel David Baltimore avaló con su firma un artículo de su colaboradora Thereza Imanishi-Kari sobre la inserción de genes en ratones. Margot O’Toole, estudiante posdoctoral del equipo, acusó a Thereza de manipular los datos de los experimentos. Durante algún tiempo, pareció que la acusación tenía base. En 1991, Baltimore se vio obligado a dimitir como rector de la Universidad Rockefeller de Nueva York. En 1994, Imanishi-Kari fue declarada culpable de 19 acusaciones de mala conducta científica por un panel de la Oficina de Integridad en la Investigación (ORI). En 1996, sin embargo, un panel federal de apelación calificó  el análisis de la ORI de irrelevante, no creíble o no corroborado, y declaró a Imanishi-Kari inocente de las 19 acusaciones. Para entonces, sin embargo, tras diez años de lucha, Thereza había tenido que abandonar la carrera investigadora.

El mismo artículo en inglés
Manuel Alfonseca

miércoles, 5 de marzo de 2014

¿Qué es hacer ciencia?

En marzo de 2009, la dirección general de tráfico proclamó la siguiente noticia en los medios de
comunicación: El 22% de los fallecidos en accidente de tráfico no llevaban el cinturón de seguridad. Para salvar vidas, se recomienda a todo el mundo que se lo ponga. Expresado así, este dato es ambiguo. Alguien podría pensar que, si el 22% de los muertos no lo llevaba, el 78% (más del triple) sí lo llevaba, por lo que es mejor no ponerse el cinturón de seguridad. Para poder sacar conclusiones correctas, falta un dato: con o sin accidentes, ¿qué proporción de los conductores no lleva puesto el cinturón de seguridad? Este dato existe, aunque me costó algún trabajo encontrarlo: es el 5%. Combinado con el anterior, permite deducir que la probabilidad de morir en un accidente es más de 4 veces mayor entre los que no llevan el cinturón que entre los que sí lo llevan. Si todos lo llevaran, el número de muertes disminuiría en un 18%. Ante la forma en que se publicó esta noticia, me pregunto: si se denuncia que los políticos y los medios de comunicación utilizan la estadística y divulgan datos científicos de forma incorrecta, ¿se hace política? ¿O se divulga la ciencia?
En 1897, la cámara de representantes de Indiana (Estados Unidos de América) aprobó por 67 votos a favor y ninguno en contra el proyecto de ley #246, en el que se establecía que el valor del número pi pasaría a ser igual a 3,2 en ese estado. Literalmente decía que la relación del diámetro a la circunferencia (1 dividido por pi) es de 5/4 a 4 (1 dividido por 3,2). El proyecto pasó entonces al senado, donde no llegó a presentarse gracias a la oposición activa de Clarence Abiathar Waldo, profesor de matemáticas de Purdue. ¿Hizo política el profesor Waldo al oponerse a un proyecto de ley aprobado por unanimidad? ¿O hizo ciencia?
Cuando un grupo de presión creacionista norteamericano intenta conseguir que no se enseñe la teoría de la
evolución en las escuelas, o que se ofrezca como alternativa científica la creación del mundo en seis días, si un científico se opone a ello ¿hace política? ¿O divulga la ciencia?
Quien defiende el derecho a la objeción de conciencia por los científicos que no quieren trabajar en la producción de gases venenosos, de minas antipersonas o de bombas atómicas, o realizar experimentos con seres humanos sin su consentimiento, ¿hace política? ¿Tiene que ver con la ciencia la dimensión ética de la ciencia?
Cuando se ataca o se defiende una ley del aborto acudiendo a afirmaciones tales como el embrión no es un ser humano, o el embrión es parte del cuerpo de la madre, o el embrión no es más que un conjunto de células (¿qué somos, pues, los adultos?), si uno o mil científicos denuncian que dichas afirmaciones son incorrectas, si se defiende el derecho a la objeción de conciencia de los médicos, ¿se hace política? ¿O se hace ciencia?

El mismo artículo en inglés
Manuel Alfonseca