Un revisor de colegas pasó por alto el objetivo de un estudio sobre vacunas. La IA podría empeorar las cosas.

Puntos clave

• El economista sanitario Jason Semprini descubrió que los mandatos escolares que requieren la vacuna contra el VPH tienen poco efecto medible en las tasas de cáncer cervical a nivel poblacional.
• Un revisor de colegas malinterpretó el estudio de política sanitaria de Semprini como un cuestionamiento de la seguridad de la vacuna, un error fáctico significativo que podría haber bloqueado investigación válida.
• La revisión de colegas, el proceso mediante el cual investigadores independientes verifican el trabajo antes de su publicación, ya está bajo presión por volúmenes crecientes de envíos.
• Las revisiones de colegas generadas por IA están apareciendo en revistas académicas, lo que genera preocupaciones sobre si errores como este serán más difíciles de detectar.

Jason Semprini es un economista sanitario de la Universidad de Des Moines que estudia la brecha entre política sanitaria y resultados de salud. Su último proyecto examinó mandatos escolares que requieren que los niños reciban la vacuna contra el VPH. El VPH, virus del papiloma humano, es una infección común que causa la gran mayoría de casos de cáncer cervical.

Su hallazgo fue contrario a lo esperado. Hacer obligatoria la vacuna en la escuela no parece cambiar significativamente la tasa general de cáncer cervical en una población determinada. Eso suena alarmante, pero no es del todo sorprendente. Los investigadores han sabido durante mucho tiempo que los mandatos gubernamentales firmes pueden impulsar a algunas familias hacia un rechazo activo, un efecto de reacción que puede cancelar las ganancias de una cobertura más amplia.

Semprini redactó el estudio y lo presentó a una revista para revisión de colegas. La revisión de colegas es el proceso en el que investigadores independientes del mismo campo leen un manuscrito, verifican si los métodos son válidos y recomiendan si la revista debe publicarlo. Los revisores suelen ser voluntarios y el proceso generalmente es anónimo.

¿Qué salió mal?

El revisor malinterpretó la pregunta central del estudio. En lugar de leerlo como una evaluación de una política de vacunación, el revisor lo trató como una afirmación de que la vacuna contra el VPH en sí no previene el cáncer cervical. Son afirmaciones muy diferentes. Una cuestiona una norma administrativa escolar. La otra contradería décadas de evidencia clínica.

"Hay una diferencia muy grande ahí", le dijo Semprini a Ars Technica.

La vacuna funciona. Eso es ciencia establecida. Lo que Semprini cuestionaba es más específico: ¿hacer que sea obligatoria en las escuelas realmente resulta en menos casos de cáncer en toda una población? La respuesta, según encontró, es en gran medida no, al menos no mediante mandatos por sí solos.

Un revisor que pierda esa distinción podría impedir que investigación sólida y útil llegue a médicos, formuladores de políticas y el público.

¿Por qué esto importa más allá de un estudio?

La revisión de colegas ya estaba en dificultades antes de que la IA entrara en escena. El número de artículos presentados a revistas académicas ha crecido más rápido que el grupo de revisores calificados dispuestos a leerlos de forma gratuita.

Ahora, algunos investigadores están utilizando modelos de lenguaje grande, la tecnología detrás de chatbots como ChatGPT, para ayudar a escribir o incluso generar sus informes de revisión de colegas. Un modelo que examina rápidamente un artículo en lugar de leerlo cuidadosamente probablemente produzca exactamente el tipo de malinterpretación superficial que hizo tropezar al revisor de Semprini.

Para los lectores ordinarios, las apuestas son prácticas. La investigación publicada define lo que los médicos recomiendan, qué políticas adoptan los gobiernos y qué consejo sanitario llega a los pacientes. Una revisión deficiente significa que la investigación defectuosa puede pasar. La investigación precisa puede ser bloqueada.

Preguntas frecuentes

¿Esto significa que la vacuna contra el VPH no es segura ni efectiva?

No. La seguridad y efectividad de la vacuna están respaldadas por ensayos clínicos extensos. El estudio de Semprini examinó si las políticas de mandatos escolares específicamente aumentan las tasas de vacunación lo suficiente para reducir el cáncer cervical en poblaciones completas, no si la vacuna funciona en individuos que la reciben.

¿Qué pueden hacer los pacientes o padres con esta información?

Hable con el médico de su hijo sobre la vacuna contra el VPH independientemente de si su escuela o estado la requiere. La ausencia o falta de un mandato no es razón para omitir la vacunación; la protección personal y familiar sigue siendo válida.

¿Cómo intentan las revistas detectar errores de los revisores?

La mayoría de las revistas utilizan editores que leen tanto el manuscrito como los comentarios de los revisores antes de tomar una decisión final. Un buen editor detectaría una malinterpretación como esta. La preocupación es que los volúmenes crecientes de envíos están agotando la capacidad editorial.