Un relecteur a mal compris une étude sur un vaccin. L'IA pourrait aggraver les choses.

Points clés

• L'économiste de la santé Jason Semprini a découvert que les mandats scolaires exigeant le vaccin contre le VPH ont peu d'effet mesurable sur les taux de cancer du col utérin à l'échelle de la population.
• Un relecteur a mal interprété l'étude de politique sanitaire de Semprini comme une remise en question de l'innocuité du vaccin, une erreur factuelle majeure qui aurait pu bloquer une recherche valide.
• L'évaluation par les pairs, processus par lequel des chercheurs indépendants vérifient les travaux avant leur publication, est déjà sous tension en raison de l'augmentation des volumes de soumission.
• Des revues générées par l'IA apparaissent dans des revues universitaires, soulevant des préoccupations quant au fait que des erreurs comme celle-ci pourraient devenir plus difficiles à détecter.

Jason Semprini est un économiste de la santé à l'Université de Des Moines qui étudie l'écart entre la politique sanitaire et les résultats en santé. Son dernier projet a examiné les mandats scolaires exigeant que les enfants reçoivent le vaccin contre le VPH. Le VPH, papillomavirus humain, est une infection courante qui cause la grande majorité des cas de cancer du col utérin.

Sa conclusion était contre-intuitive. Imposer le vaccin à l'école ne semble pas affecter beaucoup le taux global de cancer du col utérin dans une population donnée. Cela peut sembler alarmant, mais ce n'est pas entièrement surprenant. Les chercheurs savent depuis longtemps que les mandats gouvernementaux stricts peuvent pousser certaines familles vers un refus actif, un effet de backlash qui peut annuler les gains d'une couverture plus large.

Semprini a rédigé l'étude et l'a soumise à une revue pour évaluation par les pairs. L'évaluation par les pairs est le processus par lequel des chercheurs indépendants du même domaine lisent un manuscrit, vérifient la validité des méthodes et recommandent si la revue doit le publier. Les relecteurs sont généralement des bénévoles, et le processus est généralement anonyme.

Qu'est-ce qui a mal tourné ?

Le relecteur a mal compris la question centrale de l'étude. Au lieu de la lire comme une évaluation d'une politique de vaccination, le relecteur l'a traitée comme une affirmation selon laquelle le vaccin contre le VPH lui-même ne prévient pas le cancer du col utérin. Ce sont deux déclarations très différentes. L'une remet en question une règle administrative scolaire. L'autre contredirait des décennies de preuves cliniques.

« Il y a une très grande différence là », a déclaré Semprini à Ars Technica.

Le vaccin fonctionne. C'est une science établie. Ce que Semprini demandait est plus étroit : le fait de le rendre obligatoire à l'école entraîne-t-il réellement moins de cas de cancer dans toute une population ? La réponse, a-t-il constaté, est largement non, du moins pas par les mandats seuls.

Un relecteur qui ne saisirait pas cette distinction pourrait empêcher une recherche solide et utile d'atteindre les médecins, les décideurs politiques et le public.

Pourquoi cela compte-t-il au-delà d'une seule étude ?

L'évaluation par les pairs était déjà en difficulté avant l'arrivée de l'IA. Le nombre d'articles soumis aux revues universitaires a augmenté plus rapidement que le bassin de relecteurs qualifiés disposés à les lire gratuitement.

Maintenant, certains chercheurs utilisent de grands modèles de langage, la technologie derrière les chatbots comme ChatGPT, pour aider à écrire ou même générer leurs rapports d'évaluation par les pairs. Un modèle qui survole rapidement un article plutôt que de le lire attentivement est susceptible de produire exactement le genre de malentente superficielle qui a piégé le relecteur de Semprini.

Pour les lecteurs ordinaires, les enjeux sont pratiques. La recherche publiée façonne ce que les médecins recommandent, les politiques que les gouvernements adoptent et les conseils de santé qui parviennent aux patients. Une évaluation défectueuse signifie que la recherche imparfaite peut passer. La recherche précise peut être bloquée.

Questions courantes

Cela signifie-t-il que le vaccin contre le VPH n'est pas sûr ou efficace ?

Non. L'innocuité et l'efficacité du vaccin sont soutenues par des essais cliniques approfondie. L'étude de Semprini a examiné si les politiques de mandat scolaire augmentent spécifiquement les taux de vaccination suffisamment pour réduire le cancer du col utérin dans les populations entières, non si le vaccin fonctionne chez les personnes qui le reçoivent.

Que peuvent faire les patients ou les parents avec cette information ?

Parlez au médecin de votre enfant du vaccin contre le VPH, que votre école ou état l'exige ou non. L'absence ou l'échec d'un mandat n'est pas une raison de sauter la vaccination ; la protection personnelle et familiale s'applique toujours.

Comment les revues essaient-elles de détecter les erreurs des relecteurs ?

La plupart des revues emploient des rédacteurs qui lisent à la fois le manuscrit et les commentaires des relecteurs avant de prendre une décision finale. Un bon rédacteur détecterait un malentendu comme celui-ci. La préoccupation est que l'augmentation des volumes de soumission étire la capacité éditoriale au maximum.