Um Revisor Perdeu o Ponto de um Estudo sobre Vacinas. A IA Pode Piorar Isto.

Pontos-chave

• O economista da saúde Jason Semprini descobriu que os mandatos escolares que exigem a vacina HPV têm pouco efeito mensurável nas taxas de cancro cervical à escala populacional.
• Um revisor interpretou mal o estudo de política de Semprini como um desafio à segurança da vacina, um erro factual significativo que poderia ter impedido uma investigação válida.
• A revisão por pares, o processo através do qual investigadores independentes verificam o trabalho antes da publicação, já está sob pressão devido ao aumento do volume de submissões.
• As revisões geradas por IA estão a aparecer em revistas académicas, levantando preocupações sobre se erros como este se tornarão mais difíceis de detetar.

Jason Semprini é economista da saúde na Universidade de Des Moines e estuda a lacuna entre política de saúde e resultados de saúde. O seu projeto mais recente examinou mandatos escolares que exigem que as crianças recebam a vacina HPV. O HPV, papilomavírus humano, é uma infeção comum que causa a grande maioria dos casos de cancro cervical.

A sua descoberta foi contraintuitiva. Exigir a vacina na escola não parece alterar significativamente a taxa geral de cancro cervical numa determinada população. Isso parece alarmante, mas não é inteiramente surpreendente. Os investigadores sabem há muito tempo que os mandatos governamentais firmes podem impulsionar algumas famílias para uma recusa ativa, um efeito de reação que pode anular os ganhos de uma cobertura mais ampla.

Semprini redigiu o estudo e submeteu-o a uma revista para revisão por pares. A revisão por pares é o processo em que investigadores independentes da mesma área leem um manuscrito, verificam se os métodos são sólidos e recomendam se a revista deve publicá-lo. Os revisores são normalmente voluntários e o processo é geralmente anónimo.

O que correu mal?

O revisor não compreendeu a questão central do estudo. Em vez de o ler como uma avaliação de uma política de vacinação, o revisor tratou-o como uma afirmação de que a vacina HPV em si não previne o cancro cervical. Estas são afirmações muito diferentes. Uma questiona uma regra administrativa escolar. A outra contradiz décadas de evidência clínica.

"Existe uma diferença muito grande aí", disse Semprini à Ars Technica.

A vacina funciona. Isto é ciência estabelecida. O que Semprini estava a questionar é mais específico: será que torná-la obrigatória nas escolas resulta realmente em menos casos de cancro em toda uma população? A resposta, segundo descobriu, é largamente não, pelo menos não através de mandatos isolados.

Um revisor que perdesse essa distinção poderia impedir que investigação sólida e útil chegasse aos médicos, aos formuladores de políticas e ao público.

Por que é isto importante para além deste estudo?

A revisão por pares já estava em dificuldades antes da IA entrar em cena. O número de artigos submetidos a revistas académicas cresceu mais rapidamente do que o conjunto de revisores qualificados dispostos a lê-los gratuitamente.

Agora, alguns investigadores estão a usar modelos de linguagem de grande dimensão, a tecnologia por trás de chatbots como ChatGPT, para ajudar a escrever ou mesmo gerar os seus relatórios de revisão por pares. Um modelo que percorre um artigo em vez de o ler cuidadosamente é provável que produza exatamente o tipo de má leitura superficial que enganou o revisor de Semprini.

Para os leitores comuns, as implicações são práticas. A investigação publicada molda as recomendações dos médicos, as políticas que os governos adotam e os conselhos de saúde que chegam aos doentes. Revisão falha significa que investigação deficiente pode passar. Investigação precisa pode ser bloqueada.

Perguntas comuns

Isto significa que a vacina HPV não é segura ou eficaz?

Não. A segurança e eficácia da vacina são apoiadas por ensaios clínicos extensos. O estudo de Semprini examinou se as políticas de mandatos escolares especificamente aumentam as taxas de vacinação o suficiente para diminuir o cancro cervical em populações inteiras, não se a vacina funciona em indivíduos que a recebem.

O que podem os doentes ou pais fazer com esta informação?

Fale com o médico do seu filho sobre a vacina HPV independentemente de a sua escola ou estado a exigir. A ausência ou falha de um mandato não é motivo para pular a vacinação; a proteção pessoal e familiar continua a aplicar-se.

Como é que as revistas tentam detetar erros de revisores?

A maioria das revistas utiliza editores que leem tanto o manuscrito como os comentários dos revisores antes de tomar uma decisão final. Um bom editor teria detetado uma má leitura como esta. A preocupação é que os volumes crescentes de submissões estejam a esticar a capacidade editorial ao limite.