Un Revisore non ha Colto il Significato di uno Studio sui Vaccini. L'IA Potrebbe Peggiorare le Cose.

Punti chiave

• L'economista sanitario Jason Semprini ha scoperto che i mandati scolastici che richiedono il vaccino HPV hanno poco effetto misurabile sui tassi di cancro cervicale a livello di popolazione.
• Un revisore ha frainteso lo studio sulla politica di Semprini come una sfida alla sicurezza del vaccino, un errore fattuale significativo che avrebbe potuto bloccare una ricerca valida.
• La revisione paritaria, il processo mediante il quale ricercatori indipendenti controllano il lavoro prima della pubblicazione, è già sottoposta a pressione dai crescenti volumi di presentazione.
• Le revisioni paritarie generate dall'IA stanno comparendo nelle riviste accademiche, sollevando preoccupazioni sul fatto che errori come questo diventeranno più difficili da rilevare.

Jason Semprini è un economista sanitario presso la Des Moines University che studia il divario tra la politica sanitaria e i risultati sanitari. Il suo ultimo progetto ha esaminato i mandati scolastici che richiedono ai bambini di ricevere il vaccino HPV. HPV, papillomavirus umano, è un'infezione comune che causa la stragrande maggioranza dei casi di cancro cervicale.

La sua scoperta è stata controintuitiva. Rendere obbligatorio il vaccino a scuola non sembra incidere molto sul tasso complessivo di cancro cervicale in una determinata popolazione. Sembra allarmante, ma non è del tutto sorprendente. I ricercatori hanno da tempo saputo che i mandati governativi rigidi possono spingere alcune famiglie verso un rifiuto attivo, un effetto di reazione che può annullare i guadagni da una copertura più ampia.

Semprini ha redatto lo studio e lo ha sottoposto a una rivista per la revisione paritaria. La revisione paritaria è il processo in cui ricercatori indipendenti nello stesso campo leggono un manoscritto, verificano se i metodi sono solidi e raccomandano se la rivista dovrebbe pubblicarlo. I revisori sono generalmente volontari e il processo è solitamente anonimo.

Cosa è andato storto?

Il revisore ha frainteso la domanda centrale dello studio. Invece di interpretarlo come una valutazione di una politica di vaccinazione, il revisore lo ha trattato come un'affermazione che il vaccino HPV stesso non previene il cancro cervicale. Si tratta di affermazioni molto diverse. Una mette in discussione una regola amministrativa scolastica. L'altra contraddirrebbe decenni di prove cliniche.

"C'è una differenza molto grande," ha detto Semprini ad Ars Technica.

Il vaccino funziona. È una scienza consolidata. Ciò che Semprini stava chiedendo è più ristretto: renderlo obbligatorio nelle scuole porta effettivamente a meno casi di cancro in tutta la popolazione? La risposta, ha scoperto, è in gran parte no, almeno non solo attraverso i mandati.

Un revisore che manca questa distinzione potrebbe bloccare ricerche solide e utili dal raggiungere i medici, i responsabili politici e il pubblico.

Perché questo è importante al di là di uno studio?

La revisione paritaria era già in difficoltà prima che l'IA entrasse in gioco. Il numero di articoli presentati alle riviste accademiche è cresciuto più velocemente del gruppo di revisori qualificati disposti a leggerli gratuitamente.

Ora, alcuni ricercatori stanno utilizzando grandi modelli di linguaggio, la tecnologia dietro chatbot come ChatGPT, per aiutare a scrivere o addirittura generare i loro rapporti di revisione paritaria. Un modello che scoraggia un articolo piuttosto che leggerlo attentamente probabilmente produrrà esattamente il tipo di fraintendimento superficiale che ha intralciato il revisore di Semprini.

Per i lettori ordinari, i risultati sono pratici. La ricerca pubblicata modella ciò che i medici raccomandano, quali politiche adottano i governi e quali consigli sanitari raggiungono i pazienti. Una revisione difettosa significa che una ricerca difettosa può passare. La ricerca accurata può essere bloccata.

Domande comuni

Questo significa che il vaccino HPV non è sicuro o efficace?

No. La sicurezza e l'efficacia del vaccino sono supportate da ampi studi clinici. Lo studio di Semprini ha esaminato se le politiche di mandato scolastico specificamente aumentano i tassi di vaccinazione abbastanza da ridurre il cancro cervicale in tutte le popolazioni, non se il vaccino funziona sugli individui che lo ricevono.

Cosa possono fare i pazienti o i genitori con queste informazioni?

Parla con il medico di tuo figlio del vaccino HPV indipendentemente dal fatto che la tua scuola o stato lo richieda. L'assenza o il fallimento di un mandato non è un motivo per saltare la vaccinazione; la protezione personale e familiare si applica ancora.

Come le riviste cercano di rilevare gli errori dei revisori?

La maggior parte delle riviste utilizza redattori che leggono sia il manoscritto che i commenti dei revisori prima di prendere una decisione finale. Un buon redattore catturerebbe un fraintendimento come questo. La preoccupazione è che i crescenti volumi di presentazione stanno estendendo la capacità editoriale al limite.