Рецензент не розумів суть дослідження вакцини. ШІ може зробити це гірше.

Ключові моменти

• Економіст охорони здоров'я Джейсон Семпріні виявив, що шкільні мандати на вакцинацію від ВПЛ мають невелику вимірювану дію на рівень раку шийки матки у населенні.
• Рецензент неправильно прочитав дослідження Семпріні щодо політики як виклик безпеці вакцини — істотна фактична помилка, яка могла б заблокувати валідне дослідження.
• Рецензування, процес, при якому незалежні дослідники перевіряють роботу перед публікацією, вже перебуває під тиском через зростання кількості поданих робіт.
• ШІ-генеровані рецензії з'являються в академічних журналах, викликаючи занепокоєння щодо того, чи будуть помилки такого типу складніше виявляти.

Джейсон Семпріні — економіст охорони здоров'я в Університеті Де-Мойна, який вивчає розрив між політикою охорони здоров'я та її результатами. Його останній проект розглянув шкільні мандати, які вимагають від дітей вакцинації від ВПЛ. ВПЛ, вірус папіломи людини, — це поширена інфекція, яка викликає переважну більшість випадків раку шийки матки.

Його висновок був контринтуїтивним. Мандат на вакцину в школі не видається значно змінювати загальний рівень раку шийки матки в конкретній популяції. Це звучить тривожно, але це не зовсім дивно. Дослідники давно знають, що суворі державні мандати можуть спонукати деякі сім'ї до активного відмовлення, ефект негативної реакції, який може нівелювати переваги від більш широкого охоплення.

Семпріні написав дослідження та подав його до журналу на рецензування. Рецензування — це процес, коли незалежні дослідники в цій галузі читають рукопис, перевіряють, чи коректні методи, та рекомендують, чи має журнал його опублікувати. Рецензентами зазвичай виступають добровольці, а процес зазвичай анонімний.

Що пішло не так?

Рецензент неправильно зрозумів центральне питання дослідження. Замість того, щоб читати його як оцінку політики вакцинації, рецензент розглянув його як твердження, що вакцина від ВПЛ сама по собі не запобігає раку шийки матки. Це зовсім різні твердження. Одне ставить під сумнів шкільне адміністративне правило. Інше суперечило б десяткам років клінічних доказів.

"Там дуже велика різниця", — сказав Семпріні для Ars Technica.

Вакцина працює. Це встановлений факт. Те, що запитував Семпріні, більш вузьке: чи дійсно її обов'язковість у школах призводить до меншої кількості випадків раку в цілій популяції? Відповідь, яку він знайшов, — в основному ні, принаймні не через самі мандати.

Рецензент, який пропустить цю різницю, може заблокувати важливе й корисне дослідження від досягнення лікарів, розробників політики та громадськості.

Чому це має значення за межами одного дослідження?

Рецензування вже боролось задовго до появи ШІ. Кількість робіт, поданих до академічних журналів, зростала швидше, ніж резерв кваліфікованих рецензентів, які хочуть читати їх за вільно.

Тепер деякі дослідники використовують великі мовні моделі, технологію, яка лежить в основі чат-ботів на кшталт ChatGPT, щоб допомогти написати або навіть генерувати свої звіти рецензування. Модель, яка поверхово переглядає статтю замість уважного читання, ймовірно, створить саме такий поверхневий неправильний прочитання, яке трапилось з рецензентом Семпріні.

Для звичайних читачів ставки практичні. Опублікована дослідження формують те, що рекомендують лікарі, яку політику приймають уряди і яка порада щодо здоров'я доходить до пацієнтів. Недосконале рецензування означає, що дефектні дослідження можуть пройти. Точні дослідження можуть бути заблоковані.

Часті запитання

Чи означає це, що вакцина від ВПЛ небезпечна або неефективна?

Ні. Безпека та ефективність вакцини підтверджені розширеними клінічними випробуваннями. Дослідження Семпріні розглянуло, чи саме політика шкільних мандатів збільшує рівень вакцинації достатньо, щоб знизити рак шийки матки в цілих популяціях, а не те, чи працює вакцина на людях, які її отримали.

Що можуть зробити пацієнти або батьки з цією інформацією?

Поговоріть з лікарем вашої дитини про вакцину від ВПЛ незалежно від того, чи вимагає її ваша школа чи штат. Відсутність або неспрацювання мандату — це не причина пропускати вакцинацію; індивідуальний та сімейний захист все ще застосовується.

Як журнали намагаються виявити помилки рецензентів?

Більшість журналів мають редакторів, які читають як рукопис, так і коментарі рецензентів перед тим, як прийняти остаточне рішення. Хороший редактор помітив би таке неправильне прочитання. Занепокоєння полягає в тому, що зростання кількості поданих робіт розтягує редакційні можливості.