Испытание воспроизводимости: что мы узнали, тестируя 2 200 работ по ИИ
Масштабный эксперимент проверил утверждения более 2 200 научных работ по ИИ. Вот что показывают результаты о воспроизводимости.
Ключевые моменты
- 1 221 участник сообщества воспроизвел 2 226 работ ICML 2026 с 15 июля по 2 августа 2026 года.
- 51% изученных работ имели по крайней мере одно независимо подтвержденное утверждение.
- 23% изученных работ имели по крайней мере одно опровергнутое или оспоренное утверждение.
О чем был эксперимент?
С 15 июля по 2 августа 2026 года сообщество из 1 221 участника взялось за задачу воспроизведения научных утверждений работ, представленных на Международной конференции по машинному обучению (ICML) 2026. Они стремились проверить утверждения, сделанные в 2 226 работах, примерно в трети от всех работ конференции. Проект использовал кодирующих агентов — программные инструменты, способные выполнять многоэтапные задачи — для быстрой оценки и воспроизведения экспериментов, лежащих в основе работ. Об этом проекте впервые сообщила компания Hugging Face.
Какие результаты показали работы?
Из рецензированных работ 51% имели по крайней мере одно независимо подтвержденное утверждение. Из них в 266 работах все утверждения были подтверждены. Однако 23% работ имели по крайней мере одно опровергнутое или оспоренное утверждение, при этом в 49 работах все утверждения были опровергнуты. Интересно, что в 242 работах разные команды пришли к противоположным выводам по одним и тем же утверждениям, что подчеркивает сложность воспроизводимости.
| Рецензированные работы | Всего | Полностью подтверждено | Частично подтверждено | Опровергнуто | Доказательства в малом масштабе | Неубедительно |
|---|---|---|---|---|---|---|
| Количество | 2 226 | 266 | 632 | 496 | 502 | 280 |
Почему это важно для исследований в области ИИ?
Этот масштабный проект воспроизведения дает ценные сведения о воспроизводимости исследований ИИ — области, вызывающей растущее беспокойство по мере увеличения объема опубликованных работ. Это предполагает, что хотя многие исследования выдерживают тщательную проверку, значительная часть этого не делает. Это может повлиять на восприятие исследований ИИ научным сообществом и общественностью. Для тех, кто работает в этой области или полагается на такие исследования в реальных приложениях, это подчеркивает важность независимой проверки научных утверждений.
Частые вопросы
Что такое воспроизводимость в исследованиях?
Воспроизводимость означает возможность повторить эксперимент или исследование и получить те же результаты. Это ключевая часть научной честности, обеспечивающая надежность результатов, а не случайность.
Как кодирующие агенты помогают с воспроизводимостью?
Кодирующие агенты — это программные инструменты, которые могут автоматизировать тестирование научных утверждений, запуская эксперименты быстро и эффективно. Они могут помочь исследователям проверить результаты быстрее, но они также выявляют трудности, когда результаты противоречивы.
Почему некоторые работы имеют оспоренные результаты?
Оспоренные результаты могут возникнуть, когда разные команды используют различные методы или интерпретации при попытке воспроизведения эксперимента. Это подчеркивает сложность и изменчивость в научных исследованиях.
