Сначала обучите робота в виртуальном мире, затем отправьте его в реальный

Ключевые моменты

• По прогнозам Future Market Insights глобальный рынок робототехники будет расти на 19,6% в год с 2026 по 2036 год.
• Модель восприятия автопогрузчика, обученная на синтетических данных и NVIDIA Cosmos, достигла точности 99,5% на реальных видео со склада после настройки под конкретную среду.
• Модель, обученная только в симуляторе без реальной калибровки, показала лишь 49,4% полноты на тех же реальных данных.
• Виртуальный ввод в эксплуатацию — тестирование программных соединений робота перед физической установкой — может сократить время развёртывания на 30–50%.

Робот, работающий идеально на тестах, может всё ещё дать сбой при выполнении задачи. Упаковка меняется. Освещение сдвигается. Поддон находится под немного другим углом, чем показывали фотографии обучения. Эти небольшие различия достаточны, чтобы остановить производственную линию.

Именно этот разрыв между контролируемым тестом и грязной реальностью побудил инженеров робототехники обратиться к тому, что они называют «виртуальными спортзалами».

Виртуальный спортзал — это детальная компьютерная копия реальной рабочей среды: проход на складе, заводской пол, погрузочная платформа. Внутри него робот может выполнять задачи тысячи раз, терпеть неудачи, восстанавливаться и учиться, прежде чем произойдёт даже один физический эксперимент. Никакого сломанного оборудования. Никаких остановок производства. Никаких инцидентов безопасности.

The Robot Report подробно рассмотрел этот подход, опираясь на работу компании SoftServe, и цифры впечатляют.

Закрывает ли это на самом деле разрыв между симуляцией и реальной жизнью?

Не полностью, но гораздо больше, чем одна симуляция. Команда SoftServe создала систему для Toyota Material Handling Europe, чтобы улучшить то, как автопогрузчики распознают поддоны на складах, где этикетки, текстуры полов, тени и освещение постоянно меняются. Модель, обученная исключительно в симуляторе, показала полноту 49,4%, что означает, что она пропустила примерно половину поддонов на реальных видео. После того как команда добавила синтетические изображения, созданные NVIDIA Cosmos (инструмент, который генерирует фотореалистичные поддельные обучающие изображения), и затем откалибровала эти изображения в соответствии с реальным объектом клиента, полнота поднялась до 92,8%, а точность достигла 99,5%.

Вывод: синтетические данные — это не замена реальным видеоматериалам. Это способ заставить реальные видеоматериалы работать на большее расстояние, заполняя редкие или опасные ситуации, которые почти никогда не возникают при нормальной работе. Упавший предмет. Сбой датчика. Близкое столкновение с автопогрузчиком. Эти события чрезвычайно важны для безопасности и надёжности, но они происходят слишком редко, чтобы обучаться на них напрямую.

Виртуальные спортзалы генерируют эти ситуации по требованию.

Нужный уровень детализации внутри спортзала зависит от задачи. Робот, навигирующий по проходу на складе, нуждается в точных картах пешеходного движения и позиций поддонов. Робот, заполняющий жидкие контейнеры, нуждается в точной физике гидродинамики. Слишком много деталей в неправильной области — это пустая трата времени. Слишком мало деталей в правильной области приводит к роботу, который проходит симуляцию и не работает в реальности.

Подключение симуляции к фактическим системам управления робота так же важно, как и физика. Когда робот переходит из виртуального спортзала на реальный объект, его программное обеспечение должно правильно взаимодействовать с системами безопасности, датчиками и инструментами управления флотом. Тестирование этих соединений в виртуальном режиме, процесс, называемый виртуальным вводом в эксплуатацию, сокращает время физической установки на 30–50% в промышленных условиях согласно данным SoftServe.

Для обычных людей практический результат таков: роботы, появляющиеся на складах, в больницах и общественных местах в ближайшие несколько лет, потратят намного больше времени на обучение в поддельных окружениях, чем в реальных. Когда это обучение выполнено правильно, робот, прибывающий на объект, с меньшей вероятностью совершит дорогостоящие или опасные ошибки в первый день.