Мозговые волны и заимствованные мышцы: необычные фермы данных для обучения роботов будущего

Ключевые моменты

• Encord, компания по инструментам для работы с данными из Сан-Леандро, Калифорния, собирает показания мозговых волн рабочих для создания более полных обучающих данных для роботов.
• Датчики мозговых волн поставляет Zander Labs, немецкий стартап в области нейронауки, а проект в настоящее время находится на этапе испытаний для проверки того, действительно ли эти данные улучшают производительность роботов.
• Руководитель отделения робототехнического обучения Encord оценивает, что для значительного продвижения физического ИИ потребуется набор данных примерно в пять раз больше всей видеотеки YouTube.
• Создание данных для обучения физическому ИИ требует реальных затрат, в отличие от практически бесплатного сбора текстов, которые использовались при разработке современных моделей чатботов.
• Растущее число стартапов теперь рассматривает создание обучающих данных как самостоятельный бизнес, а не просто исследовательскую задачу.

Эндрю Сеха достаёт деревянные блоки из башни Jenga. Повязка, которую он надел, усложняет даже эту простую задачу.

Сеха работает в Encord, компании, которая разрабатывает инструменты для обучения моделей ИИ. Его должность — «пилот», как называет Encord тренеров роботов: людей, чьи движения и решения становятся уроками для робототехнического программного обеспечения. Повязка записывает то, что он видит. Она также считывает его мозговые волны.

Зачем отслеживать мозговые волны работника?

Идея заключается в том, чтобы дать робототехническому программному обеспечению более богатые подсказки о том, как задача ощущается изнутри. Обычное видео, на котором кто-то достаёт блок из башни, показывает роботу, что сделала рука. Данные мозговых волн в тот же момент могут указать, когда работник испытывал неуверенность, допустил ошибку или был застигнут врасплох.

Повязка была разработана Zander Labs, немецким стартапом в области нейронауки. Лукас Герке, нейробиолог Zander, руководящий проектом, говорит, что уровень активности мозга в любой момент выполнения задачи может помочь разработчикам моделей решить, когда их программному обеспечению нужно работать наиболее интенсивно. Encord называет это пробным запуском: создание начального набора данных с мозговыми волнами, его тестирование на реальных робототехнических моделях, проверка того, даёт ли это результаты перед масштабированием.

Какую проблему пытаются решить эти компании?

Робототехнический ИИ страдает от нехватки данных. Чатбот-ИИ, работающий в инструментах вроде ChatGPT, был обучен практически на всём интернете — миллиардах страниц текста, собранного практически бесплатно. Физический ИИ, который обучает робота-манипулятора наливать кофе или отключать кабель, не может поступить так же. Вы не можете собрать склад из интернета.

Винит Велмуруган, руководитель отделения робототехнического обучения Encord и бывший сотрудник лаборатории робототехники OpenAI, чётко описывает эту разницу. Он оценивает, что прорыв в физическом ИИ потребует набор данных примерно в пять раз больше всей видеотеки YouTube. «Данные просто не существуют», — сказал он TechCrunch AI.

Для их создания Encord управляет учреждением в Сан-Леандро, где рабочие используют системы «лидер-ведомый», парные роботические руки, в которых человек управляет одной, а другая копирует каждое движение, чтобы генерировать видеозаписи задач типа наливания кофе и укладки фишек для покера. На стеллажах хранятся искусственные цветы, пластмассовые овощи, мешки кабелей для обучения робота домашней и складской работе.

Encord также надевает на рабочих датчики для считывания активности мышц на предплечьях. Видео манипулирования рукой и предметами часто упускает часть кисти; датчики на предплечье считывают электрические сигналы, которые производят мышцы, и позволяют Encord построить трёхмерную картину положения кисти в каждый момент времени.

Каждый видеоклип получает письменное описание: например, «правая рука затягивает болт». Велмуруган говорит, что подобная детальная аннотация стоит в сто раз больше, чем неразмеченные видеоролики для обучения конкретным навыкам, и стоит всего в двадцать раз больше для производства. На бумаге это хороший компромисс. На практике это всё ещё стоит реальные деньги, что и является точкой, где расходятся пути робототехнического ИИ и ИИ чатботов.

Мы наблюдаем эту проблему нехватки данных в течение 103 материалов о робототехнике за последние 30 дней, и постоянный вывод состоит в том, что аппаратное обеспечение и архитектура моделей опережают данные, необходимые для их работы.

Должно ли вас это беспокоить?

Сейчас нет. Но Сеха и его коллега София Инфанте делают что-то, чего несколько лет назад не существовало как профессия: производят сырой материал, на котором учится робототехническое программное обеспечение. По мере совершенствования этого программного обеспечения роботы, обученные на нём, будут брать на себя всё больше физической работы, которую выполняют люди на складах, в центрах обработки данных или дома.

Честная оценка этого направления: мозговой аспект действительно интересен и вероятно недооценён, но главная история имеет экономический характер. Создание данных для физического обучения в масштабе стоит на несколько порядков больше, чем когда-либо стоил сбор текстов. Тот, кто решит эту проблему стоимости, а не только техническую, будет иметь реальное преимущество в том, куда дальше пойдёт физический ИИ.