Неработающие GPU — это новые припаркованные самолёты: почему следующая проблема ИИ — это отходы, а не энергопотребление

Ключевые моменты

• GPU-чипы, специализированные процессоры, которые запускают ИИ, стоят денег каждый час работы независимо от того, выполняют ли они полезную работу.
• Anthropic одновременно взяла на себя обязательства по многогигаваттным контрактам на вычисления ИИ на четырёх аппаратных платформах (Amazon, Google, Microsoft и AMD) к 2026 году — признак того, что даже лучше всего финансируемые лаборатории рассматривают доступ к чипам как острый дефицит.
• Тот же дисбаланс между постоянными затратами на оборудование и непредсказуемым спросом, который едва не разорил авиакомпании, теперь действует и на корпоративные ИИ-кластеры.
• Предприятия, которые покупают собственные чипы, чтобы избежать растущих комиссий API, сталкиваются с новым вопросом: как обеспечить достаточную загрузку этих чипов, чтобы оправдать их стоимость?

Самый важный показатель для авиакомпании — это не количество самолётов в её флоте. Это количество часов в сутки, которые каждый самолёт действительно находится в воздухе.

Логика проста и суровая. Расходы на самолёты, выплаты по финансированию, страховка, контракты на техническое обслуживание — всё это накапливается, припаркован ли самолёт у выхода или летит на высоте 35 000 футов. Доход поступает только когда самолёт летит. Перевозчики, которые освоили быстрый оборот и чёткое расписание, выжили. Те, кто этого не сделал, разорились, независимо от размера флота.

Анализ, опубликованный Hugging Face, утверждает, что корпоративный ИИ сейчас находится в точно такой же ситуации, только с другим оборудованием.

Почему это важно для людей, которые не покупают GPU?

Потому что затраты на GPU передаются дальше всем, кто использует инструменты ИИ на работе или платит за них как клиент.

GPU, специализированный процессор, который справляется с интенсивными вычислениями, необходимыми для ИИ, несёт затраты круглые сутки: электричество, охлаждение, финансирование, износ. Его результаты учитываются только когда он выполняет реальную задачу. Две компании с одинаковым бюджетом на чипы могут оказаться в совершенно разных экономических условиях в зависимости от того, насколько загружено оборудование в каждый конкретный момент.

Первый этап развития индустрии был посвящён решению другой проблемы. Более крупные модели, обученные на большем объёме данных, всегда превосходили более компактные. Количество параметров — внутренние числа, определяющие ёмкость модели, — и рейтинги в лидербордах доминировали в дискуссиях. Эта гонка привела к созданию моделей, достаточно мощных для серьёзного коммерческого использования. Она также создала огромный спрос на чипы.

В 2020 году Microsoft построила для OpenAI выделенный суперкомпьютер более чем с 10 000 GPU для обучения GPT-3, модели, лежащей в основе раннего ChatGPT. Тогда это число казалось почти невообразимым. К 2026 году оно выглядит скромным.

Как выглядит отходы внутри кластера чипов?

Загруженное оборудование может все ещё впустую расходовать большую часть своей мощности. Проблема в том, что разные задачи ИИ требуют разного от одного и того же чипа.

Вывод в реальном времени, генерирование ответа ИИ за секунды, требует в первую очередь низкую задержку. Пакетная обработка, обработка больших наборов данных всю ночь, заботит общей объём обработки и она может ждать. Обучение модели может занимать чип непрерывно несколько дней. Сжатие модели (процесс, называемый квантизацией) нуждается в большом всплеске ёмкости на короткое время, а потом ни в чём.

Система планирования, настроенная на один из этих типов задач, почти по определению будет плохо справляться с другими. Кластер может показывать высокое среднее использование на панели мониторинга, в то время как отдельные задачи стоят в очереди в ожидании, пока освободится нужный тип чипа.

Эта модель отражает проблему авиации, но с одной дополнительной особенностью. Припаркованный самолёт обычно можно в короткий срок переместить на другой маршрут. GPU, настроенный на один класс нагрузок, не всегда может взять на себя другую нагрузку без переконфигурации, задержек или потерь.

Что компаниям, разрабатывающим приложения на ИИ, нужно извлечь из этого?

Практический результат очевиден. Подписание контракта на ёмкость GPU — это то, что имеет крайний срок и команду закупок. Обеспечение того, что эта ёмкость не простаивает, — это то, что незаметно определяет, стоил ли контракт того.

Предприятия, которые перешли от модели с оплатой за использование API, где затраты растут прямо пропорционально каждому запросу, к владению собственным оборудованием, сталкиваются с расчётом точки безубыточности. Ниже определённого уровня использования API дешевле. Выше него выигрывает собственная инфраструктура. Но собственная инфраструктура выигрывает только если кто-то отвечает за её загрузку.

На данный момент эта ответственность в основном отсутствует. Авиационной индустрии потребовалось десятилетие и несколько банкротств, чтобы сделать загрузку показателем уровня совета директоров. ИИ-инфраструктуре может не быть столько времени.