Google's TabFM навчилася робити прогнози з даних, на яких вона ніколи не тренувалась

Ключові моменти

• Google Research опублікувала TabFM у 2025 році — модель фундаменту, яка робить прогнози на абсолютно нових наборах даних без будь-якого навчання для кожного набору.
• TabFM зрівнялась або перевершила сильно налаштовані традиційні моделі на 51 публічному наборі даних для тестування на 38 задачах класифікації та 13 задачах регресії.
• Модель тренувалась повністю на сотнях мільйонів синтетичних, комп'ютерних наборів даних, тому вона ніколи не обробляла реальні дані клієнтів або компаній.
• Інферентність, тобто етап, на якому модель фактично робить прогноз, є важчою та повільнішою за традиційні підходи, що потребує планування з боку команд.
• Дослідниця Google Weihao Kong розповіла VentureBeat, що головна цінність моделі — швидкість: високоякісні прогнози без виділеної команди аналітиків даних.

Більшість ділових даних у світі зберігаються в електронних таблицях, базах даних та фінансових реєстрах. Змусити модель штучного інтелекту робити корисні прогнози на основі такого виду даних — чи то прогнозування відтоку клієнтів, чи виявлення шахрайських операцій — завжди вимагало багато попередньої ручної роботи.

Сьогодні команда Google Research опублікувала новий підхід під назвою TabFM. Назва розшифровується як Tabular Foundation Model, тобто система штучного інтелекту загального призначення, розроблена для обробки даних, що мають структуру рядків і стовпців, які вви знайдете в будь-якій електронній таблиці.

Основна теза: TabFM може робити прогнози на наборі даних, який вона ніколи не бачила раніше, без будь-якого користувацького навчання. Ви надаєте їй свої історичні записи та нові рядки, які ви хочете розуміти, а вона повертає прогноз за один крок.

Чому це складніше, ніж здається?

Традиційне машинне навчання, на яке компанії покладалися роками, вимагає від спеціаліста створити унікальний конвеєр для кожного нового набору даних. Це означає очищення беспорядкових даних, кодування категорій як чисел, запуск десятків тестових конфігурацій для пошуку найкращих параметрів, а потім моніторинг моделі після запуску, оскільки реальні дані постійно змінюються. Це повільно, дорого й вимагає постійної уваги.

Ви можете запитати: чому б не попросити існуючу велику мовну модель, технологію, яка лежить в основі чатботів на кшталт ChatGPT та Claude, прямо прочитати електронну таблицю? Відповідь така: мовні моделі були розроблені для тексту, а не для таблиць. Таблиця середнього розміру з кількома тисячами рядків швидко займає їхню пам'ять. Цифри спотворюються, оскільки модель розбиває їх на дивні фрагменти. А як тільки двовимірна таблиця розгортається в один рядок тексту, модель починає втрачати інформацію про те, яка цифра відноситься до якого стовпця.

«Тому сьогодні набагато ефективніше використовувати LLM для написання коду, який займається проектуванням ознак, ніж просити LLM прочитати саму таблицю», — сказав Kong.

TabFM обходить це, зберігаючи структуру таблиці неушкодженою протягом усього процесу. Вона чергує увагу — методику, за якої модель перевіряє, як кожне значення співвідноситься з іншими, одночасно по рядках і стовпцях. Потім вона стискає кожен рядок у компактне резюме перед тим, як зробити остаточний прогноз. Дизайн спирається на дві попередні дослідницькі моделі: TabPFN, розроблену Prior Labs, яка доказала концепцію, але мала проблеми з великими таблицями, та TabICL, розроблену національним інститутом цифрових досліджень Франції, яка додала ефективне стиснення для роботи з більшими наборами даних.

Модель ніколи не тренувалась на реальних ділових даних. Google побудувала її повністю на сотнях мільйонів комп'ютерних синтетичних наборів даних, що означає, що жодні приватні записи клієнтів не були використані.

На TabArena, стандартному наборі для оцінювання, що охоплює 51 різноманітний набір даних із реального світу, нульові прогнози TabFM, тобто прогнози, зроблені без попереднього навчання на цих даних, зрівнялись або перевершили сильно налаштовані традиційні моделі. Google обережно зазначає, що це не означає, що TabFM перемагає у кожному прямому порівнянні зі спеціалізованою моделлю, розробленою та оптимізованою для однієї конкретної задачі.

Існує справжній компроміс. Традиційні моделі повільні у розробці, але швидкі та дешеві у запуску. TabFM це змінює. Фази навчання немає, але кожен прогноз вимагає від моделі повторного прочитання всіх ваших історичних записів як контексту. Це обчислювально важко. Для додатків, які потребують відповіді в мілісекундах, як то перевірка шахрайства у реальному часі на платіжному терміналі, затримка може бути проблемою сьогодні.

Для невеликої команди, яка потребує робочої базової моделі на наступний тиждень, а не на наступний квартал, розрахунок виглядає зовсім по-іншому.