Cuatro startups apuestan por la próxima onda de IA basada en algo mejor que transformers

Puntos clave

• Investigadores de Google inventaron la red neuronal transformer en 2017, y ahora respalda todos los principales chatbots de IA del mercado.
• OpenAI está en camino de gastar 50 mil millones de dólares en informática en 2025, en gran medida porque los transformers son costosos de ejecutar a escala.
• La Agencia Internacional de la Energía predice que el uso de electricidad en centros de datos se duplicará en 2030.
• Al menos cuatro startups están construyendo arquitecturas alternativas de IA que dicen ser más rápidas, económicas y mejor adaptadas para tareas complejas.
• Una de esas empresas, Liquid AI, ha registrado casi 34 millones de descargas de modelos que se ejecutan en una computadora aficionada de 50 dólares.

En el verano de 2017, un equipo en Google publicó un documento titulado "Attention Is All You Need". Describía un nuevo tipo de red neuronal (piensa en una red neuronal como software modelado aproximadamente en cómo se conectan las células cerebrales) llamado transformer. Los transformers resultaron ser extraordinariamente buenos para leer y generar texto, y se convirtieron en el motor dentro de todos los chatbots de IA de los que has oído hablar, desde ChatGPT hasta Claude y Gemini.

Siete años después, los transformers se están viendo presionados por su propio éxito.

¿Cuál es el problema real?

Para entender el significado de una oración, un transformer compara cada palabra con todas las demás palabras. Eso funciona brillantemente para texto corto. Para documentos largos se vuelve costoso rápidamente: un documento de 10.000 palabras puede requerir 50 millones de cálculos individuales. Cuanto más texto alimentes, peor se pone.

Este apetito computacional tiene un costo real. OpenAI planea gastar 50 mil millones de dólares en informática este año, según el presidente de la empresa, Greg Brockman. La Agencia Internacional de la Energía dice que la electricidad total consumida por los centros de datos se duplicará en 2030.

Los transformers también tienen dificultades con las tareas que las empresas de IA ahora están vendiendo. Los modelos de razonamiento, que se escriben notas a sí mismos mientras trabajan en un problema, producen grandes cantidades de texto adicional que el transformer debe procesar. Los agentes de IA, software que puede llevar a cabo tareas multietapa de forma independiente, necesitan malabarear información de muchas fuentes a la vez. Ambos empujan a los transformers hacia su límite.

¿Cuáles son las alternativas?

Cuatro empresas están atacando el problema desde diferentes ángulos.

Subquadratic, una startup de Miami, dice que ha construido un modelo llamado SubQ que utiliza "atención dispersa". En lugar de comparar cada palabra con todas las demás palabras, la atención dispersa elige solo los emparejamientos que importan, reduciendo drásticamente el número de cálculos. La empresa afirma que SubQ rivaliza con los modelos de lenguaje grandes convencionales en tareas de búsqueda y programación, aunque algunos investigadores siguen siendo escépticos. Se dice que miles de usuarios están en su lista de espera.

Manifest AI, con sede en San Francisco, va más allá y reemplaza completamente el mecanismo de atención. Su enfoque, llamado "retención de potencia", proporciona al modelo un resumen continuo de lo que ha leído hasta ahora, descartando información que ya no es relevante cuando llega nuevo material. Piénsalo como un lector que toma buenas notas en lugar de memorizar cada palabra. La empresa ha utilizado esta técnica para construir PowerCoder, basado en un modelo de programación de código abierto existente, y Brumby, que dice que compite con algunas versiones del popular modelo de código abierto Qwen de Alibaba.

Liquid AI, un spinout del MIT con sede en Cambridge, Massachusetts, adopta un enfoque híbrido. Sus modelos, llamados LFMs (modelos de fundación líquida), mezclan transformers con una tecnología diferente llamada redes neuronales líquidas, inspirada en los sistemas nerviosos simples de los gusanos. El resultado: modelos lo suficientemente pequeños para ejecutarse en una Raspberry Pi, una computadora aficionada de 50 dólares, pero la empresa dice que igualan el rendimiento de rivales cuatro veces su tamaño. Liquid AI ha registrado casi 34 millones de descargas. Mercedes se cuenta entre sus clientes.

¿Qué significa esto para la gente común?

Nada cambia en tu chatbot mañana. Los transformers están profundamente integrados en los productos, y reemplazarlos toma años. Pero la dirección importa.

Si estos enfoques alternativos funcionan a escala, los servicios de IA podrían volverse más económicos de ejecutar, lo que probablemente significaría costos más bajos que se trasladarían a empresas y, eventualmente, a usuarios. Los modelos más pequeños y eficientes también podrían ejecutarse en dispositivos que ya posees, manteniendo tus datos en tu teléfono en lugar de un servidor distante.

MIT Technology Review, que fue la primera en exponer a varias de estas empresas, llama a esta próxima generación de modelos "LLMs+". Si alguno de los startups de hoy son quienes la construyen es una pregunta abierta. Pero el problema que intentan resolver es muy real.

Preguntas frecuentes

¿Necesito hacer algo diferente como usuario de IA ahora mismo?

No. Estos cambios están ocurriendo a nivel de ingeniería, dentro de empresas que construyen herramientas de IA. Por ahora, los productos que usas se ven igual desde el exterior.

¿Definitivamente reemplazarán estos transformers alternativos?

No necesariamente. Los transformers han sobrevivido predicciones de su reemplazo antes. Cada uno de estos startups aún debe probar que su enfoque se escala al tamaño de los modelos que potencian los productos principales, lo que es un desafío técnico y financiero significativo.