ByteDance está construyendo uno de los modelos de IA más grandes jamás creados

Puntos clave

• ByteDance está entrenando un modelo de IA con hasta 10 billones de parámetros, según tres personas con conocimiento del proyecto.
• Esta cifra es tres veces mayor que Kimi K3, el modelo de IA chino más grande lanzado públicamente hasta la fecha.
• El modelo se encuentra en la fase de preentrenamiento, un proceso que típicamente toma de tres a seis meses antes de cualquier lanzamiento público.
• El recuento final de parámetros no ha sido fijado y solo será confirmado en una etapa posterior del desarrollo.
• Si se completa, el modelo se aproximaría a la escala de los sistemas de IA más avanzados de Anthropic.

ByteDance, la empresa china detrás de TikTok, está construyendo silenciosamente lo que podría convertirse en uno de los modelos de inteligencia artificial más grandes del mundo. Tres personas familiarizadas con el proyecto le dijeron a Ars Technica que el modelo podría alcanzar 10 billones de parámetros, una cifra que requiere un poco de explicación.

Un parámetro es un pequeño ajuste interno dentro de un modelo de IA. Cuantos más parámetros tiene un modelo, más patrones puede aprender de los datos, y generalmente se vuelve más capaz en tareas como redacción, razonamiento y respuesta de preguntas. GPT-4, el modelo que alimenta ChatGPT, se estima ampliamente que tiene alrededor de 1,8 billones de parámetros. Diez billones sería una bestia muy diferente.

Para comparar, Kimi K3 de Moonshot, actualmente el modelo de IA más grande lanzado por cualquier empresa china, tiene aproximadamente 3,3 billones de parámetros. El proyecto de ByteDance sería tres veces ese tamaño.

¿En qué etapa se encuentra esto?

En este momento el modelo se encuentra en lo que los ingenieros llaman preentrenamiento: la primera y más larga fase de construcción de una IA, donde el sistema lee enormes cantidades de texto y datos para aprender habilidades básicas de lenguaje y razonamiento. Piensa en ello como la IA yendo a la escuela antes de que comience cualquier capacitación laboral especializada. Esta fase típicamente toma de tres a seis meses.

Después del preentrenamiento, los ingenieros ejecutan una segunda fase llamada ajuste fino, donde el modelo se entrena en tareas más específicas y se refina para uso en el mundo real. Solo entonces ByteDance consideraría un lanzamiento público, y solo si los resultados se ven bien.

Es importante destacar que la cifra de 10 billones no es definitiva. Una de las fuentes dijo que el tamaño exacto solo se decidirá más adelante en el proceso. El número titular podría cambiar.

¿Por qué importa esto para la gente común?

Los modelos más grandes tienden a producir mejores resultados en problemas difíciles: documentos legales complejos, preguntas médicas, tareas de codificación de múltiples pasos. Si ByteDance lanza un modelo a esta escala, le daría a la empresa una herramienta seria para competir con laboratorios estadounidenses como Anthropic y OpenAI en el mercado global de IA.

También señala qué tan rápido las empresas chinas están cerrando la brecha. Hace un año, la brecha entre la IA de frontera estadounidense y china se sentía amplia. Hoy se está reduciendo rápidamente.

Para los consumidores, el resultado práctico es más competencia, lo que históricamente ha hecho bajar los precios y mejorar la calidad. ByteDance ya opera productos de IA incluyendo su propio chatbot, Doubao, que tiene decenas de millones de usuarios dentro de China.

Nada de esto es un producto terminado aún. El entrenamiento puede fallar, los resultados pueden decepcionar, y las empresas regularmente descartan modelos que no funcionan como se esperaba. Pero la pura escala del intento te dice algo sobre hacia dónde están dirigidas las ambiciones de ByteDance.