Los niños aprenden idiomas con una fracción de los datos que necesita la IA. Los científicos quieren saber por qué.

Puntos clave

• Un niño típicamente comienza a producir oraciones gramaticalmente correctas después de escuchar alrededor de 10 millones de palabras, mucho menos que los 15 billones de tokens que utilizó Llama 3.1 de Meta en el entrenamiento.
• Llama 3.1 de Meta, un modelo de lenguaje grande abierto lanzado hace dos años, se entrenó con 15 billones de tokens, donde un token es un fragmento de texto similar a una palabra.
• Los científicos cognitivos llaman a la brecha entre lo poco que necesitan los niños y lo mucho que necesita la IA la "brecha de eficiencia de datos".
• Los investigadores advierten que el suministro de texto de internet disponible gratuitamente para entrenamiento podría agotarse a partir de los años 2030.
• Los científicos esperan que la ingeniería inversa de cómo aprenden los niños pueda producir modelos de IA que hagan más con mucho menos datos.

Durante al menos 100.000 años, exactamente un tipo de cosa podía aprender un idioma humano desde cero: un niño humano. Luego, hace cuatro años, llegó ChatGPT. Ahora hay dos tipos de cosas que pueden hacerlo.

Pero la comparación favorece a las máquinas.

Un niño criado en un hogar rico en lenguaje puede escuchar alrededor de 100 millones de palabras antes de sus adolescentes. Agregue libros y escuela y eso sube a quizás 300 millones de palabras a los 20 años. Un modelo de lenguaje grande, la tecnología detrás de chatbots como ChatGPT y Claude, puede entrenarse con 15 billones de tokens, donde un token es aproximadamente una palabra o fragmento de palabra. La brecha de escala solo puede realmente representarse en analogía.

Ethan Gotlieb Wilcox, científico cognitivo y lingüista de la Universidad de Georgetown, lo plantea claramente: "Claude ha visto la cantidad de lenguaje que una ciudad entera experimentará en una generación".

Imprima todas las palabras utilizadas para entrenar un modelo de lenguaje grande moderno y la pila llegaría más allá de la Estación Espacial Internacional. Imprima los 100 millones de palabras de un niño y la pila tiene 20 metros de alto.

¿Por qué importa esta brecha ahora mismo?

Importa porque Internet es finita. Durante la mayor parte de la última década, los modelos de lenguaje de IA han mejorado principalmente al hacerse más grandes: más datos, más poder computacional. Los investigadores creen que el suministro de texto de entrenamiento fácilmente disponible podría agotarse a partir de los años 2030. Cuando suceda, simplemente agregar más palabras ya no funcionará.

Los niños demuestran que hay otro camino. Los niños pequeños generalmente comienzan a formar oraciones gramaticalmente correctas después de escuchar entre 10 y 30 millones de palabras. Entrene el modelo GPT-2 anterior con 30 millones de palabras y, como dice Michael C. Frank, científico cognitivo de Stanford, "obtiene un generador de sinsentidos; no obtiene un niño".

Ese acertijo tiene un nombre: la brecha de eficiencia de datos. Resolverlo es ahora un objetivo compartido para los científicos cognitivos que estudian el desarrollo infantil y los investigadores de IA que intentan construir sistemas más capaces.

¿Qué hacen los niños que las máquinas no hacen?

Nadie lo sabe completamente. Esa es la respuesta honesta, y es la razón por la que la pregunta aún impulsa la investigación.

Una teoría de larga data, propuesta por el lingüista del MIT Noam Chomsky en los años 50, sostiene que los bebés nacen con conocimiento cableado de gramática. La vista rival, asociada con el psicólogo B.F. Skinner, era que los niños aprenden puramente a través de la experiencia y la repetición, de la manera que un perro aprende a sentarse por una recompensa. Siguieron décadas de discusión.

El aprendizaje de patrones puros a partir de datos masivos puede producir un lenguaje impresionantemente fluido. Los modelos de lenguaje grandes lo han demostrado. Su fracaso a escalas más pequeñas también muestra que algo más allá de la estadística bruta debe estar ayudando a los niños.

Los investigadores ahora están probando ideas específicas. Los niños pueden usar lo que ya saben sobre el mundo físico para anclar el significado de palabras nuevas. La forma en que los cuidadores hablan con los bebés, oraciones más simples y entrega más lenta, puede llevar información estructural que el texto raspado de Internet simplemente no tiene. El cerebro en desarrollo de un niño puede aplicar restricciones que evitan que el aprendizaje se desvíe.

Responder esas preguntas importaría más allá de la IA. Podría resolver si los humanos nacen con un instinto de lenguaje o lo aprenden completamente de su entorno, un debate que ha durado 70 años.

¿Qué significa esto para la gente común?

A corto plazo, nada alarmante. Sin embargo, las apuestas prácticas son reales. Una IA más eficiente en datos podría permitir chatbots que sirvan a hablantes de idiomas minoritarios, donde los datos de entrenamiento son escasos. Cubrimos exactamente esa oportunidad el 20 de agosto, cuando Apple ML Research publicó una técnica para enseñar a la IA más idiomas sin montañas de texto traducido. Los dos problemas están conectados: ambos se reducen a hacer más con menos.

También podría hacer que la IA sea mucho más barata de construir y ejecutar. Esté atento a equipos de investigación que publiquen resultados sobre modelos entrenados en conjuntos de datos más pequeños y cuidadosamente seleccionados en lugar de rastreos web sin procesar. Eso es hacia donde se dirige este campo, y es la única dirección que queda una vez que Internet se agota.