Los modelos de IA podrían no necesitar olvidarlo todo: El caso del aprendizaje selectivo

Puntos clave

• Apple ML Research publicó un estudio que encontró que algunos puntos de datos de entrenamiento tienen una influencia negligible en los resultados de un modelo de IA.
• Los métodos actuales de desaprendizaje tratan cada punto de datos como igualmente importante, lo que la investigación argumenta es computacionalmente ineficiente.
• Los hallazgos podrían reducir los costos de cumplimiento para empresas que utilizan IA entrenada con datos personales.
• El estudio aplicó funciones de influencia tanto en tareas de reconocimiento de lenguaje como de imágenes para identificar datos de bajo impacto.

¿Qué es el desaprendizaje de IA y por qué es importante?

El desaprendizaje de IA es el proceso de eliminar una información específica de un modelo ya entrenado sin reconstruirlo desde cero. Piénsalo como hacer que alguien olvide un número de teléfono sin borrar toda su memoria.

Esto es importante porque las leyes de privacidad en muchos países ahora otorgan a las personas el derecho de que se eliminen sus datos personales. Si tu información entrenó un sistema de IA, una empresa puede estar legalmente obligada a eliminarlo. Reentrenar un modelo grande desde cero es costoso, por lo que los investigadores han estado desarrollando atajos de desaprendizaje para hacer el trabajo más rápido.

El enfoque estándar borra cada punto de datos marcado con el mismo esfuerzo, independientemente de cuánto haya moldeado realmente el modelo. Una foto tuya que apenas movió el modelo durante el entrenamiento recibe el mismo costoso proceso de eliminación que una que el modelo memorizó profundamente. Primero cubrimos esta tensión en nuestra noticia del 17 de julio sobre hallazgos anteriores de Apple.

¿Qué encontraron realmente los investigadores?

No todos los puntos de datos dejan la misma huella. Muchos dejan casi ninguna.

El equipo utilizó funciones de influencia, un método matemático que estima cuánto cada ejemplo de entrenamiento individual cambió el comportamiento final del modelo, en tareas tanto de texto como de imágenes. El análisis identificó consistentemente ejemplos de entrenamiento cuya puntuación de influencia era tan cercana a cero que eliminarlos no hizo ninguna diferencia medible en los resultados del modelo.

Esos puntos ya están efectivamente olvidados. Tratarlos como datos de alto impacto desperdicia tiempo y dinero de computación.

¿Qué significa esto para empresas y usuarios comunes?

Para las empresas, la implicación práctica es menores costos de cumplimiento. Si llega una solicitud de privacidad y los datos marcados resultan ser de bajo impacto, el modelo podría no necesitar un costoso proceso de desaprendizaje en absoluto.

Para las personas que han pedido a una empresa que elimine sus datos, esta investigación no significa que se ignore su solicitud. Los ingenieros podrían verificar que los datos genuinamente no tuvieron efecto, en lugar de ejecutar una eliminación general cada vez.

Ser honesto sobre los límites importa aquí. La investigación es un análisis comparativo, no un producto implementado. La ley de privacidad del mundo real no tiene una excepción de "influencia negligible", y los reguladores podrían no aceptar una puntuación matemática como prueba de que los datos fueron realmente eliminados. Esas preguntas permanecen abiertas.

¿Qué sucede después?

El desaprendizaje eficiente es un área de investigación de rápido movimiento, y este trabajo añade una perspectiva práctica: antes de gastar dinero en eliminar datos, verifica si los datos realmente importaron. Ese enfoque podría cambiar cómo todo el campo aborda el problema.

Si tu negocio almacena datos personales que alimentan un modelo de IA, comienza a auditar lo que realmente recopila. Cuantos menos datos innecesarios entrenes, menor será tu problema de desaprendizaje después. No es una preocupación futura; los reguladores ya están haciendo estas preguntas.