¿Realmente Necesitan los Modelos de IA Olvidarlo Todo? Investigadores de Apple Dicen que No

Puntos clave

• Apple ML Research identificó subconjuntos de datos de entrenamiento que tienen tan poca influencia en los resultados del modelo que su eliminación podría ser innecesaria.
• Los métodos actuales de desaprendizaje de IA tratan todos los datos por igual, incluso cuando algunos datos casi no afectaron el comportamiento del modelo.
• Omitir la eliminación de estos puntos de datos de bajo impacto podría reducir el tiempo de cómputo y el costo de las actualizaciones de modelos relacionadas con la privacidad.
• Los hallazgos se aplican tanto a modelos de lenguaje (que alimentan chatbots) como a modelos de visión (IA que analiza imágenes).

Cuando le pides a una empresa que elimine tus datos, probablemente asumes que la IA entrenada con ellos cambiará. Los investigadores de Apple ML Research ahora sugieren que esa suposición a menudo es incorrecta, y esa brecha entre expectativa y realidad podría ahorrar mucho dinero.

Aquí está el contexto. Los modelos de IA aprenden procesando enormes cantidades de datos. Después del entrenamiento, algunos de esos datos dejan una huella profunda en cómo se comporta el modelo. Otros datos apenas registran nada. La nueva investigación se enfoca en esa segunda categoría.

El término técnico que usan los investigadores es desaprendizaje automático, que significa enseñar a un modelo de IA entrenado a comportarse como si nunca hubiera visto un dato específico. Las leyes de privacidad en varios países ya impulsan a las empresas hacia esta capacidad. El problema es que los métodos de desaprendizaje actuales son costosos. Tratan cada elemento en la "lista de olvido" de la misma manera, ya sea que ese elemento haya moldeado fuertemente el modelo o apenas lo tocara.

El equipo de Apple utilizó una herramienta llamada funciones de influencia, una técnica que mide cuánto cambió realmente el comportamiento final del modelo cualquier ejemplo de entrenamiento único. Piénsalo como revisar recibos después de una fiesta: algunas compras movieron la aguja en la factura total, otras fueron tan pequeñas que fueron ruido. Los investigadores encontraron que una parte significativa de los datos de entrenamiento cae en la categoría de ruido.

Su argumento es directo: si un punto de datos tuvo un impacto insignificante en el modelo, omitir su eliminación formal produce resultados casi idénticos a hacer la eliminación completa, a una fracción del costo computacional. Las GPU, los chips especializados que realizan los cálculos pesados que necesita la IA, son costosas de ejecutar. Cualquier método que reduzca las horas de GPU se traduce en dinero real ahorrado.

El hallazgo se mantuvo en dos tipos diferentes de tareas de IA: reconocimiento de lenguaje e imagen.

¿Significa esto que las empresas pueden ignorar solicitudes de eliminación?

No. La investigación no le da a las empresas un permiso legal para ignorar solicitudes de privacidad. Lo que sugiere es que los ingenieros que construyen herramientas de desaprendizaje podrían priorizar puntos de datos de alta influencia y aprobar rápidamente los de baja influencia, reduciendo costos sin afectar el resultado.

Para la gente común, la implicación honesta es esta: los datos que contribuyes a un sistema de IA no afectan ese sistema por igual. Tu interacción podría ser formativa, o podría ser ruido de fondo.

El sesgo de supervivencia también vale la pena señalar aquí. Los investigadores identificaron los casos de bajo impacto, pero el trabajo difícil y costoso permanece para datos de alto impacto, exactamente los registros sensibles más probables de que importen en una disputa real de privacidad.

Conclusión: Si trabajas en un negocio que maneja modelos de IA y datos de usuarios, pregúntale a tu equipo técnico qué datos en tu conjunto de entrenamiento realmente mueven la aguja. Es posible que estés pagando para "olvidar" cosas que el modelo nunca realmente aprendió.