Por qué los sistemas de visión por IA no ven lo que tienen frente a ellos

Puntos clave

• Apple ML Research publicó un nuevo método llamado GH-ESD para encontrar puntos ciegos sistemáticos en los sistemas de visión por IA.
• Las herramientas actuales de visión por IA fallan de maneras que las pruebas existentes no pueden detectar de manera confiable, particularmente en tareas de detección de objetos y segmentación de imágenes.
• GH-ESD se enfoca en "sectores de error", grupos específicos de imágenes donde una IA tiene un desempeño consistentemente inferior, en lugar de errores aislados aleatorios.
• Los fallos que detecta a menudo están vinculados a relaciones espaciales y contexto visual, no solo a cómo se ve un objeto de forma aislada.

Cuando un sistema de visión por IA, el tipo de software que identifica objetos en fotos o vídeos, comete un error, rara vez es un accidente aleatorio. A menudo el mismo sistema falla en el mismo tipo de imagen, una y otra vez, sin que nadie lo note. Los investigadores llaman a estos patrones de fallo repetitivo "sectores de error".

Apple ML Research ha publicado un nuevo enfoque, llamado GH-ESD (Descubrimiento de Sectores de Error Impulsado por Hipótesis Fundamentada), diseñado para encontrar esos sectores automáticamente. Los investigadores de Apple han estado ocupados en el lado de la visión: primero cubrimos su trabajo sobre comprensión espacial de IA hace poco en julio.

¿Por qué importa esto para la gente común?

Los sistemas de visión por IA ya están tomando decisiones reales. Analizan exploraciones médicas, señalan artículos en líneas de fabricación y potencian las cámaras de autos autónomos. Un punto ciego sistemático en cualquiera de esas herramientas no es una molestia menor.

Si un sistema pierde constantemente a los peatones con iluminación de bajo contraste, o no detecta un defecto cuando aparece cerca de un fondo específico, ese patrón es el problema. Una respuesta incorrecta parece mala suerte. Cien respuestas incorrectas en la misma situación parecen un defecto de diseño.

¿Qué estaba mal con los enfoques anteriores?

Las herramientas anteriores para encontrar sectores de error funcionaban bien para clasificación de imágenes simples: decidir si una foto muestra un gato o un perro. Trataban los fallos como grupos de imágenes de aspecto similar, o como combinaciones de etiquetas preestablecidas.

Ese enfoque falla para tareas más difíciles. La detección de objetos requiere que el sistema dibuje un cuadro alrededor de cada objeto en una escena; la segmentación requiere que trace el contorno exacto de cada objeto. En ambos casos, dónde se encuentra algo en un fotograma, y qué lo rodea, determina si la IA lo hace bien. Un método basado en grupos más simple no puede capturar eso.

¿Qué hace realmente GH-ESD?

El método genera hipótesis específicas y en lenguaje claro sobre por qué podrían estar ocurriendo los fallos, luego prueba cada una contra datos reales para ver qué patrones se mantienen. Piénsalo como un proceso de depuración estructurado: en lugar de adivinar, propone "el sistema puede tener dificultades cuando un objeto pequeño está parcialmente oculto por otro objeto" y luego verifica si eso es realmente cierto.

Porque funciona a nivel de instancias individuales, no de imágenes completas, puede revelar fallos vinculados al contexto espacial y las relaciones entre objetos en una escena.

¿Qué pasa después?

GH-ESD es un método de investigación por ahora, no un producto comercializado. Su audiencia inmediata son los ingenieros que construyen y auditan sistemas de visión. Pero las herramientas que los investigadores desarrollan hoy tienden a dar forma a las pruebas de seguridad que llegan a los productos implementados dentro de algunos años.

Para cualquiera cuyo trabajo o seguridad dependa de un sistema de visión por IA: pregunta qué pruebas sistemáticas se han realizado. Las puntuaciones de precisión aisladas pueden ocultar fallos repetitivos que solo aparecen bajo condiciones específicas del mundo real.

Preguntas frecuentes

¿Qué es un sector de error?

Un sector de error es un grupo específico de imágenes o situaciones donde un sistema de IA obtiene consistentemente la respuesta incorrecta, no solo ocasionalmente sino como un patrón vinculado a algo que esos casos comparten.

¿Afecta esto a las herramientas de IA que uso hoy?

Indirectamente, sí. La mayoría de las herramientas de visión por IA en uso hoy fueron probadas con métodos que pueden no detectar estos fallos dependientes del contexto. Esta investigación impulsa hacia mejores estándares de auditoría.

¿Está disponible GH-ESD para usar?

Es un método de investigación publicado de Apple ML Research, destinado a que otros investigadores e ingenieros construyan sobre él, no una herramienta de consumidor que puedas descargar hoy.