Tu Mapa de Datos de IA Tiene una Capa Oculta. Los Investigadores Quieren Utilizarla.
Un estudio de Apple ML Research demuestra que una estructura que las herramientas de IA construyen silenciosamente mientras organizan datos puede revelar mucho más que los gráficos de dispersión que los investigadores suelen analizar.
Puntos clave
- Apple ML Research publicó un estudio que demuestra que una estructura interna oculta dentro de una herramienta popular de visualización de datos contiene un valor analítico sin explotar.
- La estructura, llamada grafo k-nearest-neighbor, captura las relaciones entre puntos de datos antes de que se introduzca distorsión durante la creación del gráfico.
- Tres algoritmos de grafo estándar aplicados a esta estructura pueden identificar ejemplos representativos, exponer clusters densos e identificar valores atípicos.
- Los hallazgos se aplican ampliamente a cualquier campo que utilice esta herramienta, desde genómica hasta análisis empresarial.
Cuando los científicos de datos quieren dar sentido a un conjunto de datos masivo, a menudo recurren a una herramienta llamada UMAP (pronunciado "you-map"), acrónimo de Uniform Manifold Approximation and Projection. Piensa en UMAP como una máquina que toma miles de puntos de datos flotando en un espacio multidimensional difícil de visualizar, y luego los comprime en un gráfico de dispersión 2D que tus ojos realmente pueden seguir.
Ese gráfico es genuinamente útil. Pero una nueva investigación argumenta que hemos estado descartando la parte más valiosa.
¿Cuál es la estructura oculta que todos están ignorando?
Antes de que UMAP dibuje su gráfico, construye silenciosamente un mapa de qué puntos de datos están más cerca unos de otros. Ese mapa es un grafo k-nearest-neighbor: una red de conexiones que muestra que el punto A está estrechamente relacionado con los puntos B y D, el punto B con otros, y así sucesivamente en todo el conjunto de datos.
El gráfico 2D que la gente realmente usa es una versión comprimida y distorsionada de esa red. Las distancias se comprimen y se estiran. Algunas relaciones desaparecen por completo.
La red original, todavía alojada en la memoria de la herramienta, preserva esas relaciones fielmente. Apple ML Research dice que casi nadie la examina. Cubrimos el equipo de investigación de Apple en un tema relacionado en julio, cuando su estudio sobre el desaprendizaje de IA descubrió que los ajustes de privacidad podrían ser mucho más baratos de lo que se suponía anteriormente.
¿Qué puedes hacer realmente con ella?
Los investigadores probaron tres algoritmos de grafo bien conocidos, herramientas tomadas de la ciencia de redes, la misma disciplina utilizada para estudiar redes sociales y sistemas de carreteras, en esta estructura oculta.
| Algoritmo | Qué hace | Resultado práctico |
|---|---|---|
| PageRank | Puntúa cada punto según cuántos vecinos importantes tiene | Extrae los ejemplos más representativos de los datos |
| Descomposición k-core | Elimina capa por capa los puntos débilmente conectados | Expone los grupos más densos y estrechamente agrupados |
| Detección de valores atípicos | Encuentra puntos con conexiones inusualmente pocas o débiles | Identifica casos raros o anómalos |
PageRank fue la fórmula original que Google utilizó para clasificar páginas web. Aplicada aquí, encuentra los puntos de datos que mejor representan un cluster: útil si necesitas elegir un ejemplo de mil para mostrar a un colega o entrenar otro modelo.
La descomposición k-core no solo encuentra clusters. Revela su estructura interna, qué partes forman el núcleo compacto y cuáles se encuentran en el borde suelto.
¿Por qué debería importarle a alguien que no sea un científico de datos?
Estas técnicas se encuentran dentro de herramientas utilizadas para explorar historiales médicos, comportamiento de clientes, transacciones financieras y datos genómicos. Una mejor detección de clusters significa categorías más limpias. Los casos inusuales, una presentación rara de una enfermedad o una transacción sospechosa, se identifican en lugar de quedarse enterrados.
Hay dos salvedades que merece la pena mencionar. Primero, este es un documento de investigación, no una actualización de producto; los analistas de tu empresa necesitarían implementar estas ideas, y eso lleva tiempo y habilidad. Segundo, el documento demuestra lo que es posible en conjuntos de datos de demostración, y los resultados del mundo real dependen mucho de la calidad de los datos y de lo cuidadosamente que se ajuste la herramienta.
Si trabajas con alguien que usa UMAP para explorar datos, pregunta si también está examinando el grafo kNN. La respuesta es casi seguramente no. Probablemente vale la pena cambiar eso.
