Tu mapa de datos de IA tiene una capa oculta. Los investigadores quieren utilizarla.
Un estudio de Apple ML Research muestra que una estructura que las herramientas de IA construyen silenciosamente mientras organizan datos puede revelar mucho más que los gráficos que los investigadores suelen analizar.
Puntos clave
- Apple ML Research publicó un estudio que muestra que una estructura interna oculta dentro de una herramienta popular de visualización de datos contiene valor analítico sin explotar.
- La estructura, llamada grafo de k vecinos más cercanos, captura las relaciones entre puntos de datos antes de que se distorsionen durante la creación de gráficos.
- Tres algoritmos de grafos estándar aplicados a esta estructura pueden identificar ejemplos representativos, encontrar cúmulos densos y detectar valores atípicos.
- Los hallazgos se aplican ampliamente a cualquier campo que utilice esta herramienta, desde genómica hasta análisis empresarial.
Cuando los científicos de datos quieren dar sentido a un conjunto de datos masivo, a menudo recurren a una herramienta llamada UMAP (pronunciada "you-map"), abreviatura de Uniform Manifold Approximation and Projection. Piensa en UMAP como una máquina que toma miles de puntos de datos flotando en un espacio multidimensional difícil de visualizar y los comprime en un gráfico de dispersión 2D que tus ojos pueden seguir realmente.
Ese gráfico es genuinamente útil. Pero una nueva investigación argumenta que hemos estado descartando la parte más valiosa.
¿Cuál es la estructura oculta que todos están ignorando?
Antes de que UMAP dibuje su gráfico, construye silenciosamente un mapa de qué puntos de datos están más cerca de cuáles otros. Ese mapa es un grafo de k vecinos más cercanos, una red de conexiones que muestra que el punto A está estrechamente relacionado con los puntos B, C y D, el punto B con otros, y así sucesivamente, en todo el conjunto de datos.
El gráfico 2D que la gente realmente utiliza es una versión comprimida y distorsionada de esa red. Las distancias se comprimen y se estiran. Algunas relaciones desaparecen por completo.
La red original, que sigue estando en la memoria de la herramienta, preserva esas relaciones fielmente. Apple ML Research dice que casi nadie la consulta.
¿Qué puedes hacer realmente con ella?
Los investigadores probaron tres algoritmos de grafos bien conocidos, herramientas tomadas de la ciencia de redes, la misma disciplina utilizada para estudiar redes sociales y sistemas de carreteras, en esta estructura oculta.
| Algoritmo | Qué hace | Resultado práctico |
|---|---|---|
| PageRank | Califica cada punto según cuántos vecinos importantes tiene | Destaca los ejemplos más representativos en los datos |
| Descomposición k-core | Elimina progresivamente los puntos débilmente conectados capa a capa | Expone los grupos más densos y estrechamente agrupados |
| Detección de valores atípicos | Encuentra puntos con conexiones inusualmente pocas o débiles | Señala casos raros o anómalos |
PageRank, para quienes recuerdan los primeros tiempos de Google, fue la fórmula original que Google utilizaba para clasificar páginas web. Aplicado aquí, encuentra los puntos de datos que mejor representan un cúmulo, útil si necesitas elegir un ejemplo de mil para mostrar a un colega o entrenar otro modelo.
La descomposición k-core, mientras tanto, no solo encuentra cúmulos. Muestra su estructura interna, qué partes son el núcleo compacto y cuáles son el borde suelto.
¿Por qué debería importarle a alguien que no sea científico de datos?
Estas técnicas están dentro de herramientas utilizadas para explorar registros médicos, comportamiento de clientes, transacciones financieras e investigación científica. Una mejor detección de cúmulos significa categorías más limpias. Una mejor detección de valores atípicos significa que casos inusuales, una presentación rara de enfermedad, una transacción sospechosa, se marquen en lugar de pasar desapercibidos.
La complicación que vale la pena mencionar: este es un artículo de investigación, no una actualización de producto. Los analistas y científicos de tu empresa tendrían que implementar estas ideas. Ese paso requiere tiempo y habilidad.
Una palabra de precaución también es justa. El artículo muestra lo que es posible con conjuntos de datos de demostración. Los resultados del mundo real dependen en gran medida de la calidad de los datos y de cuán cuidadosamente se ajuste la herramienta.
La conclusión honesta: si trabajas con alguien que usa UMAP para explorar datos, pregúntale si también está consultando el grafo kNN. La respuesta es casi con certeza no, y eso podría valer la pena cambiar.
