O Seu Mapa de Dados de IA Tem uma Camada Oculta. Investigadores Querem Usá-la.
Um estudo da Apple ML Research mostra que uma estrutura que ferramentas de IA constroem silenciosamente enquanto organizam dados pode revelar muito mais do que os gráficos convencionais que os investigadores costumam analisar.
Pontos-chave
- A Apple ML Research publicou um estudo mostrando que uma estrutura interna oculta dentro de uma ferramenta popular de visualização de dados contém valor analítico inexplorado.
- A estrutura, chamada grafo k-nearest-neighbor, captura as relações entre pontos de dados antes de a distorção se introduzir durante a criação de gráficos.
- Três algoritmos de grafo padrão aplicados a esta estrutura podem identificar exemplos representativos, encontrar aglomerados densos e detetar valores atípicos.
- As descobertas aplicam-se amplamente a qualquer campo que utilize esta ferramenta, desde a genómica até à análise de negócios.
Quando os cientistas de dados querem compreender um conjunto de dados massivo, recorrem frequentemente a uma ferramenta chamada UMAP (pronuncia-se "você-mapa"), abreviatura de Uniform Manifold Approximation and Projection. Pense em UMAP como uma máquina que pega em milhares de pontos de dados flutuando num espaço multidimensional difícil de visualizar e os comprime num gráfico de dispersão 2D que os seus olhos conseguem realmente acompanhar.
Esse gráfico é genuinamente útil. Mas a nova investigação argumenta que temos estado a descartar a parte mais valiosa.
Qual é a estrutura oculta que toda a gente está a ignorar?
Antes de UMAP desenhar o seu gráfico, constrói silenciosamente um mapa de quais os pontos de dados mais próximos uns dos outros. Esse mapa é um grafo k-nearest-neighbor, uma rede de conexões mostrando que o ponto A está intimamente relacionado com os pontos B, C e D, o ponto B com outros, e assim sucessivamente, ao longo de todo o conjunto de dados.
O gráfico 2D que as pessoas realmente utilizam é uma versão comprimida e distorcida dessa rede. As distâncias são comprimidas e esticadas. Algumas relações desaparecem completamente.
A rede original, ainda dentro da memória da ferramenta, preserva essas relações fielmente. A Apple ML Research diz que quase ninguém a analisa.
O que pode realmente fazer com ela?
Os investigadores testaram três algoritmos de grafo bem conhecidos, ferramentas emprestadas da ciência de redes, a mesma disciplina utilizada para estudar redes sociais e sistemas de estradas, nesta estrutura oculta.
| Algoritmo | O que faz | Resultado prático |
|---|---|---|
| PageRank | Classifica cada ponto pelo número de vizinhos importantes que tem | Revela os exemplos mais representativos nos dados |
| Decomposição k-core | Remove os pontos fracamente ligados camada por camada | Expõe os grupos mais densos e fortemente aglomerados |
| Deteção de valores atípicos | Encontra pontos com conexões invulgarmente poucas ou fracas | Sinaliza casos raros ou anómalos |
PageRank, para quem se lembra do Google inicial, foi a fórmula original que o Google utilizava para classificar páginas web. Aplicado aqui, encontra os pontos de dados que melhor representam um aglomerado, útil se precisar escolher um exemplo entre mil para mostrar a um colega ou treinar outro modelo.
A decomposição k-core, entretanto, não apenas encontra aglomerados. Mostra a sua estrutura interna, quais as partes que são o núcleo apertado e quais são a franja solta.
Por que razão um não-cientista de dados deveria importar-se?
Estas técnicas encontram-se dentro de ferramentas utilizadas para explorar registos médicos, comportamento dos clientes, transações financeiras e investigação científica. Uma melhor deteção de aglomerados significa categorias mais limpas. Um melhor deteção de valores atípicos significa que casos invulgares, uma apresentação rara de doença, uma transação suspeita, são sinalizados em vez de serem enterrados.
A ressalva que vale a pena mencionar: este é um artigo de investigação, não uma atualização de produto. Os analistas e cientistas da sua empresa precisariam implementar estas ideias. Esse passo requer tempo e competências.
Uma palavra de cautela também apropriada. O artigo mostra o que é possível em conjuntos de dados demonstrativos. Os resultados no mundo real dependem muito da qualidade dos dados e de como a ferramenta é cuidadosamente calibrada.
A conclusão honesta: se trabalha com alguém que utiliza UMAP para explorar dados, pergunte-lhe se também está a analisar o grafo kNN. A resposta é quase certamente não, e isso pode ser algo que vale a pena mudar.
