La tua mappa dati AI ha un livello nascosto. I ricercatori vogliono usarlo.

Punti chiave

• Apple ML Research ha pubblicato uno studio che dimostra come una struttura interna nascosta all'interno di un popolare strumento di visualizzazione dati contiene valore analitico ancora inesplorato.
• La struttura, chiamata grafo k-nearest-neighbor, cattura le relazioni tra i punti dati prima che la distorsione appaia durante la creazione dei grafici.
• Tre algoritmi grafici standard applicati a questa struttura possono identificare esempi rappresentativi, trovare cluster densi e individuare anomalie.
• I risultati si applicano ampiamente a qualsiasi campo che utilizza questo strumento, dalla genomica all'analisi aziendale.

Quando gli scienziati dei dati vogliono dare senso a un enorme dataset, spesso si rivolgono a uno strumento chiamato UMAP (pronunciato "you-map"), abbreviazione di Uniform Manifold Approximation and Projection. Pensa a UMAP come a una macchina che prende migliaia di punti dati dispersi in uno spazio multidimensionale difficile da visualizzare e li comprime in un grafico a dispersione bidimensionale che gli occhi possono effettivamente seguire.

Quel grafico è genuinamente utile. Ma una nuova ricerca sostiene che abbiamo scartato la parte più preziosa.

Quale struttura nascosta sta ignorando tutti?

Prima che UMAP disegni il suo grafico, costruisce silenziosamente una mappa di quali punti dati sono più vicini agli altri. Quella mappa è un grafo k-nearest-neighbor, una rete di connessioni che mostra come il punto A è strettamente correlato ai punti B, C e D, il punto B ad altri, e così via, su tutto il dataset.

Il grafico bidimensionale che le persone effettivamente utilizzano è una versione compressa e distorta di quella rete. Le distanze vengono compresse e allungate. Alcune relazioni scompaiono interamente.

La rete originale, ancora presente nella memoria dello strumento, preserva fedelmente quelle relazioni. Apple ML Research dice che quasi nessuno la esamina.

Cosa puoi effettivamente fare con essa?

I ricercatori hanno testato tre algoritmi grafici ben noti, strumenti presi dalla scienza delle reti, la stessa disciplina utilizzata per studiare i social network e i sistemi stradali, su questa struttura nascosta.

PageRank, per chi ricorda i primi anni di Google, era la formula originale che Google utilizzava per classificare le pagine web. Applicato qui, trova i punti dati che meglio rappresentano un cluster, utile se hai bisogno di scegliere un esempio da migliaia per mostrare a un collega o addestrare un altro modello.

La decomposizione k-core, nel frattempo, non trova solo i cluster. Mostra la loro struttura interna, quali parti costituiscono il nucleo compatto e quali il bordo allentato.

Perché dovrebbe interessare a chi non è uno scienziato dei dati?

Queste tecniche si trovano all'interno di strumenti utilizzati per esplorare cartelle cliniche, comportamento dei clienti, transazioni finanziarie e ricerca scientifica. Un migliore rilevamento dei cluster significa categorie più pulite. Un migliore rilevamento delle anomalie significa che i casi insoliti, una presentazione rara di malattia, una transazione sospetta, vengono segnalati anziché sepolti.

Il problema da menzionare: questo è un articolo di ricerca, non un aggiornamento di prodotto. Gli analisti e gli scienziati della tua azienda dovrebbero implementare queste idee. Quel passaggio richiede tempo e competenze.

Una giusta avvertenza, inoltre. L'articolo mostra cosa è possibile su dataset dimostrativi. I risultati nel mondo reale dipendono molto dalla qualità dei dati e da quanto attentamente lo strumento viene calibrato.

La conclusione onesta: se lavori con qualcuno che utilizza UMAP per esplorare i dati, chiedigli se sta guardando anche il grafo kNN. La risposta è quasi certamente no, e potrebbe valere la pena cambiare.