Tester les règles d'équité de l'IA est facile. Prouver qu'elles tiennent est une tout autre affaire

Points clés

• Les chercheurs du service Apple ML Research ont publié des résultats montrant que les tests et la vérification des propriétés invariantes par localisation, une classe de règles mathématiques sur la manière dont les systèmes d'IA traitent les données, ne se comportent pas de la même manière.
• Une relation qui rendait le test de ces propriétés simple s'avère ne pas aider quand l'objectif passe à la vérification, qui établit une norme de preuve plus stricte.
• L'écart importe pour quiconque cherche à certifier qu'un modèle d'IA traite les entrées similaires de manière cohérente, une préoccupation au cœur de l'audit d'équité et de fiabilité.
• Le travail est théorique mais a des implications pratiques pour les régulateurs et les développeurs qui s'appuient sur des raccourcis statistiques pour auditer le comportement de l'IA à grande échelle.

Il existe une hypothèse silencieuse intégrée dans une grande partie de l'audit de l'IA : si deux problèmes mathématiques semblent structurellement similaires, une solution astucieuse à l'un devrait s'appliquer à l'autre. De nouveaux travaux théoriques du service Apple ML Research suggèrent que cette hypothèse peut échouer de manières qui importent.

La recherche se concentre sur ce qu'on appelle les propriétés invariantes par localisation. C'est un nom formel pour une idée simple : une règle concernant une fonction, un objet mathématique qui mappe les entrées aux sorties, qui ne se préoccupe que de la fréquence d'apparition de chaque valeur de sortie, pas de l'endroit où elle apparaît. Pensez-y comme juger une playlist en fonction du nombre de fois que chaque chanson est jouée, indépendamment de l'ordre.

Il s'avère que tester si une fonction possède ce type de propriété est étroitement lié au test de savoir si une distribution de probabilité, une description de la probabilité des différents résultats, possède la propriété correspondante. Les chercheurs le savaient depuis des années et l'ont trouvé utile. Cela signifiait que les techniques d'un domaine pouvaient s'appliquer à l'autre.

Mais le nouvel article trace une ligne dure à la vérification.

La vérification est plus stricte que le test. Le test vérifie une propriété par échantillonnage : vous regardez un nombre limité d'entrées et décidez si la règle tient probablement. La vérification signifie confirmer définitivement qu'elle tient, compte tenu d'une description fiable du système que vous vérifiez. Les chercheurs montrent que la relation bien rangée entre les fonctions et les distributions, si utile pour le test, s'effondre complètement dans la configuration de vérification.

Pourquoi cela importe-t-il en dehors des mathématiques ?

Les auditeurs devraient-ils s'inquiéter ?

Oui, de manière spécifique et pratique. Les développeurs et les régulateurs veulent de plus en plus certifier que les systèmes d'IA se comportent de manière cohérente, et non simplement suggérer qu'ils le font probablement. Si un raccourci qui fonctionne pour les vérifications statistiques ponctuelles ne fonctionne pas pour les garanties formelles, alors les outils et les méthodes de preuve construits sur ce raccourci pourraient donner une fausse confiance.

La division persiste dans plusieurs contextes techniques que l'article examine, et pas seulement dans un cas limite. Cela en fait une conclusion structurelle, non une curiosité.

Pour l'instant, il s'agit de recherche théorique. Elle ne pointe pas vers un produit cassé ou un audit défectueux qui s'est déroulé dans le monde réel. Ce qu'elle fait, c'est restreindre la boîte à outils : les méthodes valides pour les tests probabilistes ont besoin d'une justification séparée et plus difficile avant que quiconque les utilise pour certifier les garanties de cohérence.

Pour les patients, les clients ou les travailleurs dont la vie est façonnée par les décisions de l'IA, le message à retenir est indirect mais réel. La vérification formelle des règles d'équité de l'IA est plus difficile qu'il n'y paraît, et cet article explique précisément pourquoi.