OpenAI a déclaré que GPT-2 était trop dangereux à divulguer. Aurions-nous dû le croire ?

Points clés

• Le 14 février 2019, OpenAI a annoncé un modèle de langage appelé GPT-2 mais a refusé de le divulguer publiquement, affirmant que les risques d'abus étaient trop importants.
• GPT-2 était le prédécesseur direct des modèles qui alimentent maintenant ChatGPT, Claude et des chatbots d'IA similaires.
• Au moins un chercheur a jugé l'annonce peu utile et les risques énoncés exagérés.
• L'épisode soulève une tendance à surveiller : les entreprises d'IA qui parlent du danger peuvent aussi parler du pouvoir, et attirer des investisseurs dans le processus.

Que s'est-il réellement passé en 2019 ?

OpenAI a construit un modèle de langage, un type de logiciel entraîné sur de vastes quantités de texte pour pouvoir écrire, résumer et répondre à des questions, puis l'a annoncé au monde en refusant de le partager. L'entreprise a appelé le modèle GPT-2 et a déclaré qu'il était simplement trop risqué de le mettre entre les mains du public.

La préoccupation, telle que formulée par OpenAI, était l'abus. Les mauvais acteurs pourraient utiliser GPT-2 pour écrire des fausses nouvelles à grande échelle ou inonder Internet de désinformation convaincante. Une crainte raisonnable, en théorie.

En pratique, au moins un chercheur est resté indifférent. Dans un article publié dans The Guardian, le chercheur de Stanford John Thickstun se souvient s'être senti agacé à l'époque. Sans accès au modèle réel, il ne pouvait pas l'étudier, le tester ou en apprendre grand-chose. L'avertissement était fort ; la substance, mince.

Qui bénéficie quand une entreprise d'IA crie au danger ?

C'est la question plus aiguë, et Thickstun la pose directement.

Dire au monde que votre technologie est dangereuse, c'est aussi, discrètement, dire au monde que votre technologie est puissante. La technologie puissante attire les investisseurs. Les investisseurs versent de gros chèques. L'entreprise qui vient d'avertir tout le monde à propos de son IA effrayante est maintenant mieux financée pour en construire davantage.

Ce n'est pas une conspiration. C'est simplement une incitation à remarquer.

GPT-2 a finalement été divulgué en totalité, par étapes, plus tard en 2019. L'abus catastrophique qu'OpenAI craignait ne s'est pas matérialisé dans aucune vague évidente et documentée. Le modèle est devenu un outil de recherche. Ses successeurs, GPT-3 puis GPT-4, sont devenus le moteur des produits utilisés par des centaines de millions de personnes aujourd'hui.

Cela signifie-t-il que les avertissements de sécurité sont toujours erronés ?

Non. Certains risques liés à l'IA sont réels et certains avertissements méritent une attention sérieuse. L'objectif n'est pas de rejeter chaque mise en garde de chaque laboratoire.

L'objectif est de demander qui parle, ce qu'il y a à gagner, et si la preuve derrière l'avertissement est quelque chose que les tiers peuvent réellement examiner. Une affirmation de sécurité appuyée par des recherches publiées et un examen indépendant est une créature différente d'un communiqué de presse sans modèle joint.

Quand une entreprise d'IA annonce ensuite que son dernier système est à la fois terriblement capable et trop sensible pour être partagé ouvertement, il vaut la peine de marquer une pause. Demandez ce que les chercheurs peuvent vérifier sans la coopération de l'entreprise. Demandez qui finance le prochain tour d'investissement après que les titres apparaissent. Demandez si le danger décrit est spécifique et mesurable, ou vivant et vague.

La curiosité et le scepticisme ne sont pas les contraires de prendre l'IA au sérieux. C'est ce que prendre l'IA au sérieux ressemble réellement.