OpenAI disse que o GPT-2 era demasiado perigoso para lançar. Devíamos ter acreditado?

Pontos-chave

• A 14 de fevereiro de 2019, a OpenAI anunciou um modelo de linguagem chamado GPT-2, mas recusou lançá-lo publicamente, dizendo que os riscos de abuso eram demasiado grandes.
• O GPT-2 foi o predecessor direto dos modelos que agora alimentam o ChatGPT, Claude e chatbots de IA semelhantes.
• Pelo menos um investigador considerou o anúncio inútil e os riscos indicados exagerados.
• O episódio levanta um padrão digno de atenção: empresas de IA que falam sobre perigo também podem estar a falar sobre poder, e a atrair investidores no processo.

O que aconteceu realmente em 2019?

A OpenAI construiu um modelo de linguagem, um tipo de software treinado em vastas quantidades de texto para que possa escrever, resumir e responder a perguntas, e depois anunciou-o ao mundo recusando-se a partilhá-lo. A empresa chamou ao modelo GPT-2 e disse que era simplesmente demasiado arriscado colocá-lo em mãos públicas.

A preocupação, conforme enquadrada pela OpenAI, era abuso. Atores maliciosos poderiam usar o GPT-2 para escrever notícias falsas à escala, ou inundar a internet com desinformação convincente. Um medo razoável, em teoria.

Na prática, pelo menos um investigador ficou insatisfeito. Escrevendo no The Guardian, o investigador de Stanford John Thickstun recorda-se de se sentir irritado na altura. Sem acesso ao modelo real, não conseguia estudá-lo, testá-lo ou aprender muito com ele. O aviso era alto; a substância, fraca.

Quem beneficia quando uma empresa de IA grita perigo?

Esta é a pergunta mais penetrante, e Thickstun coloca-a diretamente.

Dizer ao mundo que a sua tecnologia é perigosa é também, silenciosamente, dizer ao mundo que a sua tecnologia é poderosa. A tecnologia poderosa atrai investidores. Os investidores escrevem cheques grandes. A empresa que acabou de avisar toda a gente sobre a sua IA assustadora está agora melhor financiada para construir mais dela.

Isto não é uma conspiração. É apenas um incentivo digno de atenção.

O GPT-2 foi eventualmente lançado na íntegra, em fases, mais tarde em 2019. O abuso catastrófico que a OpenAI temia não se materializou em qualquer onda óbvia e documentada. O modelo tornou-se uma ferramenta de investigação. Os seus sucessores, GPT-3 e depois GPT-4, tornaram-se o motor dentro de produtos utilizados por centenas de milhões de pessoas hoje.

Isto significa que os avisos de segurança estão sempre errados?

Não. Alguns riscos de IA são reais e alguns avisos merecem atenção séria. O ponto não é descartar todas as cautelas de todos os laboratórios.

O ponto é perguntar quem está a falar, o que têm a ganhar, e se a evidência por trás do aviso é algo que pessoas externas podem realmente examinar. Uma afirmação de segurança apoiada por investigação publicada e revisão independente é um animal diferente de um comunicado de imprensa sem modelo anexado.

Quando uma empresa de IA anuncia a seguir que o seu último sistema é simultaneamente aterradoramente capaz e demasiado sensível para partilhar abertamente, vale a pena fazer uma pausa. Pergunte quais os investigadores que podem verificar sem a cooperação da empresa. Pergunte quem financia a próxima ronda de investimento depois de os títulos rodarem. Pergunte se o perigo descrito é específico e mensurável, ou vívido e vago.

Curiosidade e ceticismo não são opostos de levar a IA a sério. É assim que levar a IA a sério realmente se parece.