Antes do Seu Assistente de IA Enviar Essa Transferência Bancária, Ele Sabe Quão Confiante Está?

Pontos-chave

• A Pesquisa de Machine Learning da Apple publicou um estudo sobre quantificação de incerteza (UQ) para chamadas de funções de IA, alertando que agentes de IA demasiado confiantes podem causar danos irreversíveis.
• Os modelos de linguagem de grande escala estão cada vez mais a ser utilizados para executar tarefas no mundo real, como transferir dinheiro, reservar voos ou apagar ficheiros em nome de um utilizador.
• A pesquisa argumenta que medir a confiança própria de um modelo de IA antes de agir poderia prevenir erros dispendiosos e difíceis de reverter.
• Os sistemas atuais de chamada de funções frequentemente executam ações sem qualquer verificação interna de se a IA tem a certeza de estar a fazer a coisa certa.

Imagine pedir a um assistente de voz para pagar a sua conta de eletricidade. Ele ouve a sua instrução, decide qual conta bancária usar, escolhe um valor e envia o pagamento. Pronto. Exceto: e se interpretou mal a sua instrução? E se enviou dez vezes o valor? O dinheiro desapareceu.

Este é o problema que os investigadores da Pesquisa de Machine Learning da Apple se propuseram resolver. O seu trabalho centra-se no que acontece quando um modelo de linguagem de grande escala, a tecnologia por trás de chatbots como ChatGPT e Claude, recebe a capacidade de chamar funções, o que significa que pode alcançar e realmente fazer coisas no mundo em vez de apenas responder a perguntas numa janela de conversa.

A chamada de funções já está em toda parte. Quando uma IA reserva um restaurante, consulta uma base de dados ou envia um correio electrónico em seu nome, está a usar esta capacidade. A conveniência é real. Assim é o risco.

Os investigadores apontam uma lacuna que a maioria dos utilizadores nunca pensaria em questionar: será que a IA sabe quão confiante está antes de agir? Neste momento, a maioria dos sistemas não verifica. O modelo toma uma decisão e a ação é executada, independentemente de a IA estar 95% segura ou apenas a adivinhar.

A quantificação de incerteza, ou UQ, é o termo técnico para medir esse nível de confiança. Pense nisto como a lista de verificação de um cirurgião: antes de cortar, confirma que tem o doente certo, o procedimento certo, o local certo. A ideia aqui é dar aos agentes de IA uma pausa semelhante, um momento incorporado em que o sistema se questiona se tem a certeza suficiente para prosseguir.

Isto importa mais para ações irreversíveis. Apagar um ficheiro, enviar um pagamento, cancelar uma subscrição: estas são as ações em que uma decisão errada é dispendiosa ou impossível de desfazer. Um agente de IA confiante mas errado é um problema muito maior do que um hesitante que pede confirmação.

A Pesquisa de Machine Learning da Apple argumenta que os métodos de UQ devem ser incorporados no próprio pipeline de chamada de funções, não acrescentados depois.

Os utilizadores comuns devem estar preocupados neste momento?

Não imediatamente, mas deve prestar atenção às tarefas que confia aos agentes de IA. O risco aumenta à medida que as ferramentas de IA ganham mais acesso às suas contas, ficheiros e serviços. Algumas coisas práticas a observar:

• Se uma aplicação oferece automação de IA para ações financeiras, verifique se pede confirmação antes de concluir uma transação.
• Seja cauteloso ao conceder às ferramentas de IA permissões amplas. Um acesso restrito, limitado à única tarefa de que precisa, reduz o raio de impacto de qualquer erro.
• Se um assistente de IA agir de uma forma que o surpreenda, denuncie através do canal de comentários da aplicação. Estes relatórios genuinamente ajudam os investigadores a encontrar casos de falha.

Os investigadores não estão a dizer que os agentes de IA são demasiado perigosos para usar. Estão a dizer que as ferramentas precisam de uma verificação de confiança antes de agir. Isto é algo razoável de pedir.