Os tutores de IA são demasiado prestáveis. Um novo teste mostra que têm dificuldade em saber quando recuar

Pontos-chave

• O Allen Institute for AI lançou o TutorMoments, um teste utilizando 462 transcrições reais de sessões de tutoria individual de matemática para avaliar quão bem os tutores de IA conseguem julgar quando ajudar e quando manter distância.
• O conjunto de dados inclui mais de 1.500 momentos de decisão identificados por 27 professores de matemática experientes dos EUA, dos 2.º ao 7.º ano.
• Sete modelos de linguagem de grande dimensão, a tecnologia por trás de chatbots como ChatGPT e Claude, foram testados; todos eles tenderam a prestar ajuda excessiva aos alunos quando não receberam instruções específicas.
• Dar ao modelo uma instrução mais detalhada melhorou as suas pontuações, mas nenhum modelo igualou consistentemente o julgamento mostrado pelos tutores humanos nos mesmos momentos.
• O teste, o conjunto de dados e o código estão todos disponíveis gratuitamente, publicados em parte através do repositório de dados Hugging Face.

Um bom tutor de matemática, quando um aluno está bloqueado, geralmente faz uma pergunta em vez de dar uma resposta. "O que já sabes sobre este problema?" Essa pausa, esse pequeno recuo que devolve o aluno à responsabilidade, é deliberado. É assim que a aprendizagem se fixa.

Os chatbots de IA foram construídos para fazer o contrário. O seu propósito inteiro é ser útil, o que num contexto de tutoria muitas vezes significa explicar o conceito, apresentar os passos e levar o aluno diretamente à resposta. Isto contorna o pensamento esforçado que os investigadores dizem ser central para compreender verdadeiramente algo.

Uma equipa do Allen Institute for AI quis saber quão grave é realmente o problema e se pode ser resolvido.

Como funciona realmente o TutorMoments?

Os investigadores construíram um teste chamado TutorMoments com base em sessões de tutoria reais, não em cenários inventados. Recolheram 462 transcrições de um programa de tutoria nos EUA que serve principalmente escolas de baixa renda, removeram todos os detalhes de identificação e entregaram as transcrições a 27 professores de matemática experientes.

Os professores leram cada transcrição e marcaram os momentos em que um tutor enfrentava uma escolha genuína: facilitar o problema para entrar nele ou pressionar o aluno para raciocinar com mais profundidade. Esses momentos identificados tornaram-se no teste.

Em cada ponto marcado, um modelo de linguagem de grande dimensão assume a sessão durante cinco trocas, com um segundo modelo de linguagem a fazer o papel do aluno. Um sistema de pontuação verifica então se o tutor de IA fez a escolha correta para esse momento, com base no que os professores disseram que o aluno realmente precisava.

As três coisas que estão a ser medidas são se o modelo forneceu apoio apropriado quando necessário, pressionou para um pensamento mais profundo quando o aluno estava pronto e evitou dar mais ajuda do que o momento exigia.

O que é que os tutores de IA realmente fizeram?

Todos os modelos testados tenderam a prestar ajuda excessiva. Com uma instrução simples para "tutoriar bem", todos os sete modelos inclinaram-se para explicar e guiar em vez de pressionar os alunos a pensar.

Quando os investigadores reformularam a instrução para explicitar o compromisso, as pontuações melhoraram em toda a linha. Mas nenhum modelo fez consistentemente a escolha correta da forma como um professor experiente faz.

Os resultados abaixo mostram pontuações entre 0 e 1, onde 1 significa que o modelo fez a escolha correta em todos os momentos relevantes.

Tipo de instrução	Apoio apropriado	Rigor apropriado	Evita apoio excessivo
Tutores humanos (referência)	0.458	0.182	0.496
Instrução simples (média de IA)	Abaixo do humano	Próximo de zero	Baixo
Instrução consciente da avaliação (melhor IA)	Acima do humano	Mais elevado	Mais elevado

Uma ressalva importante: as pontuações dos tutores humanos parecem baixas porque o conjunto de dados foi deliberadamente construído em torno de oportunidades perdidas, momentos em que os professores sentiram que algo melhor poderia ter sido feito. Portanto, os números humanos não são um retrato do ensino ideal.

O que isto significa para os alunos que utilizam ferramentas de tutoria de IA?

Se o seu filho ou aluno está a utilizar uma aplicação de tutoria de IA, a aplicação está provavelmente a fazer demasiado do pensamento por ele. Isto parece útil no momento. Com o tempo, pode não ser.

Os investigadores não estão a dizer que os tutores de IA são inúteis. Estão a dizer que o campo necessita de melhores formas de medir e treinar esta competência específica. Um modelo que nunca revela a resposta não é automaticamente um bom tutor; o que importa é se compreende o aluno corretamente em cada momento individual.

O conjunto de dados completo, o código de teste e um relatório técnico estão disponíveis publicamente, assim como o conjunto de dados no Hugging Face, para que outros investigadores e empresas que construam ferramentas de tutoria de IA possam testar os seus próprios modelos contra os mesmos pontos de decisão do mundo real.

O que observar se utilizar uma ferramenta de tutoria de IA: observe se ela faz perguntas ou simplesmente responde. Uma ferramenta que sempre explica não é tutoria. É fazer o trabalho de casa.