Modelos de IA Abertos Permitem Empresas Construir Sistemas que Realmente Possuem. Eis Como Funciona.

Pontos-chave

• Harvey, uma empresa de IA jurídica, treinou a NVIDIA Nemotron 3 Ultra no seu próprio benchmark legal e igualou os principais modelos fechados com custos pelo menos 10 vezes inferiores por execução.
• Arcee AI conseguiu custos de inferência de aproximadamente 90 cêntimos por milhão de tokens de saída em Nemotron, aproximadamente 20 vezes mais barato do que modelos de ponta fechados comparáveis.
• Holotron 3 Nano da H Company obteve uma pontuação acima de 76% em OSWorld-Verified, um benchmark de tarefas reais de computador, igualando os principais modelos de ponta a uma fração do custo.
• LangChain ajustou o seu framework de agente para Nemotron 3 Ultra sem retreinamento do modelo e alcançou uma precisão de agente máxima entre modelos abertos com custos aproximadamente 10 vezes inferiores aos de alternativas fechadas.
• YTL AI Labs treinou um modelo Nemotron para a língua malaia, tornando a IA personalizada localmente disponível para a comunidade de programadores da Malásia.

A maioria das empresas que desejam IA hoje enfrenta o mesmo problema silencioso. Os grandes e poderosos modelos da OpenAI, Google e Anthropic são caixas fechadas. Pode enviar-lhes perguntas. Não pode olhar dentro, alterar o que sabem, ou executá-los nos seus próprios servidores sem encaminhar os seus dados através dos sistemas de terceiros.

Para um hospital ou um escritório de advocacia, isso importa muito.

A NVIDIA tem posicionado a sua família de modelos Nemotron abertos, ou seja, modelos cujos funcionamentos internos estão totalmente disponíveis para inspeção e modificação, como resposta a esse problema. Um artigo de blogue publicado esta semana pela empresa estabelece como isso funciona na prática, com números inclusos.

A startup de IA jurídica Harvey treinou Nemotron 3 Ultra no seu próprio benchmark legal interno. O resultado igualou a precisão dos melhores modelos comerciais fechados em tarefas jurídicas complexas, com um custo que a NVIDIA afirma ser pelo menos 10 vezes inferior por execução. Isto não é um erro de arredondamento. Para um escritório que executa milhares de análises de documentos por mês, as economias compõem-se rapidamente.

Glean construiu um produto chamado Waldo, uma ferramenta de pesquisa para dados da empresa, ao associar Nemotron com um modelo fechado maior. Waldo fornece respostas mais rapidamente e utiliza menos tokens, as pequenas unidades de texto que os modelos de IA processam, o que reduz diretamente os custos computacionais.

Arcee AI foi ainda mais longe em termos de custo. Ao executar Nemotron na plataforma de hardware Blackwell da NVIDIA, a geração de chips que se seguiu à geração anterior Hopper, a empresa reduziu os custos de inferência para cerca de 90 cêntimos por milhão de tokens de saída. Os modelos de ponta fechados comparáveis custam aproximadamente 20 vezes mais pelo mesmo trabalho.

Nem todo caso de uso diz respeito a direito ou custo. YTL AI Labs treinou um modelo Nemotron especificamente para a língua malaia, criando uma IA personalizada que um fornecedor global teria poucas razões comerciais para construir.

Abridge e Heidi Health estão ambas a aplicar modelos Nemotron personalizados à documentação clínica, a tarefa que consome tempo de converter uma conversa médico-paciente numa nota médica estruturada. Fazê-lo incorretamente tem consequências reais, que é exatamente por que essas equipas desejam visibilidade total sobre como o seu modelo foi treinado e a capacidade de corrigi-lo quando não cumpre.

As empresas devem abandonar os modelos fechados completamente?

Não. A própria formulação da NVIDIA afirma que modelos abertos e fechados funcionam melhor em conjunto. Um modelo geral poderoso pode lidar com planeamento complexo enquanto um modelo aberto especializado mais pequeno executa tarefas específicas a um custo inferior. Pense nisso como utilizar um especialista caro para a decisão de julgamento difícil e um generalista bem treinado para o trabalho rotineiro.

O argumento prático a favor de modelos abertos não é que superem os fechados em todas as tarefas hoje. É que o proprietário do que constrói. Pode testá-lo contra os seus próprios dados, melhorá-lo quando falha, e manter as suas informações mais sensíveis fora dos servidores de terceiros. Para indústrias em que uma resposta errada tem consequências legais ou clínicas, esse controlo não é opcional.