ByteDance está a construir um dos maiores modelos de IA já criados
O gigante tecnológico chinês está a treinar um modelo com até 10 triliões de parâmetros, o que superaria qualquer IA chinesa lançada até agora e o colocaria no mesmo nível que os sistemas mais avançados da Anthropic.
Pontos-chave
- ByteDance está a treinar um modelo de IA com até 10 triliões de parâmetros, de acordo com três pessoas com conhecimento do projeto.
- Este número é três vezes maior do que o Kimi K3, o maior modelo de IA chinês lançado publicamente até à data.
- O modelo encontra-se na fase de pré-treino, um processo que normalmente demora entre três a seis meses antes de qualquer lançamento público.
- A contagem final de parâmetros ainda não foi definida e será confirmada apenas numa fase posterior do desenvolvimento.
- Se concluído, o modelo aproximar-se-ia da escala dos sistemas de IA mais avançados da Anthropic.
ByteDance, a empresa chinesa por trás do TikTok, está a construir em silêncio o que poderá vir a ser um dos maiores modelos de inteligência artificial do mundo. Três pessoas familiarizadas com o projeto disseram à Ars Technica que o modelo pode atingir 10 triliões de parâmetros, um número que requer alguma explicação.
Um parâmetro é uma pequena configuração interna dentro de um modelo de IA. Quanto mais parâmetros um modelo tem, mais padrões consegue aprender a partir dos dados, e geralmente mais capaz se torna em tarefas como escrita, raciocínio e resposta a perguntas. O GPT-4, o modelo que alimenta o ChatGPT, estima-se amplamente ter cerca de 1,8 triliões de parâmetros. Dez triliões seria algo muito diferente.
Para comparação, o Kimi K3 da Moonshot, atualmente o maior modelo de IA lançado por qualquer empresa chinesa, tem aproximadamente 3,3 triliões de parâmetros. O projeto da ByteDance seria três vezes esse tamanho.
Em que fase se encontra?
Neste momento o modelo encontra-se no que os engenheiros chamam de pré-treino: a primeira e mais longa fase de construção de uma IA, onde o sistema lê quantidades enormes de texto e dados para aprender competências básicas de linguagem e raciocínio. Pense-se nisto como a IA a passar pela escola antes de qualquer treino especializado começar. Esta fase normalmente demora entre três a seis meses.
Após o pré-treino, os engenheiros executam uma segunda fase chamada fine-tuning, onde o modelo é treinado em tarefas mais específicas e refinado para uso no mundo real. Apenas então a ByteDance consideraria um lançamento público, e apenas se os resultados parecessem bons.
Importantemente, o número de 10 triliões não é final. Uma das fontes disse que o tamanho exato será decidido apenas mais tarde no processo. O número principal poderia mudar.
Por que é que isto importa para as pessoas comuns?
Modelos maiores tendem a produzir melhores resultados em problemas difíceis: documentos legais complexos, questões médicas, tarefas de programação multi-etapas. Se ByteDance lançar um modelo nesta escala, daria à empresa uma ferramenta séria para competir com laboratórios norte-americanos como Anthropic e OpenAI no mercado global de IA.
Também sinaliza a rapidez com que as empresas chinesas estão a fechar a lacuna. Há um ano, a lacuna entre a IA de ponta dos EUA e chinesa parecia ampla. Hoje está a estreitar-se rapidamente.
Para os consumidores, o resultado prático é mais concorrência, o que historicamente faz baixar os preços e subir a qualidade. ByteDance já opera produtos de IA incluindo o seu próprio chatbot, Doubao, que tem dezenas de milhões de utilizadores dentro da China.
Nada disto é um produto terminado ainda. O treino pode falhar, os resultados podem decepcionar, e as empresas regularmente abandonam modelos que não têm o desempenho esperado. Mas a escala pura da tentativa diz-lhe algo sobre para onde as ambições da ByteDance estão apontadas.
