Tag
#inference speed
3 stories taggedinference speed.
Frontier Labs
Liquid AI's New Draft Models Make Its LFMs Up to 3.2x Faster, No Quality Trade-off
A technique called speculative decoding lets a small helper model do the heavy lifting so the main model just checks the work. The result: dramatically faster output on everything from a data-centre GPU to a MacBook.
4 min read
Explained
O Atalho de IA da Apple: Como um Truque de 'Rascunho e Verificação' Torna Modelos de Raciocínio Duas Vezes Mais Rápidos
A Apple ML Research desenvolveu uma forma mais inteligente de acelerar o raciocínio de IA, que verifica o significado em vez de contar palavras exatas. Isto poderia reduzir o custo de executar IA poderosa em metade.
3 min read
Science & Space
Investigadores da Apple Encontraram uma Forma Mais Inteligente de Tornar a Geração de Vídeo por IA Muito Mais Rápida
Uma nova técnica do Apple ML Research reduz o tempo que a IA leva para transformar instruções de texto em vídeo, ao ensinar o modelo a ignorar cálculos desnecessários.
3 min read