Pesquisa sobre GPUs Nvidia Blackwell relata resultados de treinamento em FP4 à medida que famílias de modelos Llama entram em estudos de quantização

As GPUs da arquitetura Blackwell de próxima geração da Nvidia foram usadas para verificar resultados de treinamento em ponto flutuante de 4 bits (FP4), segundo um novo artigo de pesquisa. O artigo examina a análise de sensibilidade por camada e por bloco para inferência em FP4 e relata resultados de treinamento em FP4 usando GPUs Nvidia Blackwell. Famílias de modelos fundamentais como Llama 2 e Llama 3 são mencionadas no contexto mais amplo da quantização FP4, sugerindo que a computação em precisão ultrabaixa pode vir a ser aplicável a operações de modelos de linguagem em larga escala.

A arquitetura Blackwell é a plataforma de GPU para data centers de próxima geração da Nvidia, apresentada em 2024, e foi projetada para melhorar o desempenho de treinamento e inferência de IA em relação à arquitetura Hopper anterior. A Blackwell foi projetada especificamente para oferecer suporte, em nível de hardware, a operações de baixa precisão como FP4 e FP6, e esta pesquisa é apresentada como um caso em que essas capacidades podem ser usadas em cargas de trabalho reais de treinamento. O FP4 pode reduzir o uso de memória e o custo computacional em comparação com FP16 ou INT8, e pode desempenhar um papel na redução dos custos de implantação e inferência para modelos em larga escala.

Llama 2 e Llama 3 são modelos de linguagem de grande porte com pesos abertos lançados pela Meta, cada um contendo dezenas a centenas de bilhões de parâmetros. Esses modelos são frequentemente usados como benchmarks padrão para pesquisa em quantização na academia e na indústria, e são adequados para avaliar o impacto de reduções extremas de precisão, como FP4, no desempenho do modelo. A inclusão das famílias Llama no contexto de quantização FP4 indica que a equipe de pesquisa buscou examinar a viabilidade de treinamento e inferência em baixa precisão em arquiteturas de modelo amplamente usadas em ambientes de produção.

A quantização FP4 é uma técnica que representa os pesos do modelo e os valores de ativação em formato de ponto flutuante de 4 bits. Em comparação com FP16 ou BF16, ela pode reduzir os requisitos de largura de banda de memória em um fator de quatro, oferecendo benefícios diretos para aumentar a taxa de inferência e o tamanho do lote. No entanto, a perda de precisão pode degradar a acurácia do modelo, tornando importante a análise de sensibilidade por camada e por bloco. Esta pesquisa parece apresentar uma metodologia para diagnosticar quais camadas são sensíveis à quantização FP4 e quais blocos são críticos para manter a precisão.

A verificação do treinamento em FP4 em GPUs Blackwell é um ponto de referência relevante tanto para fabricantes de hardware quanto para desenvolvedores de modelos. A Nvidia equipou a arquitetura Blackwell com tensor cores dedicados que aceleram operações de baixa precisão, e esta pesquisa mostra que o hardware pode executar computação em FP4 em cargas de trabalho reais de treinamento. Isso fornece uma base para que provedores de serviços em nuvem e operadores de infraestrutura de IA considerem treinamento e inferência em FP4 como uma opção ao construir clusters baseados em Blackwell.

A pesquisa de quantização FP4 nas famílias de modelos Llama também deve influenciar o ecossistema de pesos abertos. A Meta lançou os modelos Llama com pesos abertos, incentivando o uso em pesquisa e em aplicações comerciais, e, se a quantização FP4 for validada, desenvolvedores da comunidade poderão implantar modelos em larga escala a um custo menor. Em particular, modelos em FP4 abrem a possibilidade de executar modelos de linguagem de alto desempenho em inferência no dispositivo ou em ambientes de borda com severas restrições de memória.

No entanto, permanecem desafios para a implantação prática de treinamento e inferência em FP4. Ainda são necessárias estratégias de precisão mista para compensar a perda de precisão, políticas de quantização específicas por camada e técnicas de otimização para garantir a estabilidade do treinamento. Além disso, a taxa de processamento e a eficiência energética que o desempenho em FP4 das GPUs Blackwell entrega em ambientes de produção reais precisam ser confirmadas por meio de novos benchmarks. Embora esta pesquisa tenha mostrado que o treinamento em FP4 é tecnicamente viável, o trabalho de engenharia para implantação comercial precisará avançar separadamente.

A Nvidia começou a fornecer a arquitetura Blackwell a grandes provedores de nuvem e clientes corporativos no segundo semestre de 2024, com produção e implantação em larga escala esperadas a partir de 2025. O momento da verificação do treinamento em FP4 coincide com a fase inicial de implantação da Blackwell, refletindo a maturação simultânea do desempenho de hardware e da otimização de software. Quando as bibliotecas CUDA da Nvidia e o mecanismo de inferência TensorRT passarem a oferecer suporte oficial a operações em FP4, espera-se que os desenvolvedores possam implantar modelos em FP4 sem kernels personalizados.

As implicações econômicas da computação em baixa precisão afetam diretamente as estruturas de custo da infraestrutura em nuvem. Se a inferência em FP4 reduzir a largura de banda de memória para um quarto da exigida por FP16, o mesmo hardware poderá lidar com mais solicitações simultâneas, aumentando a utilização da GPU e reduzindo os custos por inferência. Em serviços de modelos de linguagem em larga escala, os custos de inferência representam uma parcela substancial das despesas operacionais totais, de modo que a quantização FP4 pode afetar as estruturas de custo dos provedores de serviço. No entanto, ainda é necessário quantificar o impacto da perda de precisão na experiência do usuário e equilibrá-lo com a economia de custos.

Na academia, a quantização FP4 é vista como uma nova direção para a pesquisa em compressão de modelos. A quantização INT8 tradicional depende de aritmética inteira e não aproveita a faixa dinâmica da representação em ponto flutuante. O FP4 inclui componentes de expoente e mantissa, oferecendo flexibilidade para representar valores extremamente pequenos ou grandes. Isso sugere que, em camadas nas quais as distribuições dos valores de ativação são amplas, o FP4 pode manter melhor precisão do que o INT8. Espera-se que pesquisas futuras se concentrem em comparações de desempenho por camada entre FP4 e INT8, estratégias de precisão mista e melhorias nas técnicas de treinamento ciente de quantização.

O suporte a FP4 nas GPUs Blackwell também marca um ponto de inflexão importante no roteiro de hardware da Nvidia. Embora historicamente as GPUs tenham sido otimizadas para operações em FP32 e FP16, o reconhecimento de que cargas de trabalho de IA podem alcançar desempenho suficiente em precisão mais baixa deslocou o design de hardware para a aceleração de baixa precisão. Os tensor cores da Blackwell oferecem suporte nativo a operações em FP4, o que significa que o desempenho em nível de hardware pode ser alcançado sem emulação por software. Esse suporte de hardware é um fator na transição da quantização FP4 de uma técnica experimental para uma opção passível de implantação em produção.

Esta pesquisa provavelmente servirá como ponto de referência à medida que academia e indústria trabalhem para operacionalizar a computação de IA em precisão ultrabaixa. O fato de a quantização FP4 ser aplicável a modelos importantes como as famílias Llama aumenta a probabilidade de que mais modelos fundamentais adotem treinamento e inferência em baixa precisão como opção. Combinado com o suporte de hardware das GPUs Blackwell, o FP4 pode se tornar uma das tecnologias centrais da infraestrutura de IA de próxima geração. No entanto, a estabilidade em ambientes reais de implantação, as estratégias de manutenção de precisão e a maturidade do ecossistema de software determinarão a adoção ampla do FP4.