Google DeepMind anuncia Gemini Diffusion para geração de linguagem

Google DeepMind anunciou o Gemini Diffusion, uma abordagem baseada em difusão para geração de linguagem. O anúncio apresenta uma nova forma de entender como grandes modelos de linguagem podem gerar texto.

Modelos de difusão são amplamente conhecidos na geração de imagens. O método aprende a restaurar progressivamente dados a partir de ruído aleatório e tem sido usado em contextos nos quais a qualidade e a diversidade da geração são importantes. O Google DeepMind estendeu essa técnica de difusão para a geração de texto.

As principais características do Gemini Diffusion são a maior velocidade de decodificação e a capacidade de geração em nível de bloco. Modelos autoregressivos tradicionais geram tokens um a um, em sequência, o que pode introduzir latência na produção de textos longos. Em contraste, abordagens baseadas em difusão podem oferecer uma estrutura para gerar vários tokens de uma vez ou processá-los em blocos.

A geração em bloco está relacionada à produção de unidades semânticas, como frases ou parágrafos, em uma única etapa. Isso é descrito como um elemento de design que pode afetar a coerência contextual e a velocidade de geração. Em comparação com modelos que preveem tokens individualmente enquanto mantêm o contexto geral, a geração em nível de bloco propõe uma forma diferente de compor texto.

A aplicação de modelos de difusão à geração de linguagem já foi explorada na academia. Pesquisas anteriores, como a Diffusion-LM, examinaram métodos para aplicar processos contínuos de difusão a dados textuais discretos. No entanto, esses estudos foram em grande parte experimentais, e a implementação em ambientes de produção permaneceu limitada.

A velocidade de decodificação é uma métrica de desempenho importante para desenvolvedores de aplicações de IA. Muitas APIs atuais de modelos de linguagem usam a latência por token como medida central, o que afeta a experiência do usuário e os custos operacionais. Se o Gemini Diffusion oferecer ganhos de velocidade no uso real, isso poderá afetar tempos de resposta e throughput em chatbots, ferramentas de geração de conteúdo e assistentes de código.

Persistem desafios na aplicação de modelos de difusão à geração de linguagem. O texto tem uma estrutura discreta, ao contrário das imagens, de modo que são necessárias técnicas adicionais para aplicar processos contínuos de remoção de ruído. Modelos de difusão também costumam envolver várias etapas iterativas de refinamento, o que pode aumentar o custo computacional. A avaliação da qualidade e da coerência do texto gerado inclui vários fatores, como gramática, consistência factual e manutenção de contexto.

O Google DeepMind ampliou suas capacidades de IA multimodal por meio da série Gemini. O Gemini 1.0 e o 1.5 demonstraram processamento integrado de texto, imagens, áudio e vídeo, e o Gemini Diffusion é apresentado como uma direção adicional na geração de texto. O Google utiliza modelos de linguagem em áreas de produto que incluem busca, publicidade e serviços em nuvem.

As informações publicamente disponíveis permanecem limitadas, de modo que detalhes como escala de parâmetros do modelo, conjuntos de dados de treinamento e desempenho em benchmarks ainda não foram confirmados. A página de pesquisa do Google DeepMind fornece uma visão técnica geral, mas não parece incluir especificações detalhadas de implementação nem planos de lançamento em código aberto. Mais informações podem ser divulgadas por meio de futuros artigos acadêmicos ou lançamentos de API.

Para desenvolvedores de modelos de linguagem, o anúncio oferece uma oportunidade de revisar novas direções de design. A estabilidade de treinamento, a qualidade das amostras e a controlabilidade dos modelos de difusão têm sido discutidas na geração de imagens, e permanece em aberto se essas características se aplicam à geração de texto. Em particular, a forma como os modelos de difusão se comportam em fine-tuning e engenharia de prompts pode ser relevante para a adoção prática.