Google DeepMind 发布用于语言生成的 Gemini Diffusion

Google DeepMind 已宣布推出 Gemini Diffusion，这是一种用于语言生成的扩散方法。此次公告提出了大型语言模型生成文本方式的一种新路径。

扩散模型在图像生成领域已广为人知。该方法通过学习从随机噪声中逐步恢复数据，已被用于对生成质量和多样性有较高要求的场景。Google DeepMind 已将这一扩散技术扩展到文本生成。

Gemini Diffusion 的核心特性包括更快的解码速度和按块生成能力。传统自回归模型按顺序逐个生成 token，在生成长文本时可能带来延迟。相比之下，基于扩散的方法可以提供一次生成多个 token 或按块处理的结构。

按块生成与一次性生成句子或段落等语义单元有关。该设计元素被描述为可能影响上下文连贯性和生成速度。与逐个预测 token 同时保持整体上下文的模型相比，按块生成提出了另一种文本组织方式。

扩散模型在语言生成中的应用已在学术界得到探索。此前的研究，例如 Diffusion-LM，研究了将连续扩散过程应用于离散文本数据的方法。不过，这些研究大多仍处于实验阶段，在生产环境中的部署较为有限。

解码速度是 AI 应用开发者关注的重要性能指标。当前许多语言模型 API 将每个 token 的延迟作为关键衡量标准，这会影响用户体验和运营成本。如果 Gemini Diffusion 在实际使用中能够带来速度提升，可能会影响聊天机器人、内容生成工具和代码助手的响应时间与吞吐量。

将扩散模型应用于语言生成仍面临挑战。与图像不同，文本具有离散结构，因此需要额外技术来应用连续的去噪过程。扩散模型通常还涉及多轮迭代式精炼，这可能增加计算成本。对生成文本质量和连贯性的评估包括语法、事实一致性和上下文保持等多个因素。

Google DeepMind 通过 Gemini 系列扩展了其多模态 AI 能力。Gemini 1.0 和 1.5 展示了对文本、图像、音频和视频的集成处理能力，而 Gemini Diffusion 被呈现为文本生成方向上的另一条路径。Google 在搜索、广告和云服务等产品领域使用语言模型。

目前公开信息仍然有限，因此模型参数规模、训练数据集和基准性能等细节尚未得到确认。Google DeepMind 的研究页面提供了技术概览，但似乎未包含详细的实现细节或开源发布计划。更多信息可能会通过未来的学术论文或 API 发布披露。

对于语言模型开发者而言，这一公告提供了审视新设计方向的机会。扩散模型的训练稳定性、样本质量和可控性已在图像生成领域得到讨论，而这些特性是否适用于文本生成仍是一个开放问题。尤其是扩散模型在微调和提示工程中的表现，可能与实际采用相关。