Google DeepMind 發表 Gemini Diffusion，用於語言生成

Google DeepMind 已宣布推出 Gemini Diffusion，這是一種用於語言生成的擴散式方法。此次公告提出了大型語言模型生成文字方式的新方向。

擴散模型廣為人知於影像生成領域。此方法透過學習從隨機雜訊中逐步還原資料，並已應用於生成品質與多樣性同樣重要的情境。Google DeepMind 已將這項擴散技術延伸至文字生成。

Gemini Diffusion 的核心特點包括更快的解碼速度與區塊級生成能力。傳統自迴歸模型會依序逐一生成 token，這在產生長篇文字時可能帶來延遲。相較之下，基於擴散的方法可提供一次生成多個 token，或以區塊為單位處理文字的結構。

區塊生成與一次生成句子或段落等語意單位相關。此設計元素被描述為可能影響上下文一致性與生成速度。相較於在維持整體上下文的同時逐一預測 token 的模型，區塊級生成提出了不同的文字組成方式。

擴散模型應用於語言生成的研究已在學術界展開。先前如 Diffusion-LM 等研究，探討了將連續擴散過程應用於離散文字資料的方法。然而，這些研究多屬實驗性質，在生產環境中的部署仍然有限。

解碼速度是 AI 應用開發者的重要效能指標。許多現行語言模型 API 以每個 token 的延遲作為關鍵衡量標準，這會影響使用者體驗與營運成本。若 Gemini Diffusion 在實際使用中提供速度提升，可能會影響聊天機器人、內容生成工具與程式碼助理的回應時間與吞吐量。

將擴散模型應用於語言生成仍面臨挑戰。文字與影像不同，具有離散結構，因此需要額外技術來套用連續的去雜訊過程。擴散模型也常涉及多次迭代式精煉，這可能提高運算成本。對生成文字品質與一致性的評估，則包含文法、事實一致性與上下文維持等多項因素。

Google DeepMind 透過 Gemini 系列擴展了其多模態 AI 能力。Gemini 1.0 與 1.5 展示了文字、影像、音訊與影片的整合處理能力，而 Gemini Diffusion 則被定位為文字生成的另一項方向。Google 在搜尋、廣告與雲端服務等產品領域中使用語言模型。

目前公開資訊仍然有限，因此模型參數規模、訓練資料集與基準測試表現等細節尚未獲得確認。Google DeepMind 的研究頁面提供了技術概覽，但似乎未包含詳細實作細節或開源發布計畫。更多資訊可能會透過未來的學術論文或 API 發布進一步揭露。

對語言模型開發者而言，這項公告提供了檢視新設計方向的機會。擴散模型的訓練穩定性、樣本品質與可控性等議題，已在影像生成領域受到討論，而這些特性是否同樣適用於文字生成，仍有待觀察。特別是擴散模型在微調與提示工程中的表現，可能與實務採用相關。