Google 公布 Gemma 4 模型陣容，涵蓋密集式、MoE 與多模態變體

Google 透過其 AI 開發者文件頁面披露了 Gemma 4 模型家族的詳細組成。此次公告包含三種主要架構變體：密集式、專家混合（MoE）以及統一多模態模型。

架構變體

密集式模型採用傳統的 Transformer 結構，推理時會啟用全部參數。這種設計可提供可預期的延遲表現與一致的吞吐量。

MoE 架構會依據輸入內容，只啟用部分專家子網路，從而相較於總參數量降低實際啟用的參數數量。路由機制會根據輸入 token 選擇專家組合。

統一多模態模型旨在於單一架構內同時處理文字與影像。其可支援視覺問答、文件理解與多模態檢索等任務。

開發者生態系

Gemma 系列在開放權重模型市場中受到關注，而第四代陣容進一步擴充了可用選項。密集式模型與標準推理框架具有高度相容性，也較容易整合至既有流程。

MoE 模型需要支援路由邏輯與專家負載平衡的執行環境。多模態變體則更重視輸入流程設計，包括影像前處理、解析度調整，以及文字與影像的對齊。

競爭格局

開放權重模型市場包括 Meta 的 Llama 系列、Mistral AI 的模型家族，以及 Alibaba 的 Qwen 陣容。Gemma 4 的 MoE 變體可能會與其他 MoE 模型進行比較，而多模態模型則可能與其他多模態產品一併評估。

授權與部署

Gemma 模型通常以允許商業用途的授權方式發行，但具體條款仍應查閱模型卡與服務條款。MoE 與多模態變體的推理記憶體需求可能較高。

Google 的官方文件預期將為各變體提供建議硬體規格、批次大小設定，以及推理最佳化指南。目前披露的資訊確認了這些模型變體的存在，但未說明參數數量、基準測試表現、訓練資料組成或發布時程。