谷歌通过 Gemma 4 模型系列，公布稠密型、MoE 和多模态变体

谷歌通过其 AI 开发者文档页面披露了 Gemma 4 模型家族的详细构成。此次公布包括三种主要架构变体：稠密型、专家混合（MoE）以及统一多模态模型。

架构变体

稠密型模型遵循传统的 Transformer 结构，在推理过程中所有参数都会被激活。这一设计提供了可预测的延迟和稳定的吞吐量。

MoE 架构会根据输入仅激活部分专家子网络，从而相对于总参数量减少实际参与计算的参数数量。路由机制会依据输入 token 选择专家组合。

统一多模态模型旨在在单一架构内同时处理文本和图像。它可支持视觉问答、文档理解以及多模态检索等任务。

开发者生态

Gemma 系列在开源权重模型市场中受到关注，而第四代产品线进一步扩展了可用选项。稠密型模型与标准推理框架具有较高兼容性，也更容易集成到现有流水线中。

MoE 模型需要支持路由逻辑和专家负载均衡的运行时环境。多模态变体则更强调输入流水线设计，包括图像预处理、分辨率调整以及文本与图像对齐。

竞争格局

开源权重模型市场包括 Meta 的 Llama 系列、Mistral AI 的模型家族以及阿里巴巴的 Qwen 产品线。Gemma 4 的 MoE 变体可能会与其他 MoE 模型进行比较，而多模态模型则可能与其他多模态产品一并评估。

许可与部署

Gemma 模型通常在允许商业使用的许可下分发，但具体条款仍应查看模型卡和服务条款。MoE 和多模态变体可能具有更高的推理内存需求。

谷歌的官方文档预计将为每种变体提供推荐硬件规格、批量大小设置以及推理优化指南。目前披露的信息确认了这些模型变体的存在，但未说明参数数量、基准测试表现、训练数据构成或发布时间表。