Google dévoile la gamme de modèles Gemma 4 avec des variantes dense, MoE et multimodale

Google a communiqué la composition détaillée de sa famille de modèles Gemma 4 par l’intermédiaire de sa page de documentation destinée aux développeurs en IA. L’annonce comprend trois principales variantes architecturales : des modèles denses, des modèles à mixture-of-experts (MoE) et des modèles multimodaux unifiés.

Variantes architecturales

Les modèles denses suivent la structure traditionnelle du transformeur, avec l’activation de l’ensemble des paramètres pendant l’inférence. Cela offre une latence prévisible et un débit constant.

Les architectures MoE n’activent qu’un sous-ensemble de sous-réseaux experts en fonction de l’entrée, ce qui réduit le nombre de paramètres actifs par rapport au nombre total de paramètres. Le mécanisme de routage sélectionne des combinaisons d’experts en fonction des jetons d’entrée.

Le modèle multimodal unifié est conçu pour traiter le texte et les images au sein d’une seule architecture. Il peut prendre en charge des tâches telles que la réponse à des questions visuelles, la compréhension de documents et la recherche multimodale.

Écosystème des développeurs

La série Gemma a retenu l’attention sur le marché des modèles à poids ouverts, et la gamme de quatrième génération élargit les options disponibles. Les modèles denses sont hautement compatibles avec les cadres d’inférence standard et s’intègrent plus facilement dans les pipelines existants.

Les modèles MoE nécessitent des environnements d’exécution prenant en charge la logique de routage et l’équilibrage de charge entre experts. Les variantes multimodales accordent une plus grande importance à la conception du pipeline d’entrée, notamment au prétraitement des images, à l’ajustement de la résolution et à l’alignement texte-image.

Paysage concurrentiel

Le marché des modèles à poids ouverts comprend la série Llama de Meta, la famille de modèles de Mistral AI et la gamme Qwen d’Alibaba. La variante MoE de Gemma 4 peut être comparée à d’autres modèles MoE, tandis que le modèle multimodal peut être évalué aux côtés d’autres offres multimodales.

Licence et déploiement

Les modèles Gemma sont généralement distribués sous des licences autorisant l’usage commercial, mais les conditions spécifiques doivent être vérifiées dans les fiches de modèle et les conditions d’utilisation. Les variantes MoE et multimodales peuvent avoir des besoins plus élevés en mémoire lors de l’inférence.

La documentation officielle de Google devrait inclure les spécifications matérielles recommandées, les paramètres de taille de lot et des guides d’optimisation de l’inférence pour chaque variante. Les informations actuellement divulguées confirment l’existence des variantes du modèle, mais ne précisent pas le nombre de paramètres, les performances de référence, la composition des données d’entraînement ni le calendrier de publication.