Google presenta la línea de modelos Gemma 4 con variantes densas, MoE y multimodales

Google ha divulgado la composición detallada de su familia de modelos Gemma 4 a través de su página de documentación para desarrolladores de IA. El anuncio incluye tres variantes arquitectónicas principales: modelos densos, modelos de mezcla de expertos (MoE) y modelos multimodales unificados.

Variantes arquitectónicas

Los modelos densos siguen la estructura tradicional de transformador, con todos los parámetros activados durante la inferencia. Esto proporciona una latencia predecible y un rendimiento constante.

Las arquitecturas MoE activan solo un subconjunto de subredes expertas en función de la entrada, lo que reduce el número de parámetros activos en relación con el total de parámetros. El mecanismo de enrutamiento selecciona combinaciones de expertos en función de los tokens de entrada.

El modelo multimodal unificado está diseñado para procesar texto e imágenes dentro de una sola arquitectura. Puede admitir tareas como respuesta a preguntas visuales, comprensión de documentos y recuperación multimodal.

Ecosistema de desarrolladores

La serie Gemma ha atraído atención en el mercado de modelos de pesos abiertos, y la línea de cuarta generación amplía las opciones disponibles. Los modelos densos son altamente compatibles con marcos de inferencia estándar y resultan más fáciles de integrar en canalizaciones existentes.

Los modelos MoE requieren entornos de ejecución que admitan lógica de enrutamiento y equilibrio de carga entre expertos. Las variantes multimodales ponen mayor énfasis en el diseño de la canalización de entrada, incluida la preprocesamiento de imágenes, el ajuste de resolución y la alineación entre texto e imagen.

Panorama competitivo

El mercado de modelos de pesos abiertos incluye la serie Llama de Meta, la familia de modelos de Mistral AI y la línea Qwen de Alibaba. La variante MoE de Gemma 4 podría compararse con otros modelos MoE, mientras que el modelo multimodal podría evaluarse junto con otras ofertas multimodales.

Licencias y despliegue

Los modelos Gemma se distribuyen en general bajo licencias que permiten el uso comercial, pero es necesario revisar los términos específicos en las fichas del modelo y en las condiciones de servicio. Las variantes MoE y multimodales pueden tener mayores requisitos de memoria para la inferencia.

Se espera que la documentación oficial de Google incluya especificaciones de hardware recomendadas, ajustes de tamaño de lote y guías de optimización de inferencia para cada variante. La información divulgada hasta ahora confirma la existencia de las variantes del modelo, pero no especifica el número de parámetros, el rendimiento en pruebas comparativas, la composición de los datos de entrenamiento ni los calendarios de lanzamiento.