구글, Gemma 4 모델 라인업 공개—밀집형·MoE·멀티모달 변형 포함

구글이 AI 개발자 문서 페이지를 통해 Gemma 4 모델군의 세부 구성을 공개했다. 이번 발표에는 밀집형(dense), 전문가 혼합(Mixture-of-Experts, MoE), 그리고 통합 멀티모달 모델이라는 세 가지 주요 아키텍처 변형이 포함됐다.

아키텍처 변형

밀집형 모델은 전통적인 트랜스포머 구조를 따르며, 모든 파라미터가 추론 과정에서 활성화된다. 이는 예측 가능한 지연 시간과 일관된 처리량을 제공하는 특징이 있다.

MoE 아키텍처는 입력에 따라 전문가 서브네트워크의 일부만 활성화하는 방식으로, 총 파라미터 수 대비 활성 파라미터 수를 줄이는 구조다. 라우팅 메커니즘은 입력 토큰을 바탕으로 전문가 조합을 선택한다.

통합 멀티모달 모델은 텍스트와 이미지를 단일 아키텍처 내에서 처리하도록 설계됐다. 이를 통해 시각적 질문 응답, 문서 이해, 멀티모달 검색 같은 작업을 지원할 수 있다.

개발자 생태계

Gemma 시리즈는 오픈 가중치 모델 시장에서 주목받아 왔으며, 이번 4세대 라인업은 선택지를 넓힌다. 밀집형 모델은 표준 추론 프레임워크와의 호환성이 높고, 기존 파이프라인에 통합하기 쉽다.

MoE 모델은 라우팅 로직과 전문가 로드 밸런싱을 지원하는 런타임이 필요하다. 멀티모달 변형은 이미지 전처리, 해상도 조정, 텍스트-이미지 정렬 등 입력 파이프라인 구성이 중요하다.

경쟁 환경

오픈 가중치 모델 시장에는 Meta의 Llama 시리즈, Mistral AI의 모델군, Alibaba의 Qwen 라인업 등이 있다. Gemma 4의 MoE 변형은 기존 MoE 모델과 비교될 수 있으며, 멀티모달 모델은 다른 멀티모달 모델들과 함께 평가될 가능성이 있다.

라이선스 및 배포

Gemma 모델은 일반적으로 상업적 사용을 허용하는 라이선스 하에 배포되지만, 구체적인 조건은 모델 카드와 이용 약관을 확인해야 한다. MoE 및 멀티모달 변형은 추론 메모리 요구사항이 높을 수 있다.

구글의 공식 문서는 각 변형의 권장 하드웨어 사양, 배치 크기 설정, 그리고 추론 최적화 가이드를 포함할 것으로 예상된다. 현재 공개된 정보는 모델 변형의 존재를 확인하지만, 구체적인 파라미터 수, 벤치마크 성능, 훈련 데이터 구성, 출시 일정은 명시되지 않았다.