엔비디아, 블랙웰 GPU에서 NVFP4 활용한 JAX 모델 훈련 속도 최대 73% 향상 발표

엔비디아가 최신 블랙웰 아키텍처 GPU에서 새로운 저정밀도 수치 형식인 NVFP4를 활용한 대규모 언어 모델 훈련 성능 개선 결과를 공개했다. 이번 발표는 구글의 JAX 프레임워크와 MaxText 훈련 라이브러리를 기반으로 한 실험 결과를 담고 있으며, 인공지능 모델 훈련 비용과 시간을 줄이려는 업계의 지속적인 흐름을 반영한다.

엔비디아는 개발자 블로그를 통해 블랙웰 GPU에서 NVFP4 형식을 사용해 Llama 3 8B 모델을 훈련한 결과, 기존 FP8 기준선 대비 1.31배에서 1.73배 사이의 속도 향상을 달성했다고 밝혔다. 이는 최대 73%의 성능 개선에 해당하며, 회사는 이러한 속도 향상이 모델 정확도에 측정 가능한 손실 없이 이루어졌다고 보고했다.

수치 정밀도와 훈련 효율성의 균형

인공지능 모델 훈련에서 수치 정밀도는 계산 속도, 메모리 사용량, 최종 모델 품질 사이의 균형과 관련이 있다. 전통적으로 32비트 부동소수점(FP32) 형식이 표준이었으나, 최근 몇 년간 업계는 16비트(FP16), 브레인 플로트 16(BF16), 그리고 8비트(FP8) 형식으로 이동해왔다. 각 단계마다 정밀도를 일부 줄이는 대신 계산 처리량을 높이고 메모리 대역폭 요구사항을 낮추는 방식이었다.

NVFP4는 이러한 흐름을 더 낮은 비트수로 확장한 4비트 부동소수점 형식이다. 이론적으로 4비트 형식은 8비트 형식 대비 메모리 사용량을 절반으로 줄이고 처리량을 높일 수 있다. 다만 실제 적용에서는 표현 가능한 수치 범위와 정밀도가 제한되어, 훈련 과정에서 수치적 불안정성이나 수렴 문제를 일으킬 가능성이 있다.

엔비디아의 이번 결과는 이러한 이론적 우려에도 불구하고, 실제 대규모 언어 모델 훈련에서 NVFP4가 정확도 손실 없이 작동할 수 있음을 보여주는 사례로 소개됐다. 회사는 1만 스텝에 걸친 사전훈련 과정에서 유사한 훈련 손실 곡선이 유지됐다고 보고했다. 이는 모델이 FP8을 사용했을 때와 비슷한 패턴으로 학습했음을 의미한다.

블랙웰 아키텍처의 역할

이러한 성능 향상은 블랙웰 GPU의 하드웨어 설계와 관련이 있다. 블랙웰은 엔비디아의 최신 데이터센터 GPU 아키텍처로, 저정밀도 연산을 위한 전용 하드웨어 가속기를 포함한다. NVFP4 형식은 이러한 하드웨어 기능을 활용하도록 설계되었으며, 소프트웨어 최적화와 하드웨어 기능이 함께 작동하는 사례로 볼 수 있다.

MaxText는 구글이 개발한 JAX 기반 고성능 훈련 라이브러리로, 대규모 언어 모델 훈련을 위한 구현을 제공한다. 엔비디아가 MaxText와의 통합을 강조한 것은 JAX 생태계 내 협력을 보여주며, 파이토치나 텐서플로우 외에도 다양한 프레임워크에서 블랙웰 기능을 활용할 수 있음을 시사한다.

산업적 맥락과 경쟁 환경

이번 발표는 인공지능 훈련 비용을 줄이려는 광범위한 산업 흐름의 일부다. 대규모 언어 모델 훈련은 상당한 컴퓨팅 비용을 요구할 수 있으며, 훈련 시간은 수주에서 수개월까지 걸릴 수 있다. 73%의 속도 향상은 이러한 비용과 시간을 줄일 수 있는 잠재력을 가지며, 더 많은 조직이 대규모 모델 훈련을 검토할 수 있게 한다.

경쟁사들도 유사한 방향으로 움직이고 있다. AMD는 자체 저정밀도 형식을 개발 중이며, 구글의 TPU는 브레인 플로트 형식을 중심으로 최적화되어 있다. 인텔과 기타 신규 진입자들도 인공지능 가속기 시장에서 입지를 넓히려 하고 있다. 엔비디아의 NVFP4 발표는 이러한 경쟁 환경에서 기술적 우위를 유지하려는 움직임으로 해석될 수 있다.

실무적 고려사항과 제약

그러나 이러한 결과를 실제 프로덕션 환경에 적용하는 데는 여러 고려사항이 따른다. 첫째, 엔비디아가 공개한 결과는 특정 모델(Llama 3 8B)과 특정 훈련 설정(MaxText 레시피)에 기반한다. 다른 모델 아키텍처, 데이터셋, 또는 훈련 하이퍼파라미터에서도 유사한 결과가 나올지는 추가 검증이 필요하다.

둘째, 1만 스텝의 사전훈련은 전체 훈련 과정의 일부일 수 있다. 대규모 모델은 수십만에서 수백만 스텝의 훈련을 거치며, 장기간에 걸쳐 수치적 오차가 누적될 가능성이 있다. 엔비디아가 더 긴 훈련 실행에서도 같은 수준의 정확도 유지를 확인했는지는 명확하지 않다.

셋째, NVFP4는 블랙웰 아키텍처에 맞춰 설계된 형식이므로, 이를 활용하려면 최신 하드웨어가 필요하다. 기존 호퍼나 암페어 세대 GPU를 사용하는 조직은 즉시 이러한 기능을 활용할 수 없다.

향후 전망

저정밀도 훈련의 발전은 인공지능 모델의 규모와 복잡성이 계속 증가하는 상황에서 중요성이 커지고 있다. 업계는 이미 수조 개의 파라미터를 가진 모델을 논의하고 있으며, 이러한 모델을 훈련하는 데 필요한 컴퓨팅 자원은 계속 증가하고 있다. NVFP4와 같은 기술은 이러한 증가 속도를 완화하고 더 효율적인 훈련을 가능하게 할 수 있다.

또한 저정밀도 형식은 추론 단계에서도 중요한 역할을 할 수 있다. 훈련된 모델을 프로덕션 환경에 배포할 때, 낮은 정밀도는 더 빠른 응답 시간과 낮은 운영 비용으로 이어질 수 있다. 훈련과 추론 모두에서 동일한 저정밀도 형식을 사용할 수 있다면, 전체 인공지능 파이프라인의 효율성이 높아질 수 있다.

엔비디아의 이번 발표는 하드웨어 제조사, 프레임워크 개발자, 모델 연구자 간의 협력이 성능 개선으로 이어질 수 있음을 보여준다. JAX와 MaxText 커뮤니티가 NVFP4를 얼마나 빠르게 채택하고, 다른 모델과 작업에서 유사한 결과를 재현할 수 있는지가 이 기술의 장기적 영향을 좌우할 것으로 보인다.

저정밀도 형식의 채택은 기술적 측면 외에도 경제적, 환경적 의미를 가진다. 훈련 시간 단축은 전력 소비 감소로 이어질 수 있으며, 이는 데이터센터 운영 비용과 탄소 배출량을 줄이는 데 도움이 될 수 있다. 인공지능 산업이 지속 가능성에 대한 요구를 받는 상황에서, 효율적인 훈련 기술은 경제성과 환경적 측면을 함께 고려하는 선택지로 평가된다.