La investigación sobre las GPU Blackwell de Nvidia informa resultados de entrenamiento en FP4 mientras las familias de modelos Llama entran en el estudio de cuantización

Las GPU de arquitectura Blackwell de próxima generación de Nvidia se han utilizado para verificar resultados de entrenamiento con precisión de punto flotante de 4 bits (FP4), según un nuevo artículo de investigación. El documento examina el análisis de sensibilidad por capa y por bloque para la inferencia FP4 e informa resultados de entrenamiento FP4 utilizando GPU Blackwell de Nvidia. Familias de modelos fundacionales como Llama 2 y Llama 3 se mencionan dentro del contexto más amplio de la cuantización FP4, lo que sugiere que la computación de ultra baja precisión podría llegar a aplicarse a operaciones de modelos de lenguaje a gran escala.

La arquitectura Blackwell es la plataforma de GPU para centros de datos de próxima generación de Nvidia, presentada en 2024, y está diseñada para mejorar el rendimiento de entrenamiento e inferencia de IA frente a la arquitectura Hopper anterior. Blackwell está diseñada específicamente para admitir operaciones de baja precisión como FP4 y FP6 a nivel de hardware, y esta investigación se presenta como un caso que muestra que estas capacidades pueden utilizarse en cargas de trabajo de entrenamiento reales. FP4 puede reducir el uso de memoria y el costo computacional en comparación con FP16 o INT8, y puede desempeñar un papel en la reducción de los costos de despliegue e inferencia para modelos a gran escala.

Llama 2 y Llama 3 son modelos de lenguaje de gran tamaño con pesos abiertos publicados por Meta, cada uno con decenas a cientos de miles de millones de parámetros. Estos modelos se utilizan con frecuencia como referencias estándar para la investigación de cuantización en el ámbito académico y en la industria, y son adecuados para evaluar el impacto de una reducción extrema de precisión, como FP4, en el rendimiento del modelo. La inclusión de las familias Llama en el contexto de la cuantización FP4 indica que el equipo de investigación buscó examinar la viabilidad del entrenamiento y la inferencia de baja precisión en arquitecturas de modelos ampliamente utilizadas en entornos de producción.

La cuantización FP4 es una técnica que representa los pesos del modelo y los valores de activación en formato de punto flotante de 4 bits. En comparación con FP16 o BF16, puede reducir los requisitos de ancho de banda de memoria en un factor de cuatro, lo que ofrece beneficios directos para aumentar el rendimiento de inferencia y el tamaño de lote. Sin embargo, la pérdida de precisión puede degradar la exactitud del modelo, por lo que el análisis de sensibilidad por capa y por bloque resulta importante. Esta investigación parece presentar una metodología para diagnosticar qué capas son sensibles a la cuantización FP4 y qué bloques son críticos para mantener la precisión.

La verificación del entrenamiento FP4 en GPU Blackwell constituye un punto de referencia notable tanto para los fabricantes de hardware como para los desarrolladores de modelos. Nvidia ha equipado la arquitectura Blackwell con núcleos tensoriales dedicados que aceleran las operaciones de baja precisión, y esta investigación muestra que el hardware puede realizar computación FP4 en cargas de trabajo de entrenamiento reales. Esto proporciona una base para que los proveedores de servicios en la nube y los operadores de infraestructura de IA consideren el entrenamiento e inferencia FP4 como una opción al construir clústeres basados en Blackwell.

La investigación sobre cuantización FP4 en las familias de modelos Llama también se espera que influya en el ecosistema de pesos abiertos. Meta ha publicado modelos Llama con pesos abiertos, fomentando la investigación y el uso comercial, y si la cuantización FP4 se valida, los desarrolladores de la comunidad podrían desplegar modelos a gran escala a menor costo. En particular, los modelos FP4 abren la posibilidad de ejecutar modelos de lenguaje de alto rendimiento en inferencia en el dispositivo o en entornos de borde con severas restricciones de memoria.

No obstante, persisten desafíos para el despliegue práctico del entrenamiento e inferencia FP4. Todavía se necesitan estrategias de precisión mixta para compensar la pérdida de precisión, políticas de cuantización específicas por capa y técnicas de optimización para garantizar la estabilidad del entrenamiento. Además, el rendimiento de rendimiento y eficiencia energética que ofrece FP4 en las GPU Blackwell en entornos de producción reales debe confirmarse mediante más pruebas comparativas. Aunque esta investigación ha mostrado que el entrenamiento FP4 es técnicamente viable, el trabajo de ingeniería para el despliegue comercial deberá avanzar por separado.

Nvidia comenzó a suministrar la arquitectura Blackwell a grandes proveedores de nube y clientes empresariales en la segunda mitad de 2024, y se espera una producción y un despliegue a gran escala a partir de 2025. El momento de la verificación del entrenamiento FP4 coincide con la fase inicial de despliegue de Blackwell, lo que refleja la maduración simultánea del rendimiento del hardware y la optimización del software. Una vez que las bibliotecas CUDA de Nvidia y el motor de inferencia TensorRT admitan oficialmente operaciones FP4, se espera que los desarrolladores puedan desplegar modelos FP4 sin kernels personalizados.

Las implicaciones económicas de la computación de baja precisión afectan directamente a las estructuras de costos de la infraestructura en la nube. Si la inferencia FP4 reduce el ancho de banda de memoria a una cuarta parte del de FP16, el mismo hardware puede gestionar más solicitudes concurrentes, aumentando la utilización de la GPU y reduciendo los costos por inferencia. En los servicios de modelos de lenguaje a gran escala, los costos de inferencia representan una parte sustancial de los gastos operativos totales, por lo que la cuantización FP4 puede afectar las estructuras de costos de los proveedores de servicios. Sin embargo, sigue siendo necesario cuantificar el impacto de la pérdida de precisión en la experiencia del usuario y equilibrarlo con el ahorro de costos.

En el ámbito académico, la cuantización FP4 se considera una nueva dirección para la investigación en compresión de modelos. La cuantización INT8 tradicional se basa en aritmética entera y no aprovecha el rango dinámico de la representación de punto flotante. FP4 incluye componentes de exponente y mantisa, lo que proporciona flexibilidad para representar valores extremadamente pequeños o grandes. Esto sugiere que, en capas donde las distribuciones de valores de activación son amplias, FP4 podría mantener una precisión mejor que INT8. Se espera que la investigación futura se centre en comparaciones de rendimiento por capa entre FP4 e INT8, estrategias de precisión mixta y mejoras en las técnicas de entrenamiento consciente de la cuantización.

El soporte FP4 de las GPU Blackwell también marca un punto de inflexión importante en la hoja de ruta de hardware de Nvidia. Aunque históricamente las GPU se optimizaban para operaciones FP32 y FP16, el reconocimiento de que las cargas de trabajo de IA pueden alcanzar un rendimiento suficiente con menor precisión ha desplazado el diseño de hardware hacia la aceleración de baja precisión. Los núcleos tensoriales de Blackwell admiten de forma nativa operaciones FP4, lo que significa que el rendimiento a nivel de hardware puede lograrse sin emulación de software. Este soporte de hardware es un factor que contribuye a que la cuantización FP4 pase de ser una técnica experimental a una opción desplegable en producción.

Es probable que esta investigación sirva como punto de referencia a medida que el ámbito académico y la industria trabajan para operacionalizar la computación de IA de ultra baja precisión. El hecho de que la cuantización FP4 sea aplicable a modelos importantes como las familias Llama aumenta la probabilidad de que más modelos fundacionales adopten el entrenamiento y la inferencia de baja precisión como una opción. Combinada con el soporte de hardware de las GPU Blackwell, FP4 podría convertirse en una de las tecnologías centrales de la infraestructura de IA de próxima generación. No obstante, la estabilidad en entornos de despliegue reales, las estrategias de mantenimiento de la precisión y la madurez del ecosistema de software determinarán la adopción generalizada de FP4.