Les recherches sur les GPU Nvidia Blackwell rapportent des résultats d’entraînement en FP4 alors que les familles de modèles Llama entrent dans les travaux sur la quantification

Les GPU de l’architecture Blackwell de nouvelle génération de Nvidia ont été utilisés pour vérifier des résultats d’entraînement en virgule flottante 4 bits (FP4), selon un nouvel article de recherche. L’article examine une analyse de sensibilité couche par couche et bloc par bloc pour l’inférence en FP4 et rapporte des résultats d’entraînement en FP4 obtenus avec des GPU Nvidia Blackwell. Des familles de modèles fondamentaux telles que Llama 2 et Llama 3 sont mentionnées dans le contexte plus large de la quantification FP4, ce qui suggère que le calcul en très faible précision pourrait devenir applicable aux opérations de grands modèles de langage à grande échelle.

L’architecture Blackwell est la plateforme GPU de centre de données de nouvelle génération de Nvidia, dévoilée en 2024, et elle est conçue pour améliorer les performances d’entraînement et d’inférence de l’IA par rapport à l’architecture Hopper précédente. Blackwell est spécifiquement conçue pour prendre en charge au niveau matériel des opérations à faible précision telles que FP4 et FP6, et cette recherche est présentée comme un cas montrant que ces capacités peuvent être utilisées dans des charges de travail d’entraînement réelles. FP4 peut réduire l’utilisation de la mémoire et le coût de calcul par rapport à FP16 ou INT8, et peut jouer un rôle dans la réduction des coûts de déploiement et d’inférence pour les modèles à grande échelle.

Llama 2 et Llama 3 sont des grands modèles de langage à poids ouverts publiés par Meta, contenant chacun des dizaines à des centaines de milliards de paramètres. Ces modèles sont fréquemment utilisés comme références standard pour la recherche sur la quantification dans le milieu universitaire et l’industrie, et ils se prêtent bien à l’évaluation de l’impact d’une réduction extrême de la précision, comme FP4, sur les performances du modèle. L’inclusion des familles Llama dans le contexte de la quantification FP4 indique que l’équipe de recherche a cherché à examiner la faisabilité de l’entraînement et de l’inférence en faible précision sur des architectures de modèles largement utilisées dans des environnements de production.

La quantification FP4 est une technique qui représente les poids du modèle et les valeurs d’activation au format virgule flottante 4 bits. Par rapport à FP16 ou BF16, elle peut réduire les besoins en bande passante mémoire d’un facteur quatre, offrant des avantages directs pour augmenter le débit d’inférence et la taille des lots. Toutefois, la perte de précision peut dégrader l’exactitude du modèle, ce qui rend importante l’analyse de sensibilité couche par couche et bloc par bloc. Cette recherche semble présenter une méthodologie permettant de diagnostiquer quelles couches sont sensibles à la quantification FP4 et quels blocs sont essentiels au maintien de la précision.

La vérification de l’entraînement en FP4 sur des GPU Blackwell constitue un point de référence notable pour les fabricants de matériel comme pour les développeurs de modèles. Nvidia a doté l’architecture Blackwell de cœurs tensoriels dédiés qui accélèrent les opérations à faible précision, et cette recherche montre que le matériel peut exécuter des calculs FP4 dans de véritables charges de travail d’entraînement. Cela fournit une base permettant aux fournisseurs de services cloud et aux opérateurs d’infrastructure d’IA d’envisager l’entraînement et l’inférence en FP4 comme une option lors de la construction de clusters fondés sur Blackwell.

La recherche sur la quantification FP4 appliquée aux familles de modèles Llama devrait également influencer l’écosystème à poids ouverts. Meta a publié les modèles Llama sous forme de poids ouverts, favorisant la recherche et l’usage commercial, et si la quantification FP4 est validée, les développeurs de la communauté pourraient être en mesure de déployer des modèles à grande échelle à moindre coût. En particulier, les modèles FP4 ouvrent la possibilité d’exécuter des modèles de langage haute performance en inférence sur appareil ou dans des environnements de périphérie soumis à de fortes contraintes de mémoire.

Cependant, des défis subsistent pour le déploiement pratique de l’entraînement et de l’inférence en FP4. Des stratégies de précision mixte pour compenser la perte de précision, des politiques de quantification spécifiques à chaque couche et des techniques d’optimisation visant à assurer la stabilité de l’entraînement restent nécessaires. En outre, le débit et l’efficacité énergétique que les performances FP4 des GPU Blackwell apportent dans des environnements de production réels doivent être confirmés par d’autres benchmarks. Bien que cette recherche ait montré que l’entraînement en FP4 est techniquement faisable, le travail d’ingénierie nécessaire au déploiement commercial devra progresser séparément.

Nvidia a commencé à fournir l’architecture Blackwell à de grands fournisseurs de cloud et à des clients d’entreprise au second semestre 2024, avec une production et un déploiement à grande échelle attendus à partir de 2025. Le calendrier de la vérification de l’entraînement en FP4 coïncide avec la phase initiale de déploiement de Blackwell, reflétant la maturation simultanée des performances matérielles et de l’optimisation logicielle. Une fois que les bibliothèques CUDA de Nvidia et le moteur d’inférence TensorRT prendront officiellement en charge les opérations FP4, les développeurs devraient pouvoir déployer des modèles FP4 sans noyaux personnalisés.

Les implications économiques du calcul en faible précision affectent directement les structures de coûts de l’infrastructure cloud. Si l’inférence en FP4 réduit la bande passante mémoire à un quart de celle de FP16, le même matériel peut traiter davantage de requêtes simultanées, augmentant l’utilisation des GPU et réduisant les coûts par inférence. Dans les services de grands modèles de langage, les coûts d’inférence représentent une part substantielle des dépenses d’exploitation totales, de sorte que la quantification FP4 peut influencer les structures de coûts des fournisseurs de services. Toutefois, il reste nécessaire de quantifier l’impact de la perte de précision sur l’expérience utilisateur et de l’équilibrer avec les économies de coûts.

Dans le milieu universitaire, la quantification FP4 est considérée comme offrant une nouvelle orientation à la recherche sur la compression des modèles. La quantification INT8 traditionnelle repose sur l’arithmétique entière et n’exploite pas la plage dynamique de la représentation en virgule flottante. FP4 comprend à la fois des composantes d’exposant et de mantisse, offrant une flexibilité pour représenter des valeurs extrêmement petites ou grandes. Cela suggère que, dans les couches où les distributions des valeurs d’activation sont larges, FP4 peut maintenir une meilleure précision qu’INT8. Les recherches futures devraient se concentrer sur les comparaisons de performances couche par couche entre FP4 et INT8, les stratégies de précision mixte et les améliorations des techniques d’entraînement conscient de la quantification.

La prise en charge de FP4 par les GPU Blackwell marque également un tournant important dans la feuille de route matérielle de Nvidia. Alors que les GPU étaient historiquement optimisés pour les opérations FP32 et FP16, la reconnaissance du fait que les charges de travail d’IA peuvent atteindre des performances suffisantes à une précision plus faible a orienté la conception matérielle vers l’accélération à faible précision. Les cœurs tensoriels de Blackwell prennent en charge nativement les opérations FP4, ce qui signifie qu’il est possible d’obtenir des performances au niveau matériel sans émulation logicielle. Cette prise en charge matérielle est un facteur qui fait passer la quantification FP4 d’une technique expérimentale à une option déployable en production.

Cette recherche devrait servir de point de référence à mesure que le milieu universitaire et l’industrie travaillent à l’industrialisation du calcul d’IA en très faible précision. Le fait que la quantification FP4 soit applicable à des modèles majeurs tels que les familles Llama accroît la probabilité que davantage de modèles fondamentaux adoptent l’entraînement et l’inférence en faible précision comme option. Associée à la prise en charge matérielle des GPU Blackwell, FP4 pourrait devenir l’une des technologies centrales de l’infrastructure d’IA de nouvelle génération. Toutefois, la stabilité dans les environnements de déploiement réels, les stratégies de maintien de la précision et la maturité de l’écosystème logiciel détermineront l’adoption généralisée de FP4.