Nvidia 新一代 Blackwell 架構 GPU 已被用於驗證 4 位元浮點數（FP4）精度訓練結果，這是根據一篇新的研究論文所述。該論文檢視了 FP4 推理的逐層與逐區塊敏感度分析，並報告了使用 Nvidia Blackwell GPU 的 FP4 訓練結果。Llama 2 與 Llama 3 等基礎模型家族被提及於更廣泛的 FP4 量化脈絡之中，顯示超低精度運算可能逐步適用於大規模語言模型作業。
Blackwell 架構是 Nvidia 於 2024 年推出的新一代資料中心 GPU 平台，設計目標是相較前一代 Hopper 架構提升 AI 訓練與推理效能。Blackwell 特別在硬體層級支援 FP4 與 FP6 等低精度運算，而這項研究被視為一個案例，說明這些能力可用於實際訓練工作負載。與 FP16 或 INT8 相比，FP4 可降低記憶體使用量與運算成本，並可能在大型模型的部署與推理成本下降方面發揮作用。
Llama 2 與 Llama 3 是 Meta 發布的開放權重大型語言模型，各自包含數百億至數千億級別的參數。這些模型在學界與產業界經常被用作量化研究的標準基準，適合評估 FP4 這類極端精度縮減對模型表現的影響。此次研究將 Llama 家族納入 FP4 量化脈絡，顯示研究團隊希望檢視在生產環境中廣泛使用的模型架構上，低精度訓練與推理的可行性。
FP4 量化是一種將模型權重與激活值以 4 位元浮點格式表示的技術。與 FP16 或 BF16 相比，它可將記憶體頻寬需求降低四分之一，對提升推理吞吐量與批次大小具有直接效益。然而，精度損失可能降低模型準確度，因此逐層與逐區塊敏感度分析十分重要。這項研究似乎提出了一種方法，用以診斷哪些層對 FP4 量化較為敏感，以及哪些區塊對維持精度至關重要。
在 Blackwell GPU 上驗證 FP4 訓練，對硬體製造商與模型開發者而言都是一個重要參考點。Nvidia 為 Blackwell 架構配置了專用 Tensor Core，以加速低精度運算，而這項研究顯示該硬體能在實際訓練工作負載中執行 FP4 計算。這為雲端服務供應商與 AI 基礎設施營運者在建置 Blackwell 基礎叢集時，將 FP4 訓練與推理納入選項提供了依據。
針對 Llama 模型家族的 FP4 量化研究，也預期將影響開放權重生態系。Meta 以開放權重形式發布 Llama 模型，鼓勵研究與商業用途；若 FP4 量化獲得驗證，社群開發者或可更低成本部署大規模模型。尤其是在裝置端推理或邊緣環境中，FP4 模型為在記憶體限制嚴格的場景下執行高效能語言模型提供了可能性。
然而，FP4 訓練與推理的實際部署仍面臨挑戰。為彌補精度損失而採用的混合精度策略、依層制定的量化政策，以及確保訓練穩定性的最佳化技術，仍有待進一步發展。此外，Blackwell GPU 所提供的 FP4 效能在實際生產環境中的吞吐量與能源效率，也需要透過更多基準測試加以確認。雖然這項研究已顯示 FP4 訓練在技術上可行，但商業部署所需的工程工作仍須另行推進。
Nvidia 自 2024 年下半年開始向主要雲端供應商與企業客戶供應 Blackwell 架構，預計自 2025 年起進入全面量產與部署階段。FP4 訓練驗證公開的時間點，與 Blackwell 的早期部署階段相互重疊，反映硬體效能與軟體最佳化正同步成熟。若 Nvidia 的 CUDA 函式庫與 TensorRT 推理引擎正式支援 FP4 運算，開發者預期可在不使用自訂 kernel 的情況下部署 FP4 模型。
低精度運算的經濟意涵直接影響雲端基礎設施的成本結構。若 FP4 推理可將記憶體頻寬需求降至 FP16 的四分之一，同一套硬體便可處理更多並發請求，進而提高 GPU 使用率並降低單次推理成本。對大型語言模型服務而言，推理成本占總營運支出的相當比重，因此 FP4 量化可能影響服務供應商的成本結構。不過，仍需量化準確度損失對使用者體驗的影響，並在成本節省與體驗之間取得平衡。
在學術界，FP4 量化被視為模型壓縮研究的新方向。傳統 INT8 量化依賴整數運算，未能利用浮點表示的動態範圍。FP4 同時包含指數與尾數成分，因而具備表示極小或極大數值的彈性。這意味著在激活值分布較寬的層中，FP4 可能比 INT8 維持更佳準確度。未來研究預期將聚焦於 FP4 與 INT8 的逐層效能比較、混合精度策略，以及量化感知訓練技術的改進。
Blackwell GPU 對 FP4 的支援，也標誌著 Nvidia 硬體路線圖上的一個重要轉折點。過去 GPU 主要針對 FP32 與 FP16 運算進行最佳化，但隨著 AI 工作負載可在更低精度下達到足夠效能的認知逐漸形成，硬體設計已轉向低精度加速。Blackwell 的 Tensor Core 原生支援 FP4 運算，意味著可在硬體層級直接實現效能，而無須依賴軟體模擬。這項硬體支援，是將 FP4 量化從實驗性技術推進為可供生產部署選項的重要因素。
這項研究很可能成為學界與產業界推動超低精度 AI 運算實用化時的參考點。FP4 量化可適用於 Llama 家族等主要模型，這一事實提高了更多基礎模型採用低精度訓練與推理選項的可能性。若再結合 Blackwell GPU 的硬體支援，FP4 有望成為下一代 AI 基礎設施的核心技術之一。不過，實際部署環境中的穩定性、準確度維持策略，以及軟體生態系的成熟度，將決定 FP4 是否能被廣泛採用。
