NVIDIA 近日推出 Nemotron 3 Ultra，這是一款旨在提升長時間運行代理系統推理表現的模型。該模型採用混合專家（Mixture-of-Experts, MoE）架構，總參數量為 5500 億，其中 550 億參數會在推理期間啟用。根據 NVIDIA 官方開發者部落格，該模型專為長時間運行代理中的推理與協調任務而設計。
混合專家架構在推理時僅啟用總參數中的一部分，這有助於提升速度並降低運算成本。NVIDIA 表示，Nemotron 3 Ultra 的吞吐量較同級其他開放模型高出五倍。該公司亦表示，該模型可將代理任務成本最多降低 30%。這些數據之所以重要，是因為長時間運行代理會反覆執行推理與決策步驟，使單次推理的成本與速度成為整體營運效率的重要因素。
長時間運行代理是超越單次問答互動的系統。此類系統會將複雜任務拆分為多個步驟，並在每個階段利用推理結果決定後續行動。在客戶支援、研究協助與軟體開發自動化等領域，代理可能執行數十至數百次推理呼叫。在這類環境中，單次推理的速度與成本會影響整體系統的回應能力與營運效率。Nemotron 3 Ultra 即是針對這些需求而設計。
NVIDIA 一直透過 Nemotron 系列支援企業級生成式 AI 工作負載。早期版本主要聚焦於文字生成、摘要與分類等任務。然而，Nemotron 3 Ultra 轉向更複雜的代理協調領域。協調涉及多種工具、API 與資料來源的整合，並將每一步的輸出連接到下一步的輸入。這需要超越文字生成的能力，包括規劃、狀態追蹤與錯誤處理。
混合專家架構近來在大型語言模型開發中受到關注。雖然總參數量龐大，但推理時僅啟用部分專家模組，從而降低運算負載。這種方法可在維持模型表達能力的同時，降低推理成本。以 Nemotron 3 Ultra 而言，在 5500 億參數中僅有 550 億參數啟用，理論上可在接近 550 億參數模型的推理成本下，提供更高效能。
NVIDIA 所提及的五倍吞吐量提升與 30% 成本降低，係以同級其他開放模型作為比較基準。然而，現有資訊並未詳細說明具體的基準測試條件、比較對象與測量方法。實際生產環境中的表現，可能因任務類型、基礎設施配置、批次大小及其他因素而有所不同。開發者與企業應以自身工作負載進行效能驗證。
代理系統的經濟性並不僅由模型推理成本決定。代理所呼叫的外部 API 成本、資料儲存與傳輸成本，以及基礎設施營運成本，也都必須納入考量。可靠性與準確性同樣是重要因素。若代理頻繁做出不正確決策並需要重試，即使推理速度更快，整體成本仍可能改變。因此，Nemotron 3 Ultra 的價值應結合推理品質與穩定性，以及速度與成本一併評估。
NVIDIA 在開發 Nemotron 系列時，也考慮與其 GPU 基礎設施整合。Nemotron 3 Ultra 可能與 NVIDIA 的推理最佳化技術結合。例如，TensorRT-LLM 與 Triton Inference Server 等工具，可能帶來額外的效能提升。對於使用 NVIDIA 硬體的企業而言，這可作為整合式解決方案帶來一定優勢，但在其他硬體平台上的表現則需要另行驗證。
長時間運行代理市場仍處於早期階段，但正在成長。代理系統已被部署於客戶支援自動化、研究協助、軟體開發工具與資料分析等領域。這些系統並非執行單一任務，而是透過多步驟決策達成複雜目標。因此，推理效率與成本結構是影響代理系統商業可行性的關鍵因素。
Nemotron 3 Ultra 的發布顯示 NVIDIA 正在瞄準代理系統市場。相較於通用語言模型，該公司透過提供專為代理協調設計的模型，意在支援特定工作負載。這也呼應了更廣泛的產業趨勢，即模型開發正從通用能力轉向任務導向的最佳化。
然而，僅憑目前可得資訊，仍無法完整評估該模型的實際表現與營運穩定性。在能夠判定其實際價值之前，仍需要基準測試結果、真實世界使用案例與社群回饋等資訊。與開放模型比較時，授權條款、部署限制與客製化可能性等因素也應一併考量。
