廣告
輝達官方部落格：DeepSeek-R1已可在NVIDIA NIM使用
【記者李宜儒／台北報導】輝達官方部落格發文表示，為了幫助開發人員安全地試驗這些功能並建立自己的專用代理，擁有6,710億個參數的DeepSeek-R1模型現已作為NVIDIA NIM微服務預覽版上提供。
DeepSeek-R1 NIM微服務在單一NVIDIA HGX H200系統上每秒可傳送多達 3,872個令牌。
部落格指出，DeepSeek-R1是一個開放模型，具有最先進的推理能力。像 DeepSeek-R1 這樣的推理模型不是提供直接回應，而是對查詢執行多次推理，執行思維鏈、共識和搜尋方法來產生最佳答案。
部落格表示，執行這一系列推理過程（利用推理得出最佳答案）稱為測驗時間縮放。DeepSeek-R1是這種縮放定律的完美範例，展示了為什麼加速運算對於代理AI推理的需求至關重要。
由於允許模型迭代「思考」問題，它們會創建更多的輸出令牌和更長的生成週期，因此模型品質不斷擴大。大量的測試時計算對於實現即時推理和來自 DeepSeek-R1等推理模型的更高品質響應至關重要，需要更大規模的推理部署。
R1為需要邏輯推理、推理、數學、編碼和語言理解的任務提供領先的準確性，同時也提供高推理效率。
廣告
部落格表示，開發人員可以使用應用程式介面（API）進行測試和實驗，該介面預計很快就會作為可下載的NIM微服務提供，它是NVIDIA AI Enterprise軟體平台的一部分。
部落格表示，DeepSeek-R1 NIM微服務透過支援產業標準API簡化了部署，企業可以透過在其首選的加速運算基礎架構上運行NIM微服務來最大限度地提高安全性和資料隱私性。使用NVIDIA AI Foundry及NVIDIA NeMo軟體，企業也能夠為專門的 AI代理程式創建客製化的DeepSeek-R1 NIM微服務。
廣告
