NVIDIA宣布在台灣推出用於生成式AI的NIM微服務 加速部署主權AI應用
【記者蕭文康／台北報導】世界各國都在追求發展主權 AI，利用自己的運算基礎設施、資料、勞動力及商業網路來發展AI，以確保 AI 系統符合當地的價值觀、法律與利益。NVIDIA 今日宣布推出4款全新 NVIDIA NIM 微服務，用於利用台灣和日本當地語言資料訓練的大型語言模型（LLM）。這些NIM 微服務支持為當地需求量身打造的熱門社群模型，能讓開發者建置與部署符合在地語言和文化的高效能生成式 AI應用。
區域語言模型可以更深入瞭解當地法律、法規和其他習俗
根據 ABI Research 的資料顯示，光是在亞太地區，預計到 2030 年時，生成式AI 軟體的營收將從今年的 50 億美元成長到 480 億美元。使用日文資料訓練出的 Llama-3-Swallow-70B，以及用國語資料訓練出的 Llama-3-Taiwan-70B，都屬於區域語言模型，可以更深入瞭解當地法律、法規和其他習俗。
建立在 Mistral-7B 模型上的 RakutenAI 7B 系列模型，投入英文和日文資料集進行訓練，並且可以當成用於對談（Chat）和指令（Instruct）的兩種不同的NIM 微服務提供給外界使用。樂天（Rakuten）的基礎和和指令模型在開放的日文大型語言模型中取得亮眼成績，在 2024 年 1 月至 3 月進行的 LM Evaluation Harness 基準中，平均分數名列前茅。
使用一個地區的語言訓練大型語言模型（LLM），能夠更好地理解和反映文化與語言上的微妙之處，有助於確保進行更加精準細緻的溝通，創造出更有效果的輸出內容。
與 Llama 3 等基礎 LLM 相比，這些模型在理解日語和國語、處理當地法律任務、回答問題，以及語言翻譯和總結方面的表現相當優異。
從新加坡、阿拉伯聯合大公國、韓國和瑞典，再到法國、義大利和印度，世界各國均投注心力發展主權 AI 基礎設施。全新 NIM 微服務讓企業、政府機構和大學可以在自己的環境中託管原生 LLM，使得開發人員能夠開發先進的 AI 輔助功能（copilots）、聊天機器人和 AI 助理。
使用主權AI NIM微服務開發應用程式
開發人員可以輕鬆把包裝為 NIM 微服務的主權 AI 模型部署到生產環境，同時獲得更優異的效能表現。
NVIDIA AI Enterprise 提供的微服務，為利用 NVIDIA TensorRT-LLM 開源函式庫推論最佳化。適用於 Llama 3 70B 的 NIM 微服務可提供高達 5 倍的輸出量，而Llama 3 70B 正是全新 Llama-3-Swallow-70B 與 Llama-3-Taiwan-70B NIM 微服務的基礎模型。這麼一來可以降低在生產環境中運行模型的總成本，又能減少延遲，讓使用者享受更好的操作體驗。
廣告
東京工業大學使用日文資料微調 Llama-3-Swallow 70B
東京工業大學全球科學資訊與運算中心（Global Scientific Information and Computing Center）教授橫田理夫表示：「LLM 並不是為每一個人帶來同樣好處的機械式工具。它們是與人類文化和創意相互激盪所產出的智慧工具。這種影響是相互的，不僅我們投入的訓練資料會影響到模型，我們的文化和所產生的資料也會受到 LLM 的影響。開發出符合自身文化習俗的主權 AI 模型因此極度重要。Llama-3-Swallow 作為 NVIDIA NIM 微服務提供給外界使用，將能夠讓開發人員輕鬆存取和部署這個模型，用於日本各產業的應用。」
舉例來說，日本的 AI 公司 Preferred Networks 使用 Llama-3-Swallow 模型開發出一個專門用於醫療保健領域的模型，並且使用日本獨有的醫療資料語料庫來訓練它。這個名為 Llama3-Preferred-MedSwallow-70B的模型在日本國家醫師考試中拿下高分。
長庚、和碩及欣興利用國語資料訓練出的 Llama-3-Taiwan-70B
台灣領先醫療體系之一的長庚紀念醫院目前正在建置該院專屬的 AI推論服務（AIIS），以集中管理醫院體系內的所有 LLM 應用。長庚醫院使用 Llama 3-Taiwan 70B，提供患者能夠理解更細膩的醫療語言，提高第一線醫護人員的工作效率。
長庚紀念醫院醫療人工智能核心實驗室主任郭昶甫醫師表示：「即時提供適合情境的指導，以當地語言 LLM 建立的 AI 應用能夠簡化工作流程，並且當成持續學習的工具，作為支持員工發展與提昇病患照護品質。而NVIDIA NIM 的工具簡化了這些應用程序的開發，用最少的工程專業知識，輕鬆存取與部署以當地語言訓練的模型。」
台灣的電子設備製造商和碩聯合科技將採用 Llama 3-Taiwan 70B NIM 微服務來開發供內部及外部使用的應用。該公司已將這款微服務與旗下的 PEGAAi Agentic AI 系統進行整合，以達到流程自動化，提升製造與營運效率。
全球石化產品製造商長春集團、全球領先的印刷電路板公司欣興電子、科技媒體公司科技報橘、線上合約服務公司律果科技，以及生成式 AI 新創APMIC 同樣正在使用 Llama-3-Taiwan 70B NIM。這些公司也在開放模型上進行合作。
利用 NVIDIA AI Foundry 為企業量身打造模型
雖然區域性 AI 模型可以提供文化上的細微差異與在地化的回應內容，企業還是要針對其業務流程與領域專業知識進行微調。
NVIDIA AI Foundry是一個平台與服務，其中包括各式常用的基礎模型、用於微調的 NVIDIA NeMo，以及 NVIDIA DGX Cloud 上的專用容量，為開發人員提供完整堆疊解決方案，以建立包裝為 NIM 微服務的客製化基礎模型。
除此之外，使用 NVIDIA AI Foundry 的開發人員同樣可以使用 NVIDIA AI Enterprise 軟體平台，為生產環境部署作業提供安全性、穩定性與支援。
NVIDIA AI Foundry 為開發人員提供必要工具，幫助他們更便捷地建置與部署自身的客製化區域語言 NIM 微服務，以支援各種 AI 應用，確保為使用者提供符合各地文化與語言使用習慣的結果。
