黃仁勳開講4|發表新軟體NVIDIA AI IQ 類人機器人成下個數兆美元產業
【記者蕭文康/台北報導】NVIDIA執行長黃仁勳今天在演講中提到最新軟體儲存發展方面有NVIDIA AI IQ,簡稱IQ,同時也再度介紹機器人,不僅與 DeepMind及迪士尼研究院合作共同開發世界上最先進的物理引擎,也宣布Jetson 4剛開始量產、是一款出色的機器人處理器,他並預期「類人機器人很可能成為下一個數兆美元產業」。

新的儲存系統也就是NVIDIA AI IQ,簡稱IQ
人工智慧想要查詢非結構化資料,他們需要語意,需要意義。因此,我們必須創造一種全新的儲存管線,這就是NVIDIA AI資料管線。正如SQL伺服器、SQL軟體以及存儲供應商的檔案存儲軟體,在儲存系統中存在一層非常複雜的軟體,多數儲存公司本質上都是軟體公司,這層軟體極其複雜。因此,在一種新的儲存系統之上,將會有一種新的查詢系統,也就是NVIDIA AI IQ,簡稱IQ。
黃仁勳強調,這是最先進的技術,非常出色。NVIDIA正在與儲存產業的幾乎所有廠商合作,您未來的儲存設備將不再是CPU置於儲存機櫃上,而是GPU置於儲存機櫃上。原因在於您需要一個系統來嵌入並理解非結構化原始資料的意義。您必須建立索引、執行搜尋並進行排序。這個過程非常需要大量運算能力。因此,未來大多數儲存伺服器都將前置一顆GPU。
這套系統基於NVIDIA所建立的模型,幾乎即將展示的所有內容都從優良的AI模型開始。NVIDIA創建AI模型,並投入大量能量和技術對開放AI模型進行後訓練。NVIDIA使用對您完全公開透明、安全且無虞的資料來對這些模型進行後訓練。NVIDIA完全透明地公開這些訓練資料,讓您得以看到,經過後訓練的模型表現非常驚人。
目前可下載的開源推理模型Raman-Demon-Tron是全球最佳的推理模型,下載量非常龐大。同時,NVIDIA還配合其他多款AI模型,讓您可以進行所謂的IQ查詢,也就是檢索部分。它的速度比市面上已有的快15倍,結果準確度提升50%。這些模型與開源的IQ藍圖皆可供使用。我們也與儲存產業合作,將這些模型整合進他們的儲存堆疊與AI內容中。
黃仁勳說,這就是VAST,這是它的樣貌,他不打算深入細節,只想讓大家感受到整合進平台中的AI模型氣息。Agentic AI改變了企業使用資料做決策的方式。在短短3天內,VAST使用NVIDIA IQ藍圖及其加速的AI資料平台,打造了一套銷售研究AI代理,利用Nemo Retriever,這平台持續萃取、嵌入與索引資料,實現快速的語意搜尋。
首先,該代理編寫大綱,接著調用CRM系統、多模態知識庫與內部工具。最終使用Lama Nemotron將大綱轉化為逐步銷售計劃,過去需費時數天的銷售規劃,現在從AI提示開始,幾分鐘內即可完成計劃。憑藉VAST的加速AI資料平台,各組織能為每位員工打造專屬的智能代理。
黃仁勳強調這就是VAST,他們是頂尖的AI平台之一,也是全球領先的支援廠商。日立擁有優秀的AI資料平台,IBM使用NVIDIA Nemo建構AI資料平台,NetApp也正在打造AI平台。正如您所見,這些平台都向您開放。如果您要打造具備語意查詢功能的AI平台,AI的重要性不言而喻,而NVIDIA Nemo則是全球最佳選擇。
接下來是新一層軟體稱為AIOps。正如供應鏈有自己的運營系統,人力資源有他們的運營系統,未來IT部門也將擁有AIOps。他們將負責整理資料、微調模型、評估模型、監控護衛模型以及保障模型安全。我們擁有大量必要的函式庫與模型,可整合進AIOps生態系統。我們也有優秀合作夥伴協助推進商業化,包括CrowdStrike、DataIQ、DataRobots等。
這些都是AI運營系統,用來微調模型並部署代理AI及企業應用模型。整個機制中,隨處可見NVIDIA的函式庫和模型。您可以看到DataRobots、DataStax、Elastic(聽說他們的下載次數高達4000億次)、Nutanix、Red Hat、以及台灣的Trend Micro,我想剛才好像有看到您,好久不見。還有Weights and Biases。
黃仁勳說,我們如何將這個世界帶進企業IT,賦予企業IT加入AI的能力,您不會輕易拆除整個企業IT組織,因為公司必須持續運作,但我們可以把AI加入其中。現在,我們擁有企業級的系統和強大的生態夥伴,他想剛才好像看到了Jeff。傑夫·克拉克(Jeff Clark),他跟我一樣來台灣很長時間了,也一直為我們工作,我們的生態夥伴像Dell等,會將這些平台帶進全球企業的IT領域。

與 DeepMind及迪士尼研究院合作共同開發世界上最先進的物理引擎
黃仁勳再度談到機器人,所謂代理AI、Agentic AI、AI代理,說法不一,但本質上都是數位機器人。原因在於機器人能感知、理解並撰寫,這正是代理的功能。我們也希望打造實體機器人,在實體世界中,學習成為機器人無法有效地進行,必須創造一個虛擬世界,讓機器人能學習如何成為一個優秀的機器人,這個虛擬世界必須遵守物理定律,然而,大多數物理引擎無法以高度忠實度處理硬體與軟體的模擬。
因此,我們與 DeepMind(Google DeepMind)及迪士尼研究院合作,共同開發了 MUTI—世界上最先進的物理引擎,該引擎將於7月開源。它能做的事情令人難以置信,完全由 GPU 加速,具備可微分特性,因此你可以從實驗中學習。更重要的是,它擁有極高的精確度,並且能夠即時運行。
這個新引擎已經整合到 Mojoko 以及 NVIDIA 的 Isaac 系統中,因此不論你使用哪種模擬環境或框架,都能輕鬆使用,「有了它,我們可以讓機器人賦予生命。誰不想要這樣的東西呢?我當然想」。
想像那些小機器人,在家裡滿屋跑,追逐你的狗兒,那會多麼有趣!這裡你看到的並不是動畫,而是模擬。機器人在沙地和泥土上滑行、跌倒,這一切都是真實的模擬。機器人的軟體正在模擬中運行,這不是動畫,而是真正的模擬。

今年會在全球部署使用NVIDIA完整的自駕車技術堆疊的賓士車
我們將其放進這個虛擬機器人裡,讓它學習如何成為真正的機器人。現在,我們正致力於一些簡單的模擬任務來幫助機器人學習,我們一直在研發一個名為自駕車的概念,Chase Lee 有一套新的系統,它是一個創建 AI 模型的系統,接著用 Omniverse 來模擬這些 AI 模型,完成後把模型放入自駕車中。今年,我們會在全球部署使用我們完整的自駕車技術堆疊的賓士車。
我們打造了整套技術堆疊,市場策略在任何地方都一樣:我們開放整個堆疊,合作夥伴可以自由選擇使用我們的計算資源、函式庫,甚至筆電,根據自己的需求靈活運用。因為存在多種不同的工程團隊、風格與能力,我們希望盡可能地降低使用我們技術的門檻。黃仁勳笑說,「我希望你能買全部的產品,但至少也請買一樣,這樣就很實際了」。
Jetson 4剛開始量產、是一款出色的機器人處理器
在機器人系統方面,NVIDIA採取的策略和汽車一樣,這是我們的 Isaac Group 平台,模擬環境完全相同,都是 Omniversal,訓練系統也是一致的,當模型訓練完成後,會被放入 Isaac Group 平台中。Isaac Group 平台從一台全新的電腦 Jetson 4 開始,該產品剛開始量產,它是一款出色的機器人處理器,等同於自駕車的核心處理器,可以用於人形或機器人系統。
其上運行的作業系統是我們所稱的 NVIDIA Isaac,負責所有神經網絡處理、感測器資料管線和執行器的控制輸出。此外,我們預先訓練了大量機器人模型,並提供製作這些模型的所有必要工具,且資源豐富。
黃仁勳宣布 Isaac Group N1.5 已經開源,對全球開放使用,目前已被下載 6000 次,受到社群極高的關注和讚賞。在建立模型之外,NVIDIA也公開了模型建立的方式,機器人或整個 AI 領域最大的挑戰,是如何制定有效的資料策略。這方面牽涉大量研究及技術。
對於機器人來說,類似於人類示範教學,或教練指導運動員,NVIDIA透過遠端操作示範任務給機器人看,機器人及 AI 能從這些示範中進行歸納與泛化,並運用其他技術進一步學習。那麼,如果要教機器人多種技能,該有多少不同的遠端操作人員呢?結果數量相當龐大。
所以,NVIDIA決定使用 AI 來擴大人類示範系統的效果,這基本上是從真實操作到真實操作,利用 AI 幫助擴充和放大示範期間所收集的數據量。泛用機器人的時代已經來臨,這得益於機電整合、物理 AI 以及嵌入式運算領域的突破。
他說,正值全球產業成長受限於勞動力短缺之際,機器人製造商面臨的一大挑戰是缺乏大量真實與合成數據來訓練模型,人類示範無法大規模擴展,受限於每天的可用時間,開發者可以利用NVIDIA Cosmos物理人工智慧世界基礎模型來擴增數據。
GroupDreams 是建立在Cosmos上的藍圖,用於大規模合成軌跡數據生成,實現真實到真實的數據工作流程。首先,開發者利用單一任務、單一環境中透過遙控操作錄製的人類示範,對Cosmos進行微調。接著,他們使用圖片和新的指令提示模型生成「夢境」或未來世界狀態。Cosmos屬於生成模型,開發者可以用新的行動詞彙提示,而無需捕捉新的遙控數據。
當生成大量夢境後,Cosmos會推理並評估每個夢境的品質,挑選最佳用於訓練。但這些夢境仍只是像素圖像,機器人需要從行動中學習。GroupDreams 藍圖能將二維夢境影片轉換成三維行動軌跡,並用於訓練機器人模型。
GroupDreams 讓機器人以最少的手動示範學習大量新動作,因此一小隊的人類示範者即可完成數千人的工作。這使開發者更接近解決機器人數據挑戰。合成數據生成、機器人技術、大量合成數據、技能學習、微調、強化學習以及巨量運算需求,構成了這個時代的基礎。正如前面提到,全球面臨嚴重數據短缺。

類人機器人很可能成為下一個數兆美元產業
而類人機器人之所以如此重要,是因為它是唯一能幾乎在全球任何地方部署的機器人形式。它不需從新土地開始建構,可以融入我們已創造的世界,完成適合我們的任務。我們為自己打造了這個世界,現在能創造符合這個世界的機器人來協助我們。
類人機器人的驚人之處,不僅在於一旦成功,具有高度多功能性,更可能是唯一能成功運作的機器人,原因就在於技術的規模效應。我們迄今見過的大多數機器人系統都是低量產,這些低量產系統無法達到足夠的技術規模,以加速轉動飛輪效應,使得技術投入足以不斷改善產品。
然而,類人機器人很可能成為下一個數兆美元產業,技術創新速度驚人,但對計算和資料中心的需求也極為龐大。而這種應用需要3台電腦:一台用於AI學習,一台作為模擬引擎讓AI在虛擬環境中學習如何成為機器人,第三台則用於部署。凡是能動的設備都將是機器人。
當我們將這些機器人引入工廠時,記住工廠本身也具機器人特性。現今的工廠極其複雜。這是台達電子的生產線,他們正為機器人未來做準備。工廠已具備機器人化與軟體相容性,未來將有機器人在此工作。
為了創造能以群體協作的方式在機器人化工廠中運作的機器人群,我們必須使用Omniverse讓其學習如何合作。這些數位雙生(Digital Twin)技術包括機器人的數位雙生、所有設備的數位雙生,甚至整個工廠的數位雙生。這些相互嵌套的數位雙生,是Omniverse可實現的。
台廠包括台達電、和碩、鴻海、技嘉、廣達及台積電均打造數位雙生
黃仁勳介紹台達電子的數位雙生及緯穎的數位雙生。他說,如果仔細看,會以為是照片,但它們都是數位雙生模擬圖,畫面美麗逼真,另還有和碩、鴻海、技嘉、廣達及緯創,台積電也正在打造下一座晶圓廠的數位雙生。
目前全球正規劃逾5兆美元的新廠房,未來3年內將有5兆美元的新廠建設,因為世界正在重塑,重新工業化在全球加速推進,新的工廠遍地開花,這是我們確保他們高效且按時完成建造的巨大機會,而數位雙生則是準備長遠未來的絕佳第一步。
事實上,這5兆美元的工廠建設還沒包含我們正在打造的新型工廠,甚至舊工廠也被轉化為數位雙生,這是NVIDIA用於數位雙生的AI工廠,高雄即是數位雙生範例,他們已打造高雄的數位雙生,目前已有成千上萬的建築以及數百萬英里的道路被納入,證明高雄是數位雙生之一。
黃仁勳說,讓我們來看看這一切,台灣正引領軟體定義製造。台積電、鴻海等群體公司為製程每一步開發NVIDIA Omniverse的數位雙生技術。其中,台積電與MedAI合作,從2D CAD生成整個晶圓廠的3D佈局,並在CUA上開發AI工具,可模擬和優化跨多層複雜的配管系統,節省數月時間。廣達、群創和和碩則在實體建設前,在虛擬環境中規劃新廠房和產線,透過減少停機時間節省數百萬成本。和碩還模擬了錫膏塗佈流程,以降低生產缺陷率。
使用 Cadence Reality 數位孿生測試資料中心。各家公司利用其數位孿生作為機器人訓練場,開發、訓練、測試及模擬實體 AI 機器人。無論是操作手臂、自動移動機器人 (AMR)、人形機器人,還是執行任務的視覺 AI 代理,或是作為多元機隊協同工作。
當數位孿生透過物聯網連接至實體孿生時,每個數位孿生都成為即時互動的儀表板,和碩利用 NVIDIA Metropolis 建立 AI 代理,協助員工學習複雜技術。台灣甚至將數位孿生應用於城市,LinkerVision 與高雄市合作,使用數位孿生模擬不可預測情境的影響,並建立監控城市攝影機串流的代理,能即時向第一線救援人員發出警報。
工業 AI 的時代已經來臨,由台灣的科技領導者開創,並由 Omniverse 技術驅動。黃仁勳說他的整場主題演講「就是你們的成果,實在太傑出了」。理所當然,台灣位於全球最先進產業的中心,是 AI 與機器人技術發源的震央,這對台灣來說是前所未有的絕佳機遇,台灣也是全世界最大的電子製造地區,因此 AI 與機器人技術勢必徹底改變我們所做的一切。
黃仁勳強調,這真是非常非凡的事情,你們的工作在歷史上首次徹底革新了各行各業,現在這股變革也將回饋並改造你們自身的產業。一開始他提到「 GeForce 將 AI 帶向世界,而 AI 也回過頭來改變了 GeForce,。你們將 AI 帶給世界,AI 也將回來改變你們所做的一切」。