黃仁勳:AI發展下一波浪潮是機器人  輝達加速推動開發人形機器人

財經 科技新知
2024/07/30 12:12
克里夫 文章

【記者蕭文康/台北報導】為了加速推動全球人形機器人的開發,NVIDIA 今日宣布將為全球領先的機器人製造商、人工智慧(AI)模型開發商和軟體製造商提供一整套服務、模型和運算平台,用以開發、訓練和製造下一代人形機器人。在上市時程方面,NVIDIA指開發人員現在就可以加入NVIDIA 人形機器人開發者計畫,取得 NVIDIA OSMO 與 Isaac Lab,並也即將能使用NVIDIA NIM微服務。

NVIDIA指出開發人員可以使用 Apple Vision Pro 遠端操作機器人,以擷取示範內容。公司提供
NVIDIA指出開發人員可以使用 Apple Vision Pro 遠端操作機器人,以擷取示範內容。公司提供
分享 加入好友

黃仁勳:AI發展下一波浪潮便是機器人

NVIDIA創辦人暨執行長黃仁勳台灣時間今天凌晨在SIGGRAPH電腦繪圖大會上參與兩場爐邊對談,討論 NVIDIA 的加速運算平台如何支援不論是虛擬或實體的各種工作負載。

黃仁勳首先與《連線》資深主筆Lauren Goode討論了NVIDIA 在繪圖研究方面的基礎如何支持該公司開發軟體基礎設施,使研究人員、開發人員和創作者能夠無縫部署AI。黃仁勳與 Meta 創辦人兼執行長馬克.薩克柏(Mark Zuckerberg)則進行了難得的公開對話,討論研究如何實現AI突破以及生成式AI在建立虛擬世界中的角色。

其中,在人形機器人方面,包括用於機器人模擬與學習的全新NVIDIA NIM™ 微服務與框架、用於運行多階機器人工作負載的 NVIDIA OSMO 協調服務,以及支援 AI 與模擬的遠端操作工作流程,開發人員只要使用少量的人類示範資料便能訓練機器人。

黃仁勳對此表示:「AI 領域發展的下一波浪潮便是機器人,而人形機器人是其中最令人期待的發展。我們將推動整個 NVIDIA 機器人堆疊,開放全球人形機器人開發人員與公司使用最適合其需求的平台、加速函式庫與 AI 模型。」

利用NVIDIA NIM和OSMO加速開發

NIM 微服務提供預先建置、由 NVIDIA 推論軟體驅動的容器,讓開發人員可以將部署時間從原本需要的數週縮短到只要幾分鐘即可完成。兩項全新的 AI 微服務將可讓機器人專家在 NVIDIA Isaac Sim™ 中,強化生成式物理 AI 的模擬工作流程,而 NVIDIA Isaac Sim™ 是建構在 NVIDIA Omniverse™ 平台上的機器人模擬參考應用程式。

MimicGen NIM 可根據來自 Apple Vision Pro 等空間運算裝置記錄下的遠距操作資料,產生合成運動資料。Robocasa NIM 可在 OpenUSD 中產生機器人任務與模擬就緒的環境,而 OpenUSD 是用於在 3D 世界中進行開發與協作的通用框架。

現已開放使用的NVIDIA OSMO是一項雲端原生託管式服務,可讓使用者在分散式運算資源中協調與擴充複雜的機器人開發工作流程,無論是在內部部署或雲端環境中。

OSMO 大幅簡化機器人訓練與模擬工作流程,將部署與開發週期時間從數個月縮短至一週以內。使用者可以視覺化和管理一系列任務,例如生成合成資料、訓練模型、進行強化學習和為人形機器人、自主移動機器人和工業機械手臂實施大規模的軟體在環(software-in-the-loop)測試。

廣告

推進人形機器人開發人員的資料擷取工作流程

訓練人形機器人的基礎模型需要大量資料。使用遠距操作是擷取人類示範資料的方式之一,但這個過程變得越來越昂貴且漫長。

在 SIGGRAPH 電腦繪圖大會上展示的一個NVIDIA AI 與 Omniverse 驅動的遠距操作參考工作流程,可讓研究人員與 AI 開發人員從最少量的遠端擷取人類示範內容中,產生大量的合成運動和感知資料。

首先,開發人員使用 Apple Vision Pro 擷取少量遠端操作示範內容。他們接著在 NVIDIA Isaac Sim 中模擬這些錄影內容,並且使用 MimicGen NIM 從當中產生合成資料集。

開發人員利用真實與合成資料訓練 Project GR00T 人形機器人基礎模型,讓開發人員省下時間及成本。接著,他們在機器人學習框架 Isaac Lab 中使用 Robocasa NIM 來產生經驗,以重新訓練機器人模型。NVIDIA OSMO 在整個工作流程中會流暢將運算工作指派給不同資源,這樣開發人員可以省下數週的行政工作。

通用機器人平台公司 Fourier 看到了使用模擬技術來生成合成訓練資料的好處。 Fourier 執行長 Alex Gu 表示:「開發人形機器人是一件極其複雜的工作,需要使用大量從現實世界中經過漫長時間取得的真實資料。NVIDIA 全新的模擬與生成式AI開發工具將有助於引導和加速我們的模型開發工作流程。」

讓更多人取得 NVIDIA 開發人形機器人的技術

NVIDIA 提供三種運算平台來簡化開發人形機器人的作業:用於訓練模型的 NVIDIA AI 超級電腦;建立在 Omniverse 上的 NVIDIA Isaac Sim,機器人可以在模擬世界中學習和完善技能;NVIDIA Jetson™ Thor 人形機器人電腦用於運行模型。開發人員可因應其特定需求,取得和使用所有或任何部分的平台。

開發人員加入全新的 NVIDIA 人形機器人開發者計畫,能夠搶先體驗新產品,還有最新版本的 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 與 Project GR00T 通用人形機器人基礎模型。

1x、Boston Dynamics、 ByteDance Research、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra 和 Skild AI 是首批加入搶先體驗計畫的業者。

Boston Dynamics技術長 Aaron Saunders 表示:「Boston Dynamics與 NVIDIA 長期以來密切合作,不斷突破機器人技術的極限。我們十分興奮見到這項工作的成果能夠加速推動整個產業的發展,而搶先體驗計畫則是取得這麼棒的技術的最好方式。」

上市時程

開發人員現在就可以加入NVIDIA 人形機器人開發者計畫,取得 NVIDIA OSMO 與 Isaac Lab,並也即將能使用NVIDIA NIM微服務。

 

知新聞 Line 官方帳號

⭐️ 即刻下載《知新聞》App!免費!

下載《知新聞》APP!免費兌換「總裁牛肉麵」美味小菜
# 人形機器人