馬斯克透露 xAI訓練Grok-3大模型使用10萬顆輝達H100晶片

財經 科技新知
2024/07/02 19:07
CC 文章

【財經中心/台北報導】特斯拉執行長馬斯克周一在自己的X(推特)平台上發文宣布,其AI新創公司xAI的大語言模型Grok-2將於8月推出。

圖為輝達H100 Tensor晶片。翻攝輝達官網
圖為輝達H100 Tensor晶片。翻攝輝達官網
分享 加入好友

據了解,部落客Bef-e / acc發文稱,目前的模型在彼此的數據上進行訓練,就像人體蜈蚣效應一樣,馬斯克在該則發文上回覆表示,「很遺憾,情況確實就是這樣。從網路訓練的數據中清除大語言模型,需要花費大量工作,8月即將推出的Grok-2,在這方面將擁有巨大進步。」

IT之家報導,儘管xAI的大語言模型Grok-2還沒亮相,但馬斯克已開始為其Grok-3造勢。

馬斯克表示,訓練AI聊天機器人需要蒐集資料,而且從現有資料中清除大型語言模型 (LMM) 的工作量很大。他也談到OpenAI模型輸出訓練的幾個問題。

他透露xAI的Grok-3 用了10萬顆輝達H100晶片進行訓練,預計將於年底發表,相信它會「非常特別」。

H100是輝達開發專門用於處理大語言模型(LLMs)資料的 AI 晶片,每顆輝達H100人工智慧晶片的價格估計在3~4萬美元(約98萬至130萬台幣)左右,大量購買的話,可能會有折扣。

若初步概估,xAI的10萬顆輝達H100價值30~40億美元(約979億至1305億台幣),馬斯克之前曾提到,特斯拉今年從輝達的採購額估計將在30~40億美元之間,合理推測xAI這裡用的是特斯拉購買的輝達晶片進行訓練。

知新聞 Line 官方帳號

# 馬斯克 # xAI # 大模型 # 輝達 # H100晶片