馬斯克透露 xAI訓練Grok-3大模型使用10萬顆輝達H100晶片
【財經中心/台北報導】特斯拉執行長馬斯克周一在自己的X(推特)平台上發文宣布,其AI新創公司xAI的大語言模型Grok-2將於8月推出。
據了解,部落客Bef-e / acc發文稱,目前的模型在彼此的數據上進行訓練,就像人體蜈蚣效應一樣,馬斯克在該則發文上回覆表示,「很遺憾,情況確實就是這樣。從網路訓練的數據中清除大語言模型,需要花費大量工作,8月即將推出的Grok-2,在這方面將擁有巨大進步。」
IT之家報導,儘管xAI的大語言模型Grok-2還沒亮相,但馬斯克已開始為其Grok-3造勢。
馬斯克表示,訓練AI聊天機器人需要蒐集資料,而且從現有資料中清除大型語言模型 (LMM) 的工作量很大。他也談到OpenAI模型輸出訓練的幾個問題。
他透露xAI的Grok-3 用了10萬顆輝達H100晶片進行訓練,預計將於年底發表,相信它會「非常特別」。
H100是輝達開發專門用於處理大語言模型(LLMs)資料的 AI 晶片,每顆輝達H100人工智慧晶片的價格估計在3~4萬美元(約98萬至130萬台幣)左右,大量購買的話,可能會有折扣。
若初步概估,xAI的10萬顆輝達H100價值30~40億美元(約979億至1305億台幣),馬斯克之前曾提到,特斯拉今年從輝達的採購額估計將在30~40億美元之間,合理推測xAI這裡用的是特斯拉購買的輝達晶片進行訓練。
廣告