「小型語言模型」顛覆AI應用　「邊緣AI」市場規模將逾8兆

國際寰宇要聞

2024/10/19 19:16

【編譯黃惠瑜／綜合外電】過去一年中，聊天機器人ChatGPT在全球掀起熱潮，進而使其背後支撐的大型語言模型（large language model，LLM）成為廣泛討論的焦點。然而，隨著AI領域的轉變，專門化的AI典範，即小型語言模型（small language model，SLM）正逐漸興起，特別是在邊緣計算中的出色表現，不僅將顛覆現有的AI應用，更將促進創新與解決方案。

根據印度科技媒體Digit近期報導，小型語言模型正為AI產業帶來顛覆性的變化。美國史丹佛大學研究員帕提爾（Aakash Patil）表示，「小型語言模型的設計目的是為了更壓縮且更有效率，包含的參數通常比大型語言模型少。這種較小的規模並不一定代表能力降低，相反的，這通常會帶來更快的處理速度與較低的運算成本，尤其是在資源有限的環境中」。澳洲生成式AI公司Katonic AI執行長暨創辦人納蘭達斯（Prem Naraindas）也認為，小型語言模型正在以許多人未曾預料的方式改變AI產業。

納蘭達斯表示，「雖然熱潮大部分圍繞在如GPT-4的大型模型上，但我一直認為，真正的改革將會來自更靈活、更專門的模型」。

縮短開發週期

納蘭達斯表示，小型語言模型開創了一個快速原型設計與更迭版本的時代，是大型語言模型無法實現的。他說，「在Katonic，我們看到團隊在使用小型語言模型時，將開發週期整整縮短了60%至70%」。由於能夠在不花費太多成本的情況下，對這些特定領域數據的模型進行微調，小型語言模型正以前所未有的方式讓AI開發變得大眾化。

可在雲端及終端設備上運行

在硬體需求方面，小型語言模型可在雲端及終端設備上運行。納蘭達斯提到，對於雲端部署，較小的GPU，如輝達（Nvidia）的T4晶片或V100晶片，都能輕鬆處理大多數小型語言模型的工作負載。至於邊緣部署方面，谷歌（Google）的Edge TPU晶片或輝達的Jetson系列前景都相當看好。

邊緣計算表現出色

根據納蘭達斯，小型語言模型最出色的地方在於邊緣計算，「因為我們現在可以在智慧型手機、平板電腦甚至物聯網（IoT）感應器上運行複雜的語言模型，為即時、低延遲的AI應用開啟了各種可能」。

邊緣AI市場規模將成長至2698.2億美元

根據《財富商業洞察》（Fortune Business Insights）9月底的資料，2023年全球邊緣AI（edge AI）市場規模達204.5億美元（約6556億元台幣），且預計市場將從2024年的270.1億美元（約8659億元台幣）成長至2032年的2698.2億美元（約8兆6498億元台幣）。