算力缺口催生新產業　GPU管理效益受矚

(轉載自DIGITIMES)

林佳楠／台北 2024/12/03 02:07

AI算力資源缺乏，不僅催生GPU租賃服務，也促使部分業者投入GPU管理服務。成立於2003年的數位無限，從混合雲管理轉向GPU管理、GPU切分相關服務，也觀察到不少企業開始有建置小型算力中心、改革舊有機房的需求。

「以前客戶是談幾片GPU，現在是談幾台GPU伺服器，」數位無限執行長陳文裕表示，並指出GPU採購大戶傾向先將頂級資源用於內部AI研發或合作夥伴，多餘的資源才會釋出給租戶，市場對高階GPU仍是供不應求。

數位無限先前業務是Java顧問服務、混合雲管理等，規模成長受限。約從2017年開始投入AI算力管理服務、AI Stack相關解決方案，並參與國網中心、數位發展部的計畫。後續並成為NVIDIA認證解決方案顧問的全球夥伴成員。

陳文裕指出，原本GPU管理著眼於「整顆」晶片，近期則發展出切片管理，意即將單一GPU細切成不同單位，讓昂貴的GPU資源可以被「榨乾」、全天候使用。一旦用戶數增加，單位使用成本也可下降。

這樣的管理平台服務是近年興起的新模式，同業多在2018年左右開始發展，包括NVIDIA近期購併的Run.ai，在中國、南韓也有幾家業者。全球提供類似服務的業者約10家。

數位無限客戶來自政府和學研單位、半導體、IC設計、交通產業等，團隊也觀察到業界對於生成式AI應用的不同態度。

陳文裕認為，業界態度可說是兩極化，IC設計屬於較為積極的族群。在聯發科推出生成式AI平台「達哥」後，其他IC設計業者也躍躍欲試。

同時，NPU、MCU業者尋求拓展邊緣運算應用，MCU特別需要輕量化小模型，以視覺、語言模型應用為主。在單一載具上部署多種小模型，也是近期業界發展的趨勢之一。

政府單位也積極提升公共算力資源，包括國網中心、數位發展部等單位的計畫，以提供給學研單位、新創業者為主。

不過，有某些企業仍希望，可精算出AI應用的投資報酬率再大幅投入，通常是硬體製造業者會較在意保固、折舊等議題。

而在AI前景一片看好中，是否仍有令人擔憂的因素？陳文裕認為，2000年前後的網路泡沫會否重演在AI浪潮，仍是潛在風險。不過，目前看來，AI應用滲透到愈來愈多種產業，熱度也許會收斂，持續發展則是肯定的方向。

他也提到，不少企業開始有建置小型算力中心、或是升級舊有機房的需求，因此需要GPU管理服務。並強調，CPU時代的虛擬機代表業者是VMware，而在GPU時代，尚無單一代表業者出現。