在今天看見明天
熱門: 0056 0050 輝達 00878 00940

台灣DRAM產業將因為AI而重生?他說邊緣AI給台灣的龐大機會,南亞科、華邦電、鈺創都看到了!

台灣DRAM產業將因為AI而重生?他說邊緣AI給台灣的龐大機會,南亞科、華邦電、鈺創都看到了!

劉煥彥

科技

Shutterstock、數字台灣節目截圖

2024-06-11 09:00

2024年是AI PC元年,但在國內各家記憶體廠商眼中,AI大潮帶來的商機,肯定不只AI PC,而是整個邊緣AI(edge AI)創造的龐大機會。

半導體專家楊瑞臨認為,隨著AI的推論(inference)功能,將逐漸從雲端的AI伺服器擴散至裝端裝置,記憶體廠商的商機並非只有AI伺服器需要的HBM(高頻寬記憶體),未來終端裝置需要的相應記憶體肯定同步攀升。

他預言,隨著生成式AI大爆發,「台灣的DRAM(產業)開始要重生了!」

 

AI兩大關鍵字:訓練與推論

 

在人工智慧圈子中,兩個關鍵詞愈來愈被大家提到,就是「訓練」(training)及推論(inference)。

 

「訓練」就好像人類去學校上學、接受教育;「推論」就是把我們在學校學到的知識,應用在日常生活中。

 

例如,我們問ChatGPT問題,ChatGPT就是運用它被持續訓練的模型,生成文字或圖片給人類,這就是「推論」。

 

若根據輝達官網說明,受過訓練的神經網路會在數位環境裡,發揮學習到的內容來辨識影像、聽懂人類語言、判斷血液疾病,或是建議人類可能下一雙會買的鞋子等等。

 

這就是「推論」。

 

AI推論會從雲端跑到終端,「這是台灣一大機會!」

 

現職為工研院產科國際所研究總監的楊瑞臨,在周日(9日)播出的數字台灣節目,接受主持人謝金河訪談時表示,隨著終端裝置採用邊緣AI日漸普遍,四年後全球AI推論運用將遠高於現在,這將是台灣科技業的一大機會。

 

他秀出一張國際產業機構對於資料中心(data center)電力消耗的趨勢預估,其中推估到了2028年,AI推論將佔了85%耗電,AI訓練只會佔15%。

 

 

你甚至不用跟雲端連線,即使是離網或斷網,你都可以問ChatGPT問題,它馬上回給你,還能跟著你的問題去學習,你可以不連網,可以不連雲端。」

 

「所以,推論會從雲端跑到終端,這是台灣一大機會!」

 

「台灣所有的DRAM業者,都看到這個機會」

 

如果看同一張表格中的AI工作負載,2023年是95%在雲端、5%在終端;到了2028年,估計雲端佔比將下降至50%,在終端佔比則飆升至50%。

 

楊瑞臨指出,未來如果把大型資料中心使用的大語言模型(LLM),縮小至終端裝置,就會需要搭配小推論模型的DRAM。

 

「台灣所有的DRAM業者都看到這個機會,也就是終端(裝置)的AI晶片與DRAM結合。」

 

「南亞科有看到,華邦應該有看到,鈺創也有看到。」

 

「所以,台灣DRAM相關產業,在未來終端(裝置),因為生成式AI大爆發,台灣的DRAM(產業)開始要重生了!

 

 

邊緣AI推論運算應用 正朝三大方向發展

 

目前生成式AI已逐漸朝向邊緣裝置延伸,根據DIGITIMES研究中心觀察,邊緣AI推論運算應用產品朝向三大方向發展,第一為x86架構的PC及NB。

 

第二為ARM架構的手機及平板。

 

第三為ARM/ RISC-V架構的物聯網裝置。

 

由於邊緣生成式AI推論關鍵,是晶片的運算力,因此各大晶片廠商今年紛紛推出相關產品應戰。

 

研華:邊緣AI市場將是AI伺服器上萬倍

 

工業電腦大廠研華(2395)產業雲暨影像科技副總經理鮑志偉,上周在台北國際電腦展(Computex)記者會中表示,邊緣AI的市場正在快速擴張,預計2025~2026年進入爆發式成長。

 

他指出,邊緣AI市場將是AI伺服器的上萬倍,就研華內部看到客戶使用資料,有太多使用情境被客戶創造出來,是過去工業電腦沒用到的領域,而且邊緣AI規模化速度快,只要垂直領域中有人開始導入,其他人不得不用、開始大量複製,規模就會起來。

 

本文暫不授權媒體夥伴

 

延伸閱讀:

 

「AI現在才開始發展,就像個小孩,會犯錯,還需要好好培養」 為何聯發科大將認為 大家短期太高估AI技術 長期卻太低估其影響?

 

 

延伸閱讀

高通發布新款手機晶片,小米、榮耀都採用!AI帶動邊緣運算發展,手機、物聯網兵分兩路佈局

2024-03-18

慧榮6奈米製程新晶片鎖定手機、邊緣運算、車用 看好生成式AI帶動記憶體需求

2024-03-13

從輝達挖角人才搶「邊緣AI」大餅!英業達(2356)打入IC設計廠化身矽智財概念股,為何外資仍看淡?

2023-12-29

什麼是邊緣運算?

2020-04-06

珍煮丹聲稱用小農鮮奶卻是光泉...道歉再給限時「買一送一」補錯誤:不限杯數連3天開跑

2024-07-13