2024年是AI PC元年，但在國內各家記憶體廠商眼中，AI大潮帶來的商機，肯定不只AI PC，而是整個邊緣AI（edge AI）創造的龐大機會。
半導體專家楊瑞臨認為，隨著AI的推論（inference）功能，將逐漸從雲端的AI伺服器擴散至裝端裝置，記憶體廠商的商機並非只有AI伺服器需要的HBM（高頻寬記憶體），未來終端裝置需要的相應記憶體肯定同步攀升。
他預言，隨著生成式AI大爆發，「台灣的DRAM（產業）開始要重生了！」
AI兩大關鍵字：訓練與推論
在人工智慧圈子中，兩個關鍵詞愈來愈被大家提到，就是「訓練」（training）及推論（inference）。
「訓練」就好像人類去學校上學、接受教育；「推論」就是把我們在學校學到的知識，應用在日常生活中。
例如，我們問ChatGPT問題，ChatGPT就是運用它被持續訓練的模型，生成文字或圖片給人類，這就是「推論」。
若根據輝達官網說明，受過訓練的神經網路會在數位環境裡，發揮學習到的內容來辨識影像、聽懂人類語言、判斷血液疾病，或是建議人類可能下一雙會買的鞋子等等。
這就是「推論」。
AI推論會從雲端跑到終端，「這是台灣一大機會！」
現職為工研院產科國際所研究總監的楊瑞臨，在周日（9日）播出的數字台灣節目，接受主持人謝金河訪談時表示，隨著終端裝置採用邊緣AI日漸普遍，四年後全球AI推論運用將遠高於現在，這將是台灣科技業的一大機會。
他秀出一張國際產業機構對於資料中心（data center）電力消耗的趨勢預估，其中推估到了2028年，AI推論將佔了85%耗電，AI訓練只會佔15%。
「你甚至不用跟雲端連線，即使是離網或斷網，你都可以問ChatGPT問題，它馬上回給你，還能跟著你的問題去學習，你可以不連網，可以不連雲端。」
「所以，推論會從雲端跑到終端，這是台灣一大機會！」
「台灣所有的DRAM業者，都看到這個機會」
如果看同一張表格中的AI工作負載，2023年是95%在雲端、5%在終端；到了2028年，估計雲端佔比將下降至50%，在終端佔比則飆升至50%。
楊瑞臨指出，未來如果把大型資料中心使用的大語言模型（LLM），縮小至終端裝置，就會需要搭配小推論模型的DRAM。
「台灣所有的DRAM業者都看到這個機會，也就是終端（裝置）的AI晶片與DRAM結合。」
「南亞科有看到，華邦應該有看到，鈺創也有看到。」
「所以，台灣DRAM相關產業，在未來終端（裝置），因為生成式AI大爆發，台灣的DRAM（產業）開始要重生了！」
邊緣AI推論運算應用 正朝三大方向發展
目前生成式AI已逐漸朝向邊緣裝置延伸，根據DIGITIMES研究中心觀察，邊緣AI推論運算應用產品朝向三大方向發展，第一為x86架構的PC及NB。
第二為ARM架構的手機及平板。
第三為ARM/ RISC-V架構的物聯網裝置。
由於邊緣生成式AI推論關鍵，是晶片的運算力，因此各大晶片廠商今年紛紛推出相關產品應戰。
研華：邊緣AI市場將是AI伺服器上萬倍
工業電腦大廠研華（2395）產業雲暨影像科技副總經理鮑志偉，上周在台北國際電腦展（Computex）記者會中表示，邊緣AI的市場正在快速擴張，預計2025~2026年進入爆發式成長。
他指出，邊緣AI市場將是AI伺服器的上萬倍，就研華內部看到客戶使用資料，有太多使用情境被客戶創造出來，是過去工業電腦沒用到的領域，而且邊緣AI規模化速度快，只要垂直領域中有人開始導入，其他人不得不用、開始大量複製，規模就會起來。
本文暫不授權媒體夥伴
延伸閱讀：
「AI現在才開始發展，就像個小孩，會犯錯，還需要好好培養」 為何聯發科大將認為 大家短期太高估AI技術 長期卻太低估其影響？
