輝達GTC系列3一祕密武器Groq LPU、110款機器人亮相…副總裁欽點：台灣是電腦製造工程核心起點

在AI訓練時代，輝達的GPU能同時吞下海量資料，有如成千上百個人同時閱讀一本書的某一部分，瞬間將所有知識吸收消化。然而，在AI推論時代，企業如果要產出投資決策這樣的Token，輝達既有的GPU晶片固然能快速處理資訊、推理、驗證，但在「輸出」的過程中將出現延遲（Latency）。

在算力成本固定的情況下，每慢一秒鐘得到Token，就等於多花一分成本，因此輝達在去年耶誕夜斥資兩百億美元，取得了專門設計具備極低延遲特性的LPU晶片公司Groq技術授權，並且只花了不到三個月，就做出在GTC上發表的Groq3 LPU晶片。

輝達超大規模和高效能運算副總裁巴克（左）在媒體聯訪中，展示最新的Groq3晶片。

GPU與LPU就像天生一對，分工模式是龐大的矩陣運算預填充（Pre-fill）交由GPU處理，部分低延遲的解碼（Decode）功能則交給部署SRAM（靜態隨機存取記憶體）的Groq 3 LPU解決。如同GPU負責複雜的Token製程，將成品交由LPU快速出貨。

兩者結合，將使輝達GPU機櫃的效能狂飆35倍。外資摩根大通分析，此合作使輝達能夠有效打入過去一直由ASIC（特殊應用晶片）業者占據優勢的低延遲推論市場。

推論效能的大提升，也帶動各式AI代理人應用出籠。輝達發表的自家NemoClaw，也成為演講一大亮點。

黃仁勳指出，以去年發布、暱稱「龍蝦」的OpenClaw為例，因具備讀取敏感資訊與執行程式碼的能力，若直接應用於企業會面臨資安與隱私挑戰。輝達透過與資安專家合作，將防護機制放進NemoClaw設計中，主打輸入指令即可安裝，讓企業能安全部署專屬AI代理人。

同時，各式實體AI也成為GTC的新方向。黃仁勳將機器人定義為「具備實體的AI代理人」，他表示，此次GTC現場展示了110款機器人，強調全球機器人公司都在使用輝達的產品進行運算。

自駕車也迎來了革命性的「ChatGPT時刻」。

黃仁勳表示，自駕基本上已經是一個「被解決的問題」，他認為導入推論系統後，自駕車能像人類一樣進行推理拆解路況，不再需要累積龐大的路測數據，未來將成為產值數兆美元的市場。

黃仁勳與輝達不斷自我超越革新的背後，帶著濃厚的領先者焦慮。

一名輝達供應商，精準觀察黃仁勳的邏輯，不僅是不能被對手追近，甚至連沒有快速拉開差距，都被視為失敗：「如果你能用跑的，就不用走的，輝達要讓對手永遠追不上。」

一家與輝達合作的光通訊台廠透露，為了在傳輸戰場防堵TPU（張量處理器）等對手，輝達硬是將CPO（共同封裝光學）技術提前一年發布。另一電源業者也指出，原定明年才導入的電源機櫃（Power Rack），甚至提早至今年底的Vera Rubin架構，就進入選配階段。

在這場近乎光速的行軍中，台灣供應鏈扮演了絕對要角。CUDA（統一計算架構）之父、輝達超大規模和高效能運算副總裁巴克（Ian Buck）在接受媒體聯訪時直言：「我們絕對需要台灣。」

他笑著透露，手裡有張供應商調校輝達機櫃的照片，裡面有非常多開心的台灣工程師正在協助啟動與測試。他強調：「我們通常會率先在台灣進行這些工作，因為那裡不僅是電腦製造的所在地，更是電腦製造工程開始的中心。」

巴克指出，輝達產品唯有在台灣完成系統工程整合後，才會將流程複製到墨西哥、德州與愛爾蘭等地的工廠。他更補充道：「我們的供應商甚至在聖荷西這裡都有頗具規模的生產基地。」

延伸閱讀：

輝達GTC系列1一算力經濟學來了，台廠如何站穩贏者圈？全面定義生態系，黃仁勳的再革命時刻
輝達GTC系列2一新AI經濟學誕生！黃仁勳提出「Token即金錢」，AI發展迎來推論拐點…算力成關鍵
輝達GTC系列4一搶一兆美元大餅！台鏈隨輝達調整商模，鴻海攻整體方案、緯創推系統整合