在今天看見明天
熱門: 0056 0050 輝達 00878 00940

自行開發要花7年,臉書、谷歌、亞馬遜、微軟要如何追趕輝達?安謀、神盾合作案成為最佳解方

自行開發要花7年,臉書、谷歌、亞馬遜、微軟要如何追趕輝達?安謀、神盾合作案成為最佳解方
▲安謀(ARM Holding)北美副總裁曾志光(左)與神盾集團董事長羅森洲,暢談雙方在ARM based AI伺服器CPU晶片的合作案。

林宏文

國際總經

攝影唐紹航

2024-10-07 16:00

最近我訪問安謀(ARM Holding)北美副總裁曾志光與神盾集團董事長羅森洲,談雙方在ARM based AI伺服器CPU晶片的合作案,內容觸及北美CSP(雲端服務)業者與輝達的競合關係,以及未來在資料中心產業將掀起何種戰爭,這些都是影響深遠的重大議題,其中又與矽智財IP產業與台灣IC設計業有密切關連,在此與大家分享一些心得。

 

先談輝達。輝達目前主導全球AI晶片及AI伺服器,可以說是接近獨占的絕對領先狀態,因此各大CSP業者如臉書、谷歌、亞馬遜、微軟等公司,除了採用輝達的軟硬體解決方案外,各家公司也都設計自己的AI晶片。不過,AI晶片與伺服器系統既複雜又困難,顯然目前大部分CSP業者的晶片效能,都與輝達有很大差距。

 

因此,這個市場需求的巨大缺口,便是安謀與神盾、安國公司合作案的緣由。

 

CSP業者想追趕輝達,到底困難與障礙為何?要解答此問題,可以先觀察IC設計架構近年來的轉變,尤其是三個階段的演變,就是其中的關鍵。

 

IC設計架構三階段演變 愈來愈複雜

 

分析IC晶片的設計演進,大約可以分成PC、手機、伺服器三個階段。最早1.0時代是PC產品,當時的設計架構,是一顆CPU加上南橋、北橋的晶片組設計,到了2.0的手機時代,則進入SoC(系統整合晶片),是以單一顆晶粒(Single Die)的設計方式生產。(下圖一)

 

▲圖片來源:神盾公司

 

所謂的Single Die,是將一顆CPU、一顆GPU,再加上記憶體(例如SRAM)、I/O、PCIe等,全部設計在單一顆晶粒上,並以同樣的製程技術生產,例如都用20奈米生產,因此,在台積電的晶圓廠內,這一顆把所有功能都整合在一起的同一顆晶粒(SoC),經過切割及封裝測試後,便可以送到鴻海這種手機組裝廠做最後生產出貨。

 

Single Die的設計模式,大約從40-45奈米開始,一直到20奈米時都是如此,蘋果手機的A5到A7晶片,就是大量採用這種SoC設計的例子。不過,當製程技術更進一步發展時, Single Die的設計,又開始遇到瓶頸。

 

到了3.0時代,就形成了多晶粒(Multi-Die)的設計方式,所謂的多晶粒設計,主因是CPU及GPU的功能要求愈來愈快,因此必須以更先進製程生產,例如5、4、3奈米,但是像記憶體的製程雖然也要升級,但速度進展沒那麼快,例如HBM用到10奈米即可。由於製程技術不同,不能以同一個製程技術上的同一顆晶粒生產,便有了Multi-Die的設計。

 

因此,Multi-Die的生產模式,就是CPU及GPU這種被稱為HPC(高速運算晶片)的晶片,在台積電下單生產,至於記憶體(例如HBM)則在海力士、美光或三星生產,這些個別生產的小晶片(chiplet),最後再用先進封裝(CoWoS)的方式包起來,出貨給伺服器業者做最後組裝出貨。

 

IC設計演變到3.0階段,也正是目前AI伺服器產業主要的發展模式。由於AI伺服器追求高算力,所以可能要用很多顆CPU及很多顆GPU,而且這些高速運算晶片又需要最先進製程技術,才能讓算力大幅提升。也因為AI伺服器目前追求高算力,也不像手機要求晶片一定要很輕薄短小,對晶片大小或是否省電都不是擺在最優先條件,因此整個晶片最後封裝起來變成一顆很大的系統晶片。

 

以目前輝達銷售的GB200 NVL72 Blackwell系統規格為例,就可以理解這樣的系統晶片到底有多龐大。這個系統總計用到36顆CPU、144顆GPU,另外還需要用到384GB的HBM,要把這些晶片都封裝起來,本身就已是一個龐然大物,難怪一台AI伺服器的體積如此巨大。

 

ARM的運算子系統計畫 讓客戶縮短開發時間

 

這裡還可以再談一下,AI伺服器與過去傳統伺服器的差別。過去傳統伺服器是以英特爾x86的CPU為主,但AI伺服器目前的CPU很多都採用ARM的架構開發,例如輝達和Ampere都是如此,甚至連英特爾晶圓代工事業(IFS)也已宣布,將代工基於Arm架構的晶片產品。

 

此外,因為AI伺服器大幅強化在GPU的使用量,輝達在GPU的發展已超過其他對手甚多,也讓輝達成為AI產業超強的競爭者。

 

因此,再回到CSP業者自行設計AI晶片的障礙。面對輝達的高度競爭,這些CSP業者會遇到的難題,就是因為系統太複雜,沒有那麼多人力與時間可以做那麼多事。

 

 

原任台灣安謀國際總裁,目前升任安謀北美副總裁的曾志光說,對於每家企業CEO來說,當系統愈來愈複雜,要如何安排人力,把有限的工程師放在哪些位置,才能突顯本身的競爭力與差異化,這是很重要的決策,也是勝負成敗的關鍵。

 

曾志光也描述,如今要設計一個AI晶片及伺服器系統架構時,會遇到哪些挑戰。對於以擁有300到1000位工程師的CSP業者來說,如果只是授權安謀的指令集,最快也要花三年才能做出第一顆CPU,之後要再花兩年時間做成子系統,最後再把旁邊的I/O及die to die都做好,可能就要花七年時間。

 

曾志光說,相信每位CEO都很難忍受七年的開發時間,這些客戶會希望ARM多做一點事,減少每一家CSP業者的負擔。因此,ARM便推出運算子系統(CSS)計畫,來解決客戶的挑戰。

 

所謂的運算子系統(CSS),就是因應客戶希望開發速度加快的需求,ARM就將多個IP整合成一個子系統後做販售,名為「Arm Neoverse 運算子系統(CSS)」,與過往只販售單個IP產品的作法不太相同。

 

也就是說,過去客戶都是向安謀買單一個IP,「例如客戶要CPU,就跟我買CPU的IP;需要CMN(晶片互聯技術),就跟我買CMN。」然而,作為子系統的CSS,則是將CPU和CMN整合好,做成一個「子系統IP」後再賣出去, 「它是一個整合好的IP,偏向半客製化,然後再讓客戶自己去改。」

 

因此,安謀直接將多個IP組合起來變成子系統,以如同「類公版」的方式出售,讓客戶省下組合IP的步驟,加速產品開發,省下開發成本。而過去提供單一IP的販售模式,也仍然會持續進行。

 

透過併購提升技術 神盾、安國積極搶攻AI伺服器

 

 

神盾集團董事長羅森洲說,在IC設計架構的三階段演變中,chiplet的3.0是IC設計架構的典範移轉,主要是將大晶片化整為零,單顆晶片本質上是IP的硬件化,再透過UCIe連接,以及先進封裝技術CoWoS將多顆硬件化的IP混合,搭配「樂高式」堆疊組件於單一基板上。(下圖二)

 

▲圖片來源:神盾公司

 

因此,在AI伺服器CPU晶片需求大增下,神盾集團積極搶攻AI伺服器CPU晶片市場,安國預計授權ARM最新一代CPU IP,神盾集團將追求成為全世界前幾家提供最新一代ARM based AI伺服器CPU晶片的廠商。

 

此外,神盾也規畫集結自家類比IP的優勢開發可複用I/O晶片,大幅節省開發時間,加速CSP產品進入市場的時間,也可降低開發成本。因此,除了先進製程IP及先進封裝設計服務外,AI伺服器CPU晶片及I/O晶片也將成為神盾集團未來發展的成長動能。

 

羅森洲指出,神盾有機會搶攻這塊市場,是因為先前併購乾瞻科技後,擁有UCIe這個強勢IP的能力,並專注於開發類比高速傳輸IP,至於安國也併購星河,著重於先進製程與先進封裝設計與投片服務,並預計規畫授權ARM最新一代CPU IP,透過神盾與安國之合作綜效積極搶攻AI伺服器市場。

 

從安謀與神盾、安國的合作案,可以理解半導體產業已出現的具體變化,同時也可窺知國際大廠的競合態勢,而在這個大趨勢演變中,台灣產業要如何搶攻這塊CSP業者崛起的機會,以及藉此搶到矽智財領域的新商機,的確很值得未來繼續關注。

延伸閱讀

OpenAI籌到66億美元「輝達也參加」!估值飆1570億美元…對金主們要求:不准投資馬斯克xAI
OpenAI籌到66億美元「輝達也參加」!估值飆1570億美元…對金主們要求:不准投資馬斯克xAI

2024-10-03

台積電、輝達進駐╳基期低╳新玩家引爆房市狂潮, 高雄9大建商市值        270天飆近千億! AI新都鍍金風雲
台積電、輝達進駐╳基期低╳新玩家引爆房市狂潮, 高雄9大建商市值 270天飆近千億! AI新都鍍金風雲

2024-10-02

奎景運算用軟體讓AI跑更快  驚豔美、日大廠  輝達前工程師 打造算力飆速獨門技術
奎景運算用軟體讓AI跑更快 驚豔美、日大廠 輝達前工程師 打造算力飆速獨門技術

2024-09-25

AI霸主輝達獨領風騷!超微、高通、英特爾…6大挑戰者虎視眈眈,它們強項是什麼?誰能搶黃仁勳生意
AI霸主輝達獨領風騷!超微、高通、英特爾…6大挑戰者虎視眈眈,它們強項是什麼?誰能搶黃仁勳生意

2024-09-23

輝達能稱霸AI多久?超微蘇姿丰:運算市場不會只有一家獨大!「科技生態圈」合作、競爭並存
輝達能稱霸AI多久?超微蘇姿丰:運算市場不會只有一家獨大!「科技生態圈」合作、競爭並存

2024-09-20