在今天看見明天
熱門: 美股 行事曆 年金 00891 房地產

奎景運算用軟體讓AI跑更快 驚豔美、日大廠 輝達前工程師 打造算力飆速獨門技術

奎景運算用軟體讓AI跑更快  驚豔美、日大廠  輝達前工程師 打造算力飆速獨門技術
陳俊傑(右)與王凡熙(左)自己寫軟體來加速AI運算,幫助硬體發揮最大效能,讓「小電腦」也可運行大語言模型。

張如嫻

科技

攝影/陳睿緯

1449期

2024-09-25 10:44

曾在輝達工作的陳俊傑,帶著一身絕活回到台灣創業,用自研軟體協助客戶將硬體效能最大化。

即使是在小裝置上,也能運作大語言模型,吸引美、日客戶上門,證明了台灣團隊也有「軟」實力。

一台與電視機上盒差不多大小的「電腦」,竟能在不連網情況下,運行像LLaMA 2這種擁有七百億個參數的大語言模型,生成文字、翻譯、對話,且不上雲端、保護資料安全,是讓不少企業心心念念的設備。不過,除了硬體的支援,軟體其實也扮演加速運算的關鍵角色,能幫助GPU(圖形處理器)發揮最大效能。如何讓軟體也到位,就是新創公司奎景運算的拿手絕活。

 

二○二○年,執行長陳俊傑成立奎景運算,同樣規格的硬體設備,只要搭配奎景的軟體,運算速度就是比別人更快,就算不連網也能運作AI模型,因此吸引需要處理機敏資料的美國政府機關、金融業者、日本百年製造大廠等國際客戶上門,創業第一年就小幅獲利。這家員工僅有二十人的新創,如何交出亮眼的成績?

延伸閱讀

Arm架構高算力筆電  七成仰賴它的系統  深耕開放式架構  系微今年迎AI PC大浪
Arm架構高算力筆電 七成仰賴它的系統 深耕開放式架構 系微今年迎AI PC大浪

2024-09-11

鴻海攜手輝達在高雄建先進算力中心!以超級晶片GB200伺服器為核心 總共64櫃、要用4608顆輝達GPU
鴻海攜手輝達在高雄建先進算力中心!以超級晶片GB200伺服器為核心 總共64櫃、要用4608顆輝達GPU

2024-06-04

OpenAI再度震撼全世界,算力需求迎來更快成長:除了輝達,ARM架構晶片商也將展現爆發力
OpenAI再度震撼全世界,算力需求迎來更快成長:除了輝達,ARM架構晶片商也將展現爆發力

2024-05-27

30秒幫客戶部署完畢  GMI Cloud成全台首家輝達NCP 搶進「算力出租」  小新創估值躍三億美元
30秒幫客戶部署完畢 GMI Cloud成全台首家輝達NCP 搶進「算力出租」 小新創估值躍三億美元

2024-05-22

AI算力就是競爭力!微軟等美國科技大廠紛紛砸錢投資亞洲,台灣必須加緊做這件事
AI算力就是競爭力!微軟等美國科技大廠紛紛砸錢投資亞洲,台灣必須加緊做這件事

2024-05-06