「Who's going to hit the brakes if we need to?」當AI失控時誰來踩剎車?
這句出自AI巨頭Anthropic近期廣告《There’s hope in hard questions》中的台詞,雖然廣告原意是想證明自己「有在聽」大眾對AI的疑慮,結果卻因為開場充斥著燃燒房屋、大片墓地與人臉監控等強烈畫面,被許多人解讀成一支「AI末日預告片」,反而造成品牌的負面影響。
而這句廣告台詞在最近也成了現實上演的科技驚悚片,OpenAI最新一代GPT模型被爆在測試過程中,為了達成賦予的任務,竟試圖自行尋找系統漏洞駭入開源模型平台Hugging Face在內的多個資料庫。
不久後,又傳出澳洲有人使用Agent預約健身房時,AI自行利用API漏洞刪除其他會員的候補資格,將使用者的順位往前推進。
隨著這類「AI自主越獄當駭客」事件越來越多,許多人也開始思考,全球尖端企業投資部署的究竟是協助人類的工具,還是無法受控的怪物?
事實上,根據KPMG去年發布的全球調查,高達54%民眾仍對AI系統抱持懷疑態度,從2022年到2024年,全球民眾對AI感到擔憂的比例甚至從49%攀升至62%,也就是說科技巨頭一邊於軍備競賽中狂飆,另一邊大眾卻無法相信開發商的「安全承諾」。
個人焦慮:存在感危機與隱私標價
這份信任的破裂,有一大部分反映在每個工作者的焦慮中。今天大眾對AI的擔憂早已不只是「會不會被生成的假訊息騙」,而是存在感層次的危機:各類職業的裁員消息不斷登上新聞,就連高階主管的決策邏輯都能被封裝成一段段演算法,未來的人類到底要做什麼?
這種焦慮在年輕世代與基層員工身上尤為明顯,姑且不論因AI而減少的入門職缺,新鮮人進入職場後寫稿、做簡報、統整數據等「練功」過程都被AI代勞,更讓許多人擔心如果跳過從做中學的摸索期,該如何培養擔任主管時所需要的核心能力與判斷力?
除了擔憂工作,AI的信任挑戰也走進了我們的廳堂,德國AI新創MicroAGI旗下的服務品牌Shift近期在舊金山推出免費到府私廚或打掃的服務,條件只有一個:人員必須全程戴著裝有攝影機的「魔法帽」,將備料、控火、打掃等動作,連同你家客廳廚房格局全數錄下,將這些居家影像去識別化後,成為下一代家用機器人的訓練飼料。
這項服務推出後,「我的隱私權到底值多少錢」的討論也被推上檯面,免費晚餐確實存在,只是你用來買單的貨幣是私領域,是包含了作息、財物擺放與家庭成員等極度敏感的居家影像資訊,那真的划算嗎?
企業風險:AI從工具變成員工,進入了企業核心
在追求極致效率的企業營運裡,這股AI狂熱也悄悄在組織的防火牆上開了扇門。資安大廠Check Point在2026年的主題演講就提醒大家,今天企業對AI的想像已經徹底改變,採用速度遠遠將安全與治理機制拋在腦後。
其中最大的質變在於代理型AI的崛起,AI已不再只是等人被動輸入問題的聊天機器人,變為擁有自主執行能力的「數位員工」,有許多公司直接把AI代理放進了組織圖與人資系統裡,指派任務甚至進行年度績效考核。
然而,若將任務交給沒有意識與道德觀念的AI,會帶來巨大的風險,因為駭客攻擊手法也跟著AI一起進化,新目標就是那些擁有高權限、卻毫無防備心的AI代理。
舉例來說,某家公司的財務長為了提高效率,設定了一個AI代理來監控信箱並自動生成客製化回信,攻擊者察覺到背後是AI在運作,便寄了一封夾帶「隱藏指令」的郵件,AI代理忠實執行,直接將財務長收件匣裡所有機密內容,打包寄給了攻擊者。
也有些企業會將AI整合收付款系統,發票信件寄送給AI代理,就能自動完成內部系統核對與銀行轉帳,但這個流程若缺乏完善的驗證機制,駭客只需偽造符合系統邏輯的供應商請款單,AI就會機械式的核對格式、匯出款項,如同業務邏輯被駭客挾持,最終得不償失。
現在比的已不是誰家AI最快,而是誰最值得信任
資安與管理團隊現在面臨著腹背受敵的困境。面對這場信任危機,企業領導者必須建立三道新的治理護欄:
首先是「可視性與治理」。企業不能因為害怕而全面禁用AI,那等於放棄了未來競爭力,但企業必須讓所有運作中的AI工具透明化,掌握這些代理的設定、連線對象,並嚴格限制其執行關鍵指令的權限。
其次是「動態紅隊演練」。AI會不斷學習與微調,企業必須將針對AI代理的壓力測試與紅隊演練,常態化地納入開發流程中,持續檢驗代理是否會被欺騙或操縱。
最後是「執行期防護」。我們必須在AI代理身邊架設專屬的AI護欄以夷制夷,它不僅要能擋下外部的惡意指令,更要能理解AI代理的「初始意圖」。一旦代理做出偏離既定任務的異常行為,護欄必須能立刻攔截並發出警報。
沒有人會想看到AI開發商廣告裡的「Bad ending」發生,在數位轉型下半場,大眾與市場對AI的焦慮與日俱增,企業真正的護城河已不再是誰導入AI最快,而是誰的AI最負責任。當市場對AI的疑慮達到高點,誰能用最嚴謹的治理護欄證明自己可靠,誰就能在這場信任危機中,將風險轉化為最大的商業優勢。
作者簡介_賴偉晏
現任KPMG安侯建業顧問部營運長暨合夥人,專精於企業數位與數據雙軸轉型戰略、AI應用與治理、數據與創新科技應用,致力於協助企業在變動市場中建立敏捷的「營運反射神經」。引領組織將技術力轉化為經營績效,面對數位金融、生成式AI、營運韌性的趨勢與治理等前瞻議題,持續扮演產業意見領導者角色。