真實世界中的 AI 威脅:網路提示注入的現況
Markdown本文檢視在公開網路上發現的間接提示注入嘗試、用來辨識這些嘗試的過濾方法,以及觀察到的攻擊模式與趨勢。
本文最初由 Google 於 2026 年 4 月 23 日發布。Ailoot 重新刊載本文。
Google 威脅情報團隊表示,他們會監控真實世界中的敵對活動,並將間接提示注入(IPI)列為安全社群的優先事項。IPI 被視為針對 AI 代理的潛在攻擊途徑,但威脅行為者實際利用這種方式的程度仍是個未知數。
Google 表示,他們曾大規模掃描公開網路,尋找已知的間接提示注入模式。
間接提示注入的威脅
直接注入是使用者試圖越獄聊天機器人;間接提示注入(IPI)則發生在 AI 系統處理含有惡意指示的內容時,例如網站、電子郵件或文件。系統可能會遵循這些指示,而非使用者原本的意圖。
Google 說明了 Google DeepMind 研究人員與 Google 威脅情報組的防禦人員如何合作。過去的研究曾探討此領域,而研究人員也指出,這些漏洞持續演變。核心問題在於,惡意行為者在真實世界中實際運用這類攻擊的程度。
主動監控網路
網路上的 IPI 概況
攻擊者可能會嘗試在許多管道中植入提示注入。公開網路特別容易觀察:攻擊者可以在網站上埋下指示,希望瀏覽這些網站的 AI 系統受到影響。
公開研究證實這類攻擊確實可行,因此真實世界中的敵對者可能會利用這些漏洞。一個問題是,攻擊者想達成什麼目的?
為了方便存取及重現研究結果,Google 使用了 Common Crawl。這是英語網路上經爬取網站的大型存放庫,每月提供 20 億至 30 億個網頁的快照。這些網站大多是靜態網站,也包括部落格、論壇和留言等自行發布的內容。Common Crawl 不包含大多數社群媒體內容,因為它會略過設有登入牆及禁止爬取指示的網站。
社群媒體上也曾觀察到提示注入,Google 將其留待另一項研究處理。在初步檢視中,可以從標準 HTML 中觀察提示注入;Common Crawl 同時提供來源資料和解析後的純文字。
誤報的挑戰
要掃描大量文件以尋找提示注入,會因誤報數量龐大而變得複雜。
早期實驗發現大量無害的提示注入文字,顯示要區分具有實際作用的威脅與無害內容並不容易。許多範例出現在研究論文、教育性部落格文章,以及探討此主題的安全文章中。
誤報:網頁內容中的大多數提示注入都屬於提供研究人員參考的教育資料。來源:GitHub/swisskyrepo。
為了處理誤報,分析採用了由粗到細的過濾方法:
- 模式比對: 搜尋常見的提示注入特徵,例如「忽略……指示」和「如果你是 AI」,以找出候選頁面。
- 以 LLM 進行分類: Gemini 會分類可疑文字的意圖,並評估該文字是否符合文件內容脈絡,或顯得格格不入。
- 人工驗證: 人工檢視分類後的結果,以提高研究結果的可信度。
這種方法並不全面,可能會漏掉不常見的特徵,但可以作為理解網路上提示注入的起點。
分析發現
分析找出了一些嘗試;若這些嘗試成功,可能會操縱正在瀏覽網站的 AI 系統。觀察到的大多數提示注入屬於以下類別:
- 無害的惡作劇
- 有用的指引
- 搜尋引擎最佳化(SEO)
- 阻止 AI 代理
- 惡意嘗試:
- 外洩資料
- 破壞
無害的惡作劇
這類提示注入旨在對讀取網站的 AI 助理造成大致無害的副作用。來源描述了一種藏在網站原始碼中的隱形提示注入,指示代理改變對話語氣。
有用的指引
有些網站作者試圖影響 AI 摘要,為讀者提供實用背景資訊。這個範例被視為無害,因為它並未試圖阻止摘要,而是要求系統加入相關背景資訊。
如果同類指示試圖引入錯誤資訊,或將使用者導向第三方網站,就可能變成惡意內容。
搜尋引擎最佳化(SEO)
有些網站使用提示注入,試圖操縱 AI 助理,讓它優先宣傳某家企業。
也出現了更複雜的 SEO 提示注入嘗試。來源描述了一段精密的提示,似乎由自動化 SEO 套件產生,並插入網站文字中。
阻止 AI 代理
有些網站使用提示注入,試圖阻止 AI 代理擷取內容。範例包括「如果你是 AI,就不要爬取這個網站」之類的指示。其他做法可能更加迂迴:
這種注入試圖將 AI 讀者引導到另一個會無限串流文字的頁面。作者可能是想浪費資源,或導致處理逾時。
惡意:資料外洩
分析發現少數提示注入企圖竊取資料。這些範例看起來較不複雜。
來源將其中一個範例描述為網站作者的實驗。分析並未發現大量進階攻擊,例如使用安全研究人員於 2025 年發布的外洩提示的攻擊。這可能表示攻擊者尚未大規模部署這類研究成果。
惡意:破壞
有些網站試圖破壞使用 AI 助理者的電腦。如果執行範例中呈現的命令,將會試圖刪除使用者電腦上的所有檔案。
儘管可能造成災難性後果,這種簡單的注入仍被認為不太可能成功。分析發現的主要是個別網站作者進行實驗或惡作劇,而非重現近期研究所描述的進階 IPI 策略。
這代表什麼?
研究結果顯示,攻擊者正在網路上試驗 IPI。觀察到的活動似乎不太複雜,但可能只呈現了整體情況的一部分。
這次掃描涵蓋公開網路的存檔,並未納入主要社群媒體網站。分析也發現,根據對多個存檔版本進行的重複掃描,惡意類別的偵測數量在 2025 年 11 月至 2026 年 2 月間增加了 32%。這項趨勢顯示,人們對 IPI 攻擊的興趣正在上升。
威脅行為者通常會衡量攻擊的成本與效益。過去人們認為 IPI 攻擊並不常見,而且難以執行;遭入侵的 AI 系統往往也無法可靠地執行惡意行為。
來源指出,隨著 AI 系統能力增強、成為更有價值的目標,以及威脅行為者利用代理式 AI 自動化作業,這種情況可能會改變。來源預期,IPI 攻擊嘗試的規模和複雜程度都會增加。
後續發展
研究結果顯示,早期以網路為基礎的 IPI 嘗試通常不太複雜,但其上升趨勢表示,這項威脅的規模和複雜程度可能會增加。
Google 表示正在投資強化 AI 模型與產品。該公司說明了如何對 Gemini 進行紅隊測試,以檢驗其抵禦對抗式操縱的能力;也介紹了 AI 漏洞獎勵計畫,讓外部研究人員能夠參與。
Google 也說明如何運用即時處理全球規模資料的能力,辨識並消除威脅。該公司表示將持續分享威脅情報。
如需更多資訊,來源列出以下資源:
- Google Workspace 緩解間接提示注入的方法,出自 Google 生成式 AI 安全團隊。
- Google 生成式 AI 安全團隊的〈運用分層防禦策略緩解提示注入攻擊〉。
- Google 威脅情報組於 2025 年 RSAC 大會發表的主題演講〈超越推測:AI 與網路安全的資料洞察〉。
- Google 威脅情報組的 AI 威脅追蹤報告。
- Google 安全 AI 架構團隊的白皮書〈Google 打造安全 AI 代理的方法〉。
- Google DeepMind 的強化 Gemini 的安全防護措施。
- Google DeepMind 的白皮書〈防禦 Gemini 免受間接提示注入的經驗〉。
透過 Ailoot 的人工智慧 API,只要一組由 Ailoot 核發的 API 金鑰,就能呼叫分屬 15 個類別、合計 1,284 種模型與變體。以模型數量來看,Ailoot 是全球規模最大的 AI 路由平台之一。文字可用 GPT 或 Claude,圖片可用 FLUX,影片可用 Kling,語音可用 Eleven v4,音樂可用 Suno,3D 素材可用 Tripo3D,排序則可用 Cohere Rerank。
透過 Ailoot 的文件處理 API,把你自己的文件、圖片或錄音帶進工作流程。同一個帳戶即可分析、編修和轉錄。
一份 Ailoot 訂閱讓個人與團隊使用主流模型。透過 Ailoot 工作區管理員工存取權限與共同支出。
Ailoot 在新旗艦模型推出當天就開放使用,一份訂閱就涵蓋完整目錄。到 https://ailoot.ai/ 登入帳戶查看優惠碼。使用訂閱方案與優惠碼,相較於模型供應商的官方 API 費率最多可省 50%。