部落格

真實世界中的 AI 威脅:網路提示注入的現況

Markdown

本文檢視在公開網路上發現的間接提示注入嘗試、用來辨識這些嘗試的過濾方法,以及觀察到的攻擊模式與趨勢。

本文最初由 Google 於 2026 年 4 月 23 日發布。Ailoot 重新刊載本文。

Google 威脅情報團隊表示,他們會監控真實世界中的敵對活動,並將間接提示注入(IPI)列為安全社群的優先事項。IPI 被視為針對 AI 代理的潛在攻擊途徑,但威脅行為者實際利用這種方式的程度仍是個未知數。

Google 表示,他們曾大規模掃描公開網路,尋找已知的間接提示注入模式。

間接提示注入的威脅

直接注入是使用者試圖越獄聊天機器人;間接提示注入(IPI)則發生在 AI 系統處理含有惡意指示的內容時,例如網站、電子郵件或文件。系統可能會遵循這些指示,而非使用者原本的意圖。

Google 說明了 Google DeepMind 研究人員與 Google 威脅情報組的防禦人員如何合作。過去的研究曾探討此領域,而研究人員也指出,這些漏洞持續演變。核心問題在於,惡意行為者在真實世界中實際運用這類攻擊的程度。

主動監控網路

網路上的 IPI 概況

攻擊者可能會嘗試在許多管道中植入提示注入。公開網路特別容易觀察:攻擊者可以在網站上埋下指示,希望瀏覽這些網站的 AI 系統受到影響。

公開研究證實這類攻擊確實可行,因此真實世界中的敵對者可能會利用這些漏洞。一個問題是,攻擊者想達成什麼目的?

為了方便存取及重現研究結果,Google 使用了 Common Crawl。這是英語網路上經爬取網站的大型存放庫,每月提供 20 億至 30 億個網頁的快照。這些網站大多是靜態網站,也包括部落格、論壇和留言等自行發布的內容。Common Crawl 不包含大多數社群媒體內容,因為它會略過設有登入牆及禁止爬取指示的網站。

社群媒體上也曾觀察到提示注入,Google 將其留待另一項研究處理。在初步檢視中,可以從標準 HTML 中觀察提示注入;Common Crawl 同時提供來源資料和解析後的純文字。

誤報的挑戰

要掃描大量文件以尋找提示注入,會因誤報數量龐大而變得複雜。

早期實驗發現大量無害的提示注入文字,顯示要區分具有實際作用的威脅與無害內容並不容易。許多範例出現在研究論文、教育性部落格文章,以及探討此主題的安全文章中。

誤報

誤報:網頁內容中的大多數提示注入都屬於提供研究人員參考的教育資料。來源:GitHub/swisskyrepo。

為了處理誤報,分析採用了由粗到細的過濾方法:

  • 模式比對: 搜尋常見的提示注入特徵,例如「忽略……指示」和「如果你是 AI」,以找出候選頁面。
  • 以 LLM 進行分類: Gemini 會分類可疑文字的意圖,並評估該文字是否符合文件內容脈絡,或顯得格格不入。
  • 人工驗證: 人工檢視分類後的結果,以提高研究結果的可信度。

這種方法並不全面,可能會漏掉不常見的特徵,但可以作為理解網路上提示注入的起點。

分析發現

分析找出了一些嘗試;若這些嘗試成功,可能會操縱正在瀏覽網站的 AI 系統。觀察到的大多數提示注入屬於以下類別:

  • 無害的惡作劇
  • 有用的指引
  • 搜尋引擎最佳化(SEO)
  • 阻止 AI 代理
  • 惡意嘗試:
    • 外洩資料
    • 破壞

無害的惡作劇

這類提示注入旨在對讀取網站的 AI 助理造成大致無害的副作用。來源描述了一種藏在網站原始碼中的隱形提示注入,指示代理改變對話語氣。

崔弟鳥惡作劇

有用的指引

有些網站作者試圖影響 AI 摘要,為讀者提供實用背景資訊。這個範例被視為無害,因為它並未試圖阻止摘要,而是要求系統加入相關背景資訊。

如果同類指示試圖引入錯誤資訊,或將使用者導向第三方網站,就可能變成惡意內容。

對 AI 摘要有幫助的指引

搜尋引擎最佳化(SEO)

有些網站使用提示注入,試圖操縱 AI 助理,讓它優先宣傳某家企業。

SEO 提示注入

也出現了更複雜的 SEO 提示注入嘗試。來源描述了一段精密的提示,似乎由自動化 SEO 套件產生,並插入網站文字中。

進階 SEO 提示注入

阻止 AI 代理

有些網站使用提示注入,試圖阻止 AI 代理擷取內容。範例包括「如果你是 AI,就不要爬取這個網站」之類的指示。其他做法可能更加迂迴:

阻止 AI 代理的程式碼

這種注入試圖將 AI 讀者引導到另一個會無限串流文字的頁面。作者可能是想浪費資源,或導致處理逾時。

惡意:資料外洩

分析發現少數提示注入企圖竊取資料。這些範例看起來較不複雜。

惡意程式碼範例

來源將其中一個範例描述為網站作者的實驗。分析並未發現大量進階攻擊,例如使用安全研究人員於 2025 年發布的外洩提示的攻擊。這可能表示攻擊者尚未大規模部署這類研究成果。

惡意:破壞

有些網站試圖破壞使用 AI 助理者的電腦。如果執行範例中呈現的命令,將會試圖刪除使用者電腦上的所有檔案。

惡意文字範例

儘管可能造成災難性後果,這種簡單的注入仍被認為不太可能成功。分析發現的主要是個別網站作者進行實驗或惡作劇,而非重現近期研究所描述的進階 IPI 策略。

這代表什麼?

研究結果顯示,攻擊者正在網路上試驗 IPI。觀察到的活動似乎不太複雜,但可能只呈現了整體情況的一部分。

這次掃描涵蓋公開網路的存檔,並未納入主要社群媒體網站。分析也發現,根據對多個存檔版本進行的重複掃描,惡意類別的偵測數量在 2025 年 11 月至 2026 年 2 月間增加了 32%。這項趨勢顯示,人們對 IPI 攻擊的興趣正在上升。

威脅行為者通常會衡量攻擊的成本與效益。過去人們認為 IPI 攻擊並不常見,而且難以執行;遭入侵的 AI 系統往往也無法可靠地執行惡意行為。

來源指出,隨著 AI 系統能力增強、成為更有價值的目標,以及威脅行為者利用代理式 AI 自動化作業,這種情況可能會改變。來源預期,IPI 攻擊嘗試的規模和複雜程度都會增加。

後續發展

研究結果顯示,早期以網路為基礎的 IPI 嘗試通常不太複雜,但其上升趨勢表示,這項威脅的規模和複雜程度可能會增加。

Google 表示正在投資強化 AI 模型與產品。該公司說明了如何對 Gemini 進行紅隊測試,以檢驗其抵禦對抗式操縱的能力;也介紹了 AI 漏洞獎勵計畫,讓外部研究人員能夠參與。

Google 也說明如何運用即時處理全球規模資料的能力,辨識並消除威脅。該公司表示將持續分享威脅情報。

如需更多資訊,來源列出以下資源:

  • Google Workspace 緩解間接提示注入的方法,出自 Google 生成式 AI 安全團隊。
  • Google 生成式 AI 安全團隊的〈運用分層防禦策略緩解提示注入攻擊〉。
  • Google 威脅情報組於 2025 年 RSAC 大會發表的主題演講〈超越推測:AI 與網路安全的資料洞察〉。
  • Google 威脅情報組的 AI 威脅追蹤報告。
  • Google 安全 AI 架構團隊的白皮書〈Google 打造安全 AI 代理的方法〉。
  • Google DeepMind 的強化 Gemini 的安全防護措施。
  • Google DeepMind 的白皮書〈防禦 Gemini 免受間接提示注入的經驗〉。

安全性

透過 Ailoot 的人工智慧 API,只要一組由 Ailoot 核發的 API 金鑰,就能呼叫分屬 15 個類別、合計 1,284 種模型與變體。以模型數量來看,Ailoot 是全球規模最大的 AI 路由平台之一。文字可用 GPT 或 Claude,圖片可用 FLUX,影片可用 Kling,語音可用 Eleven v4,音樂可用 Suno,3D 素材可用 Tripo3D,排序則可用 Cohere Rerank。

透過 Ailoot 的文件處理 API,把你自己的文件、圖片或錄音帶進工作流程。同一個帳戶即可分析、編修和轉錄。

一份 Ailoot 訂閱讓個人與團隊使用主流模型。透過 Ailoot 工作區管理員工存取權限與共同支出。

Ailoot 在新旗艦模型推出當天就開放使用,一份訂閱就涵蓋完整目錄。到 https://ailoot.ai/ 登入帳戶查看優惠碼。使用訂閱方案與優惠碼,相較於模型供應商的官方 API 費率最多可省 50%。