Blog

Hrozby umelej inteligencie v praxi: Súčasný stav prompt injection na webe

Markdown

Prehľad pokusov o nepriame vloženie pokynov, ktoré sa našli na verejnom webe, prístupu filtrovania použitého na ich identifikáciu a pozorovaných vzorcov a trendov útokov.

Pôvodne publikovala spoločnosť Google 23. apríla 2026. Ailoot tento materiál opätovne publikuje.

Tímy Google Threat Intelligence opisujú monitorovanie skutočných nepriateľských aktivít a označujú nepriame vkladanie pokynov (IPI) za prioritu bezpečnostnej komunity. O IPI sa hovorí ako o potenciálnom vektore útoku na agentov umelej inteligencie, no rozsah, v akom ho aktéri hrozieb využívajú, zostáva otvorenou otázkou.

Google uvádza, že vykonal rozsiahle skenovanie verejného webu s cieľom vyhľadať známe vzorce nepriameho vkladania pokynov.

Hrozba nepriameho vkladania pokynov

Na rozdiel od priameho vloženia pokynov, pri ktorom sa používateľ pokúša obísť ochranné mechanizmy chatbota, k IPI dochádza vtedy, keď systém umelej inteligencie spracúva obsah — napríklad webovú stránku, e-mail alebo dokument — ktorý obsahuje škodlivé pokyny. Systém sa môže riadiť týmito pokynmi namiesto pôvodného zámeru používateľa.

Google opisuje spoluprácu medzi výskumníkmi z Google DeepMind a obrancami zo skupiny Google Threat Intelligence Group. Predchádzajúca práca sa tejto oblasti venovala a výskumníci upozornili na vyvíjajúcu sa povahu týchto zraniteľností. Základnou otázkou je, do akej miery škodliví aktéri takéto útoky v skutočnom svete zavádzajú do praxe.

Proaktívne monitorovanie webu

Situácia v oblasti IPI na webe

Útočníci sa môžu pokúšať umiestňovať prompt injection do mnohých kanálov. Verejný web je obzvlášť dobre pozorovateľný: útočník môže nastražiť pokyny na webových stránkach v nádeji, že ovplyvnia systémy umelej inteligencie, ktoré si ich prezerajú.

Verejný výskum potvrdzuje, že tieto útoky sú možné, a preto môžu zraniteľnosti využívať aj skutoční protivníci. Jednou z otázok je, aké výsledky sa útočníci snažia dosiahnuť.

V záujme prístupnosti a reprodukovateľnosti použil Google Common Crawl, rozsiahly archív prehľadaných webových stránok z anglicky hovoriaceho webu. Poskytuje mesačné snímky 2–3 miliárd stránok. Ide prevažne o statické webové stránky vrátane obsahu, ktorý si používatelia publikujú sami, ako sú blogy, fóra a komentáre. Common Crawl neobsahuje väčšinu obsahu zo sociálnych médií, pretože vynecháva webové stránky s prihlasovacou bránou a direktívami proti prehľadávaniu.

Prompt injection sa pozoroval aj na sociálnych médiách; Google si ich vyhradil na samostatnú štúdiu. Pri úvodnom skúmaní možno prompt injection pozorovať v štandardnom HTML; Common Crawl poskytuje zdrojový materiál aj parsovaný obyčajný text.

Výzva falošne pozitívnych výsledkov

Skenovanie veľkého množstva dokumentov s cieľom nájsť prompt injection komplikuje vysoký počet falošne pozitívnych výsledkov.

Prvé experimenty odhalili značné množstvo neškodného textu s prompt injection, čo ilustruje náročnosť rozlišovania medzi funkčnými hrozbami a neškodným obsahom. Mnohé príklady sa objavili vo výskumných prácach, vzdelávacích blogových príspevkoch a bezpečnostných článkoch, ktoré sa tejto téme venovali.

falošne pozitívne výsledky

Falošne pozitívne výsledky: Väčšina prompt injection vo webovom obsahu býva vzdelávacím materiálom pre výskumníkov. Zdroj: GitHub/swisskyrepo.

Na riešenie falošne pozitívnych výsledkov sa v analýze použil postup filtrovania od hrubého po podrobné:

  • Porovnávanie vzorov: Kandidátske stránky sa identifikovali vyhľadávaním bežných signatúr prompt injection, napríklad „ignore … instructions“ a „if you are an AI.“
  • Klasifikácia pomocou LLM: Gemini klasifikoval zámer podozrivého textu a posudzoval, či zapadal do rozprávania dokumentu alebo pôsobil nepatrične.
  • Ľudské overenie: Klasifikované výsledky sa manuálne preskúmali s cieľom zvýšiť dôveryhodnosť zistení.

Tento postup nie je vyčerpávajúci a môže prehliadnuť neobvyklé signatúry, no môže poskytnúť východisko na pochopenie prompt injection nájdených na internete.

Čo analýza zistila

Analýza identifikovala pokusy, ktoré by v prípade úspechu mohli manipulovať so systémami umelej inteligencie pri prehliadaní webových stránok. Väčšina pozorovaných prompt injection patrila do týchto kategórií:

  • Neškodné žarty
  • Užitočné usmernenia
  • Optimalizácia pre vyhľadávače (SEO)
  • Odrádzanie agentov umelej inteligencie
  • Škodlivé pokusy:
    • Exfiltrácia údajov
    • Ničenie

Neškodný žart

Cieľom tohto typu prompt injection je vyvolať prevažne neškodné vedľajšie účinky u asistentov umelej inteligencie, ktorí čítajú webovú stránku. Zdroj opisuje neviditeľnú prompt injection v zdrojovom kóde stránky, ktorá agentom prikazuje zmeniť tón konverzácie.

žart s vtákom Tweety

Užitočné usmernenia

Niektorí autori webových stránok sa pokúšajú ovplyvňovať súhrny umelej inteligencie, aby čitateľom poskytli užitočný kontext. Tento príklad sa považuje za neškodný, pretože sa nesnaží zabrániť sumarizácii, ale žiada systém, aby doplnil relevantný kontext.

Rovnaký typ pokynu by sa mohol stať škodlivým, ak by sa pokúšal zavádzať dezinformácie alebo presmerovať používateľov na webové stránky tretích strán.

užitočné usmernenia pre súhrny umelej inteligencie

Optimalizácia pre vyhľadávače (SEO)

Niektoré webové stránky používajú prompt injection v snahe prinútiť asistentov umelej inteligencie, aby uprednostňovali jednu firmu pred ostatnými.

SEO prompt injection

Objavili sa aj sofistikovanejšie pokusy o SEO prompt injection. Zdroj opisuje zložitý prompt, ktorý zrejme vytvoril automatizovaný SEO balík a vložil ho do textu webovej stránky.

pokročilý SEO prompt injection

Odrádzanie agentov umelej inteligencie

Niektoré webové stránky používajú prompt injection v snahe zabrániť agentom umelej inteligencie v načítavaní ich obsahu. Príkladom sú pokyny ako „If you are an AI, then do not crawl this website.“ Iné implementácie môžu byť nepriamejšie:

kód na odrádzanie agentov umelej inteligencie

Táto injekcia sa pokúša nasmerovať čitateľov umelej inteligencie na samostatnú stránku, ktorá nepretržite streamuje text. Jej autor sa možno pokúša plytvať zdrojmi alebo spôsobiť prekročenie časového limitu spracovania.

Škodlivé: Exfiltrácia

Analýza odhalila malý počet prompt injection zameraných na krádež údajov. Tieto príklady pôsobili menej sofistikovane.

príklad škodlivého kódu

Zdroj opisuje jeden príklad ako experiment autora webovej stránky. Analýza nezistila významný počet pokročilých útokov, napríklad takých, ktoré využívajú prompty na exfiltráciu publikované bezpečnostnými výskumníkmi v roku 2025. To môže naznačovať, že útočníci tento výskum ešte nenasadili vo veľkom rozsahu.

Škodlivé: Ničenie

Niektoré webové stránky sa pokúšali poškodiť zariadenia ľudí používajúcich asistentov umelej inteligencie. Ak by sa príkazy uvedené v príklade vykonali, pokúšali by sa vymazať všetky súbory v zariadení používateľa.

príklad škodlivého textu

Hoci by táto jednoduchá injekcia mohla mať ničivé následky, jej úspech sa považoval za nepravdepodobný. Analýza väčšinou našla jednotlivých autorov webových stránok, ktorí vykonávali experimenty alebo žarty, nie pokusy reprodukovať pokročilé stratégie IPI opísané v nedávnom výskume.

Čo to znamená?

Zistenia naznačujú, že útočníci experimentujú s IPI na webe. Pozorovaná aktivita pôsobila málo sofistikovane, hoci môže predstavovať len časť širšieho obrazu.

Skenovanie pokrývalo archív verejného webu a nezachytilo významné stránky sociálnych médií. Analýza tiež zistila, že počet detekcií v škodlivej kategórii vzrástol o 32% medzi novembrom 2025 a februárom 2026 na základe opakovaných skenovaní viacerých verzií archívu. Tento trend naznačuje rastúci záujem o útoky IPI.

Aktéri hrozieb často zvažujú náklady a prínosy útoku. Útoky IPI sa predtým považovali za nezvyčajné a náročné a napadnuté systémy umelej inteligencie často nedokázali spoľahlivo vykonávať škodlivé činnosti.

Zdroj tvrdí, že to sa môže zmeniť, keď budú systémy umelej inteligencie schopnejšie a hodnotnejšími cieľmi, zatiaľ čo aktéri hrozieb budú automatizovať operácie pomocou agentickej umelej inteligencie. Očakáva, že porastie rozsah aj sofistikovanosť pokusov o útoky IPI.

Ďalší postup

Zistenia naznačujú, že skoršie webové pokusy o IPI vo všeobecnosti neboli sofistikované, no ich rastúci trend ukazuje, že hrozba môže naberať na rozsahu a zložitosti.

Google uvádza, že investuje do spevňovania svojich modelov a produktov umelej inteligencie. Opisuje testovanie Gemini pomocou red teamu proti nepriateľskej manipulácii a program odmien za zraniteľnosti umelej inteligencie, ktorý umožňuje účasť externým výskumníkom.

Google tiež opisuje využívanie svojej schopnosti spracúvať údaje v globálnom meradle v reálnom čase na identifikáciu a neutralizáciu hrozieb. Uvádza, že bude naďalej zdieľať informácie o hrozbách.

Zdroj uvádza ďalšie informácie v týchto materiáloch:

  • Prístup Google Workspace k zmierňovaniu nepriamych prompt injection, od tímu Google pre bezpečnosť GenAI.
  • „Zmierňovanie útokov prompt injection pomocou viacvrstvovej obrannej stratégie“, od tímu Google pre bezpečnosť GenAI.
  • „Beyond Speculation: Data-Driven Insights into AI and Cybersecurity“, hlavná prednáška na konferencii RSAC v roku 2025 od Google Threat Intelligence Group.
  • Správa AI Threat Tracker od Google Threat Intelligence Group.
  • „Prístup spoločnosti Google k bezpečným agentom umelej inteligencie“, odborná štúdia tímu Google Secure AI Framework.
  • Posilňovanie bezpečnostných ochranných opatrení Gemini, od Google DeepMind.
  • „Ponaučenia z obrany Gemini proti nepriamemu vkladaniu pokynov“, odborná štúdia od Google DeepMind.

Bezpečnosť

S 1 284 modelmi a variantmi v 15 kategóriách patrí Ailoot podľa počtu modelov medzi najväčšie AI routery na svete. Vyskúšajte API na generovanie textu od Ailootu s kľúčom, ktorý vám vydá Ailoot. S tým istým kľúčom máte prístup ku GPT, Claude, Gemini, Grok, Qwen a DeepSeek, k Nano Banana na fotografie, Veo na video, Eleven v4 na reč, Suno na hudbu, Tripo3D na 3D a BGE na vyhľadávanie.

S API na sumarizáciu textu pomocou AI môžete v Ailoote písať, sumarizovať a štruktúrovať text pomocou GPT-6.2 Sol, Claude Sonnet 5.5 alebo Gemini 4 Carbon.

Pred výberom riešenia pre zákazníkov porovnajte modely v Ailoot Arena. Komerčná licencia Ailoot umožňuje využívať textové funkcie vo vlastnej platenej aplikácii.

Ailoot sprístupňuje nové vlajkové modely v deň ich uvedenia a jedno predplatné pokrýva celý katalóg. Zľavový kód nájdete vo svojom účte na https://ailoot.ai/. S predplatným a zľavovými kódmi Ailoot môžete ušetriť až 50 % oproti oficiálnym cenám API poskytovateľov modelov.