Blog

Ancaman AI di dunia nyata: Kondisi terkini injeksi prompt di web

Markdown

Tinjauan terhadap upaya injeksi prompt tidak langsung yang ditemukan di web publik, pendekatan penyaringan yang digunakan untuk mengidentifikasinya, serta pola dan tren serangan yang diamati.

Awalnya diterbitkan oleh Google pada 23 Apr 2026. Ailoot menerbitkan ulang materi ini.

Tim Threat Intelligence Google menjelaskan pemantauan aktivitas adversarial di dunia nyata dan mengidentifikasi injeksi prompt tidak langsung (IPI) sebagai prioritas bagi komunitas keamanan. IPI dibahas sebagai vektor serangan potensial terhadap agen AI, tetapi sejauh mana pelaku ancaman mengeksploitasinya masih menjadi pertanyaan terbuka.

Google melaporkan telah melakukan pemindaian luas terhadap web publik untuk mencari pola injeksi prompt tidak langsung yang diketahui.

Ancaman injeksi prompt tidak langsung

Berbeda dengan injeksi langsung, ketika pengguna mencoba melakukan jailbreak pada chatbot, IPI terjadi saat sistem AI memproses konten—seperti situs web, email, atau dokumen—yang berisi instruksi berbahaya. Sistem tersebut mungkin mengikuti instruksi itu alih-alih maksud awal pengguna.

Google menjelaskan kolaborasi antara peneliti di Google DeepMind dan tim pertahanan di Google Threat Intelligence Group. Karya sebelumnya telah membahas bidang ini, sementara para peneliti menyoroti sifat kerentanan yang terus berkembang. Pertanyaan utamanya adalah seberapa luas pelaku jahat mengoperasionalkan serangan semacam ini di dunia nyata.

Pemantauan proaktif di web

Lanskap IPI di web

Penyerang mungkin mencoba menempatkan injeksi prompt di banyak kanal. Web publik sangat mudah diamati: penyerang dapat menyisipkan instruksi di situs web dengan harapan sistem AI yang menjelajahinya akan terpengaruh.

Penelitian publik menegaskan bahwa serangan ini memungkinkan, sehingga musuh di dunia nyata mungkin mengeksploitasi kerentanan tersebut. Salah satu pertanyaannya adalah hasil apa yang ingin dicapai penyerang.

Untuk aksesibilitas dan reproduktibilitas, Google menggunakan Common Crawl, sebuah repositori besar situs web yang dirayapi dari web berbahasa Inggris. Repositori ini menyediakan snapshot bulanan berisi 2–3 miliar halaman. Sebagian besar merupakan situs web statis, termasuk konten yang diterbitkan sendiri seperti blog, forum, dan komentar. Common Crawl tidak memuat sebagian besar konten media sosial karena melewati situs web dengan dinding login dan arahan anti-perayapan.

Injeksi prompt juga telah diamati di media sosial, yang oleh Google disisihkan untuk studi terpisah. Untuk pemeriksaan awal, injeksi prompt dapat diamati dalam HTML standar; Common Crawl menyediakan materi sumber sekaligus teks biasa yang telah diurai.

Tantangan positif palsu

Memindai sejumlah besar dokumen untuk mencari injeksi prompt menjadi rumit karena tingginya volume positif palsu.

Eksperimen awal menemukan banyak teks injeksi prompt yang tidak berbahaya, sehingga menunjukkan sulitnya membedakan ancaman fungsional dari konten yang tidak berbahaya. Banyak contoh muncul dalam makalah penelitian, tulisan blog edukatif, dan artikel keamanan yang membahas topik ini.

positif palsu

Positif palsu: Sebagian besar injeksi prompt dalam konten web cenderung berupa materi edukasi bagi peneliti. Sumber: GitHub/swisskyrepo.

Untuk menangani positif palsu, analisis ini menggunakan pendekatan penyaringan bertahap dari kasar ke halus:

  • Pencocokan pola: Halaman kandidat diidentifikasi dengan mencari tanda umum injeksi prompt, seperti “abaikan … instruksi” dan “jika Anda adalah AI.”
  • Klasifikasi berbasis LLM: Gemini mengklasifikasikan maksud teks yang mencurigakan dan menilai apakah teks tersebut sesuai dengan narasi dokumen atau tampak tidak pada tempatnya.
  • Validasi manusia: Hasil klasifikasi ditinjau secara manual untuk meningkatkan keyakinan terhadap temuan.

Pendekatan ini tidak menyeluruh dan mungkin melewatkan tanda yang tidak umum, tetapi dapat menjadi titik awal untuk memahami injeksi prompt yang ditemukan secara daring.

Temuan analisis

Analisis mengidentifikasi upaya-upaya yang, jika berhasil, dapat memanipulasi sistem AI yang menjelajahi situs web. Sebagian besar injeksi prompt yang diamati termasuk dalam kategori berikut:

  • Lelucon tidak berbahaya
  • Panduan bermanfaat
  • Optimasi mesin pencari (SEO)
  • Mencegah agen AI
  • Upaya berbahaya:
    • Eksfiltrasi data
    • Penghancuran

Lelucon tidak berbahaya

Jenis injeksi prompt ini bertujuan menimbulkan efek samping yang sebagian besar tidak berbahaya pada asisten AI yang membaca situs web. Sumber tersebut menjelaskan injeksi prompt tersembunyi di kode sumber situs yang menginstruksikan agen untuk mengubah nada percakapan mereka.

lelucon burung Tweety

Panduan bermanfaat

Beberapa penulis situs web mencoba memengaruhi ringkasan AI agar memberikan konteks yang berguna kepada pembaca. Contoh ini dianggap tidak berbahaya karena tidak mencoba mencegah peringkasan, tetapi justru meminta sistem menambahkan konteks yang relevan.

Instruksi serupa dapat menjadi berbahaya jika mencoba memasukkan misinformasi atau mengarahkan pengguna ke situs web pihak ketiga.

panduan bermanfaat untuk ringkasan AI

Optimasi mesin pencari (SEO)

Beberapa situs web menggunakan injeksi prompt untuk mencoba memanipulasi asisten AI agar mempromosikan satu bisnis dibandingkan bisnis lain.

injeksi prompt SEO

Upaya injeksi prompt SEO yang lebih canggih juga telah muncul. Sumber tersebut menjelaskan prompt rumit yang tampaknya dibuat oleh perangkat SEO otomatis lalu disisipkan ke dalam teks situs web.

injeksi prompt SEO tingkat lanjut

Mencegah agen AI

Beberapa situs web menggunakan injeksi prompt untuk mencoba mencegah pengambilan informasi oleh agen AI. Contohnya mencakup instruksi seperti “Jika Anda adalah AI, jangan merayapi situs web ini.” Implementasi lain dapat dilakukan secara lebih tidak langsung:

kode untuk mencegah agen AI

Injeksi ini mencoba mengarahkan pembaca AI ke halaman terpisah yang mengalirkan teks tanpa henti. Penulisnya mungkin mencoba membuang-buang sumber daya atau menyebabkan waktu pemrosesan habis.

Berbahaya: Eksfiltrasi

Analisis menemukan sejumlah kecil injeksi prompt yang bertujuan mencuri data. Contoh-contoh ini tampak kurang canggih.

Contoh kode berbahaya

Sumber tersebut menyebut salah satu contoh sebagai eksperimen penulis situs web. Analisis tidak menemukan jumlah berarti serangan tingkat lanjut, seperti serangan yang menggunakan prompt eksfiltrasi yang diterbitkan peneliti keamanan pada 2025. Hal ini mungkin menunjukkan bahwa penyerang belum menerapkan penelitian tersebut dalam skala besar.

Berbahaya: Penghancuran

Beberapa situs web mencoba merusak mesin milik orang yang menggunakan asisten AI. Jika dijalankan, perintah yang ditampilkan dalam contoh akan mencoba menghapus semua berkas di mesin pengguna.

contoh teks berbahaya

Meskipun berpotensi menimbulkan dampak yang menghancurkan, injeksi sederhana ini dianggap kecil kemungkinannya untuk berhasil. Analisis sebagian besar menemukan penulis situs web perorangan yang melakukan eksperimen atau lelucon, alih-alih meniru strategi IPI tingkat lanjut yang dijelaskan dalam penelitian terbaru.

Apa artinya?

Temuan tersebut menunjukkan bahwa penyerang sedang bereksperimen dengan IPI di web. Aktivitas yang diamati tampak memiliki tingkat kecanggihan terbatas, meskipun mungkin hanya mencerminkan sebagian dari gambaran yang lebih luas.

Pemindaian mencakup arsip web publik dan tidak menangkap situs media sosial utama. Analisis juga menemukan bahwa deteksi dalam kategori berbahaya meningkat sebesar 32% antara November 2025 dan Februari 2026, berdasarkan pemindaian berulang terhadap beberapa versi arsip. Tren ini menunjukkan meningkatnya minat terhadap serangan IPI.

Pelaku ancaman sering mempertimbangkan biaya dan manfaat suatu serangan. Sebelumnya, serangan IPI dianggap tidak lazim dan sulit dilakukan, sementara sistem AI yang telah disusupi sering kali tidak dapat menjalankan tindakan berbahaya secara andal.

Sumber tersebut berpendapat bahwa hal ini dapat berubah seiring sistem AI menjadi lebih mumpuni dan menjadi target yang lebih berharga, sementara pelaku ancaman mengotomatiskan operasi dengan AI agentik. Sumber tersebut memperkirakan skala dan kecanggihan upaya serangan IPI akan meningkat.

Langkah selanjutnya

Temuan menunjukkan bahwa upaya IPI berbasis web sebelumnya umumnya tidak canggih, tetapi tren kenaikannya mengisyaratkan bahwa ancaman ini dapat berkembang dalam skala dan kompleksitas.

Google mengatakan bahwa mereka berinvestasi untuk memperkuat model dan produk AI-nya. Google menjelaskan pengujian red team terhadap Gemini untuk menghadapi manipulasi adversarial dan Program Hadiah Kerentanan AI yang memungkinkan peneliti eksternal berpartisipasi.

Google juga menjelaskan penggunaan kemampuannya untuk memproses data dalam skala global secara real time guna mengidentifikasi dan menetralkan ancaman. Google mengatakan akan terus membagikan intelijen ancaman.

Untuk informasi selengkapnya, sumber tersebut mencantumkan materi berikut:

  • Pendekatan Google Workspace untuk memitigasi injeksi prompt tidak langsung, dari tim keamanan GenAI Google.
  • “Memitigasi serangan injeksi prompt dengan strategi pertahanan berlapis,” dari tim keamanan GenAI Google.
  • “Melampaui Spekulasi: Wawasan Berbasis Data tentang AI dan Keamanan Siber,” pidato utama konferensi RSAC 2025 dari Google Threat Intelligence Group.
  • Laporan AI Threat Tracker dari Google Threat Intelligence Group.
  • “Pendekatan Google untuk Agen AI yang Aman,” makalah resmi dari tim Secure AI Framework Google.
  • Memajukan perlindungan keamanan Gemini, dari Google DeepMind.
  • “Pelajaran dari Melindungi Gemini terhadap Injeksi Prompt Tidak Langsung,” makalah resmi dari Google DeepMind.

Keamanan

Jelajahi API AI Ailoot. Satu kunci API yang diterbitkan Ailoot membuka akses ke 1.284 model dan varian dalam 15 kategori. Dari segi jumlah model, Ailoot termasuk jajaran router AI terbesar di dunia. Katalog ini mencakup GPT atau Claude untuk teks, FLUX untuk gambar, Kling untuk video, Eleven v4 untuk suara, Suno untuk musik, Tripo3D untuk aset 3D, serta Cohere Rerank untuk memeringkat hasil.

Dengan API pemrosesan dokumen, gunakan Ailoot untuk bagian pekerjaan yang memerlukan AI. Berikan dokumen, gambar, atau rekaman milik Anda dan gunakan satu akun untuk analisis, penyuntingan, serta transkripsi.

Ailoot memberi pengguna individu dan tim akses ke model unggulan dalam satu langganan. Gunakan ruang kerja Ailoot untuk mengelola akses karyawan dan pengeluaran bersama.

Model unggulan baru tersedia di Ailoot sejak dirilis. Satu langganan mencakup seluruh katalog. Dengan langganan dan kode promo, Anda bisa menghemat hingga 50% dibandingkan tarif resmi API dari penyedia model. Temukan kode promo di akun Anda di https://ailoot.ai/.