Kerentanan  ·  2026-11-20

Keamanan Agen Riset Mendalam: serangan penyemaian agenda baru mengalahkan deteksi injeksi (arXiv)

KerentananMedium dampakGlobal
Makalah ini mensistematisasikan keamanan agen riset mendalam di seluruh pengambilan, perencanaan, integrasi bukti, dan pembuatan laporan, menyelaraskannya dengan keracunan RAG / injeksi prompt / optimasi mesin generatif, dan mencatat hanya 26,5% dari 34 studi yang disurvei mencakup tahap perencanaan. Ini memperkenalkan dan mengevaluasi secara empiris serangan penyemaian agenda, di mana menyuntikkan tujuan evaluasi yang dipilih penyerang (tanpa instruksi eksplisit) mengalihkan output agen.
Ini adalah kelas serangan baru yang terbukti secara empiris pada pipeline agen yang banyak digunakan untuk laporan riset dan analis: penyerang dapat mengarahkan agen ke kesimpulan yang dipilih tanpa injeksi prompt apa pun, merusak integritas laporan yang dihasilkan AI yang diperlakukan oleh sistem hilir dan manusia sebagai temuan yang didukung kutipan.
Alih-alih menulis instruksi, penyerang hanya memperkenalkan metrik evaluasi fiktif ke dalam konteks riset. Dari 3.520 run sandbox, target penyerang menjadi pilihan teratas di 16 hingga 28 persen laporan, sementara GEO dan injeksi prompt hampir tidak efektif; deteksi injeksi dan penjangkaran kueri gagal melawannya dan prompting verifikasi merusak utilitas.
Agen riset mendalam dan agen pencarian agentik (pengambilan, perencanaan, integrasi bukti, pembuatan laporan)
Terapkan penandaan asal-usul (mempertahankan utilitas tetapi dapat dilewati oleh umpan multi-situs); perlakukan output riset dari sumber yang tidak diverifikasi sebagai kepercayaan rendah; validasi metrik evaluasi yang dioptimalkan agen.
arXiv:2611.20045 — Security of Deep Research Agents
Lihat di umpan langsung Jelajahi temuan keamanan dan tata kelola AI terkait — diperbarui setiap pagi.
Buka umpan →