Apa yang terjadi
Makalah ini mensistematisasikan keamanan agen riset mendalam di seluruh pengambilan, perencanaan, integrasi bukti, dan pembuatan laporan, menyelaraskannya dengan keracunan RAG / injeksi prompt / optimasi mesin generatif, dan mencatat hanya 26,5% dari 34 studi yang disurvei mencakup tahap perencanaan. Ini memperkenalkan dan mengevaluasi secara empiris serangan penyemaian agenda, di mana menyuntikkan tujuan evaluasi yang dipilih penyerang (tanpa instruksi eksplisit) mengalihkan output agen.
Mengapa penting
Ini adalah kelas serangan baru yang terbukti secara empiris pada pipeline agen yang banyak digunakan untuk laporan riset dan analis: penyerang dapat mengarahkan agen ke kesimpulan yang dipilih tanpa injeksi prompt apa pun, merusak integritas laporan yang dihasilkan AI yang diperlakukan oleh sistem hilir dan manusia sebagai temuan yang didukung kutipan.
Vektor serangan
Alih-alih menulis instruksi, penyerang hanya memperkenalkan metrik evaluasi fiktif ke dalam konteks riset. Dari 3.520 run sandbox, target penyerang menjadi pilihan teratas di 16 hingga 28 persen laporan, sementara GEO dan injeksi prompt hampir tidak efektif; deteksi injeksi dan penjangkaran kueri gagal melawannya dan prompting verifikasi merusak utilitas.
Sistem yang terdampak
Agen riset mendalam dan agen pencarian agentik (pengambilan, perencanaan, integrasi bukti, pembuatan laporan)
Mitigasi
Terapkan penandaan asal-usul (mempertahankan utilitas tetapi dapat dilewati oleh umpan multi-situs); perlakukan output riset dari sumber yang tidak diverifikasi sebagai kepercayaan rendah; validasi metrik evaluasi yang dioptimalkan agen.