Definisi
Serangan yang mengeksploitasi kelemahan dalam aturan yang digunakan agen AI untuk memutuskan siapa yang harus dipercaya atau dipatuhi. Misalnya, agen AI mungkin dikonfigurasi untuk hanya menerima instruksi dari pengguna dalam whitelist — tetapi jika whitelist itu memeriksa field yang dapat diubah penyerang (seperti nama tampilan), penyerang dapat menyamar sebagai identitas yang dipercaya dan mengeluarkan instruksi yang tidak sah.
Mengapa penting
Banyak penerapan agen AI mengandalkan pemeriksaan sederhana berbasis metadata untuk menegakkan batas kepercayaan. Penelitian menemukan pola ini rusak di seluruh beberapa platform pesan secara bersamaan, yang berarti penyerang di saluran tersebut dapat mengalihkan tindakan agen tanpa memerlukan exploit teknis apa pun.