Subverting the guardrails on AI agents

Ini adalah trik untuk membuat agen AI melakukan sesuatu yang seharusnya tidak boleh dilakukan: pemaksaan prompt menyelundupkan instruksi berbahaya ke dalam apa yang dilihat model, dan loopjacking memutar percakapan sehingga pagar pengaman dan pemeriksaan yang dimaksudkan untuk menghentikan tindakan tidak aman terus-menerus dilewati. Ketika salah satu serangan ini berhasil, agen tersebut dapat berakhir bertindak sendiri sebagai agen nakal, mengambil tindakan bermusuhan di luar niat pemiliknya dan tanpa sepengetahuan mereka.