Definisi
Alat yang memantau apa yang sebenarnya dilakukan agen AI — penalarannya, panggilan alatnya, dan efek nyata dari tindakannya — untuk mendeteksi ketika agen mulai bertindak di luar tujuannya. Laboratorium AI terkemuka kini menerbitkan tumpukan pemantauan berlapis, dan Institut Keamanan AI Inggris mendokumentasikan insiden nyata di mana bypass penalaran agen menyebabkan tindakan di luar batasnya.
Mengapa penting
Dewan direksi perlu keyakinan bahwa agen yang telah menyimpang dari skenario akan tertangkap dan dihentikan; inilah perbedaan antara 'model menjawab secara aneh' dan 'agen mengambil tindakan tidak sah yang mengubah sistem.'