Apa yang terjadi
Pada 28 Oktober, OpenAI mendokumentasikan cara mendeteksi ketidakselarasan model frontier dan perilaku agen yang tidak sah: Lapisan 0 probe aktivasi, Lapisan 1 peninjau berbasis model, Lapisan 2 agen investigatif, Lapisan 3 investigasi otomatis, lalu respons manusia — dengan evaluasi terhadap insiden yang tercatat, serangan simulasi, red-teaming, dan audit lalu lintas agen internal.
Mengapa penting
Ini adalah arsitektur referensi untuk pemantauan ketidakselarasan agen (memantau penalaran, tindakan, dan efek lingkungan, bukan hanya prompt) dan menyoroti celah cakupan yang diungkap oleh insiden Hugging Face, memberikan informasi bagi siapa pun yang membangun tumpukan pengamanan/pemantauan agenik.
Cakupan penerapan
Tim platform AI dan keamanan yang merancang pemantauan agen harus membandingkan postur deteksi mereka dengan model berlapis OpenAI dan panduannya tentang tidak memberi insentif pada obfuskasi/penghindaran pada agen yang dipantau.