Apa yang terjadi
Dalam esai bertanda tangan di blog resmi OpenAI, Ilmuwan Kepala Jakub Pachocki menyatakan: 'Berdasarkan hasil internal, saya memiliki ekspektasi kuat bahwa kecepatan kemajuan ini dapat dipertahankan ke dalam self-improvement rekursif [RSI]... sistem yang akan kami lihat dalam beberapa tahun mendatang kemungkinan mewakili lompatan kemampuan lebih lanjut dengan besaran yang sama atau lebih besar, dan semakin banyak mendorong pengembangan mereka sendiri.' Dia membedakan 'goal alignment' (mengikuti instruksi) dari 'value alignment' (menggeneralisasi penilaian baik ke situasi yang tidak terlatih), dan mengungkapkan bahwa pemantauan chain-of-thought — teknik utama OpenAI untuk menginspeksi penalaran model sebelum bertindak — menjadi kurang andal seiring peningkatan kemampuan. Pachocki menyatakan bahwa tidak ada laboratorium yang telah menyelesaikan alignment dengan cukup baik untuk membenarkan penskalaan dengan kecepatan maksimum tanpa batas dan menyerukan perlambatan industri sukarela ditambah koordinasi pemerintah internasional sebagai 'prioritas tertinggi bagi pemerintah.'
Mengapa penting
Seorang ilmuwan kepala laboratorium perbatasan secara terbuka mengakui bahwa teknik pemantauan keamanan intinya sedang menurun, sambil menandai self-improvement rekursif sebagai kemungkinan jangka pendek, adalah sinyal material bagi dewan dan pembuat kebijakan yang menilai kredibilitas regulasi diri laboratorium perbatasan dan urgensi tata kelola AI eksternal.
Tindakan yang diperlukan
Briefing dewan tentang implikasi penurunan monitorability chain-of-thought untuk penyebaran agen AI perusahaan yang mengandalkan jaminan keamanan yang disediakan laboratorium, dan lacak panggilan untuk koordinasi RSI internasional dalam horizon-scanning regulasi.