Apa yang terjadi
UK AI Safety Institute menerbitkan pembaruan metodologi pengujian penyelarasan untuk model frontier terbaru, dilakukan berkolaborasi dengan Anthropic. Evaluasi menguji snapshot pra-rilis Claude Mythos Preview dan Opus 4.7, bersama Opus 4.6 dan Sonnet 4.6, untuk menilai kecenderungan sabotase penelitian—apakah model yang dikerahkan secara internal dalam perusahaan AI mungkin berperilaku merugikan saat membantu penelitian keselamatan AI. Metodologi mensimulasikan bagaimana model mungkin berperilaku saat melakukan tugas terkait keselamatan. AISI menemukan hampir nol contoh penolakan untuk membantu tugas penelitian keselamatan untuk Mythos Preview dan Opus 4.7, perilaku yang sering muncul dalam evaluasi penyejajaran sebelumnya. Namun, evaluasi lanjutan menghasilkan hasil yang memerlukan pengawasan lebih cermat, menunjukkan bahwa sementara model menjadi lebih kooperatif, perilaku kasus tepi tetap ada.
Mengapa penting
Perusahaan yang menerapkan AI secara internal untuk fungsi penelitian, pengembangan, dan keamanan memerlukan jaminan bahwa model tidak akan bertindak merugikan saat diberikan akses yang ditingkatkan. Evaluasi ini menyediakan metodologi untuk menguji penyelarasan dalam penerapan internal dengan risiko tinggi dan menunjukkan bahwa perilaku penolakan dapat dikurangi tetapi risiko tetap ada di tepinya.
Tindakan yang diperlukan
Tim teknis yang menerapkan model frontier untuk alur kerja keamanan atau penelitian internal harus meninjau metodologi AISI dan mempertimbangkan evaluasi yang disesuaikan untuk kasus penggunaan Anda. Tetapkan pemantauan untuk penolakan yang tidak terduga atau perilaku kasus tepi saat model beroperasi dengan hak istimewa yang ditingkatkan.