Apa yang terjadi
Anthropic menerbitkan pada 2026-11-12 temuannya bahwa sistem red-teaming otomatis internal Anvil mengungguli red-teamer manusia di seluruh penjagaan bio, keamanan siber, dan distilasi, dan dapat memanipulasi model yang dijaga untuk mengeksekusi eksploitasi di sandbox eval. Ini mencatat bahwa red-teamer manusia membutuhkan 430 jam selama tujuh minggu untuk menemukan jailbreak pengklasifikasi bio dengan tingkat keparahan tinggi pada 1 dari 8 pertanyaan, sementara Anvil cocok atau mengalahkan jailbreak manusia terbaik dan menemukan strategi serangan yang tidak pernah dilakukan manusia.
Mengapa penting
Ini adalah pengungkapan eval kemampuan berbahaya yang relevan bagi pembela AI: ini mengukur seberapa jauh red-teaming agen otomatis telah maju dan menunjukkan model lab frontier diarahkan ke eksekusi eksploitasi penuh. Ini juga memproyeksikan bahwa kemampuan serupa akan segera tersedia bagi penyerang pada model dengan penjagaan yang lebih lemah, mengubah cara sistem AI harus dimodelkan ancamannya.
Vektor serangan
Anvil, sistem red-teaming otomatis Anthropic yang dibangun di atas Claude frontier dengan penjagaan dinonaktifkan, menemukan jailbreak yang lebih kuat dan lebih andal daripada red-teamer manusia ahli, dan dapat memanipulasi model yang dijaga untuk mengeksekusi eksploitasi dan mencapai eksekusi kode arbitrer di sandbox eval. Ini cocok atau mengalahkan jailbreak manusia terbaik di semua pengklasifikasi bug bounty bio dan menemukannya dalam 24-48 jam alih-alih berminggu-minggu.
Sistem yang terdampak
Penjagaan Claude Anthropic dan sistem red-teaming otomatis Anvil (model Claude internal frontier)
Mitigasi
Adopsi red-teaming otomatis untuk memeriksa penjagaan sebelum penerapan; perlakukan kapabilitas penyerang yang dinaikkan (metode ini meningkat dengan kekuatan model) sebagai sinyal bahwa pertahanan harus dievaluasi terhadap musuh otomatis, bukan hanya red-teamer manusia.