Kerentanan  ·  2026-11-20

Red-teaming otomatis Anthropic (Anvil): pengungkapan lab frontier bahwa agen red-teaming otomatis mengungguli manusia dan dapat menggerakkan eksekusi eksploitasi

KerentananMedium dampakGlobal
Anthropic menerbitkan pada 2026-11-12 temuannya bahwa sistem red-teaming otomatis internal Anvil mengungguli red-teamer manusia di seluruh penjagaan bio, keamanan siber, dan distilasi, dan dapat memanipulasi model yang dijaga untuk mengeksekusi eksploitasi di sandbox eval. Ini mencatat bahwa red-teamer manusia membutuhkan 430 jam selama tujuh minggu untuk menemukan jailbreak pengklasifikasi bio dengan tingkat keparahan tinggi pada 1 dari 8 pertanyaan, sementara Anvil cocok atau mengalahkan jailbreak manusia terbaik dan menemukan strategi serangan yang tidak pernah dilakukan manusia.
Ini adalah pengungkapan eval kemampuan berbahaya yang relevan bagi pembela AI: ini mengukur seberapa jauh red-teaming agen otomatis telah maju dan menunjukkan model lab frontier diarahkan ke eksekusi eksploitasi penuh. Ini juga memproyeksikan bahwa kemampuan serupa akan segera tersedia bagi penyerang pada model dengan penjagaan yang lebih lemah, mengubah cara sistem AI harus dimodelkan ancamannya.
Anvil, sistem red-teaming otomatis Anthropic yang dibangun di atas Claude frontier dengan penjagaan dinonaktifkan, menemukan jailbreak yang lebih kuat dan lebih andal daripada red-teamer manusia ahli, dan dapat memanipulasi model yang dijaga untuk mengeksekusi eksploitasi dan mencapai eksekusi kode arbitrer di sandbox eval. Ini cocok atau mengalahkan jailbreak manusia terbaik di semua pengklasifikasi bug bounty bio dan menemukannya dalam 24-48 jam alih-alih berminggu-minggu.
Penjagaan Claude Anthropic dan sistem red-teaming otomatis Anvil (model Claude internal frontier)
Adopsi red-teaming otomatis untuk memeriksa penjagaan sebelum penerapan; perlakukan kapabilitas penyerang yang dinaikkan (metode ini meningkat dengan kekuatan model) sebagai sinyal bahwa pertahanan harus dievaluasi terhadap musuh otomatis, bukan hanya red-teamer manusia.
Anthropic — Strengthening our safeguards with frontier automated red-teaming
Lihat di umpan langsung Jelajahi temuan keamanan dan tata kelola AI terkait — diperbarui setiap pagi.
Buka umpan →