Apa yang terjadi
Pada 20 Oktober, Gray Swan meluncurkan Arena 2.0, platform red-teaming publik yang didesain ulang, dan membuka kompetisi terbesarnya sejauh ini: 'Indirect Prompt Injection (IPI) Black', tantangan $300K yang disponsori oleh Anthropic, Meta, Google DeepMind, dan Reflection AI, dengan skenario serangan baru setiap minggu hingga 2 November. Platform ini membangun lingkungan simulasi realistis dengan sandbox, memerlukan manusia untuk mengemudikan setiap agen, dan menambahkan jalur pembelajaran bertahap, sertifikat pelatihan, dan rute ke komunitas red-team berbayar Gray Swan.
Mengapa penting
IPI melalui konten web/forum yang diracuni adalah risiko agen yang dominan, dan ini membawa red-teaming terstruktur yang disponsori dan berfokus pada agen ke domain publik dengan eksekusi sandbox yang aman. Red-teaming bergerak dari jailbreak model statis ke eksploitasi alur kerja agen multi-putaran — sinyal terdepan untuk pengujian keamanan agen.
Cakupan penerapan
Peneliti keamanan, tim red team, dan perusahaan yang membangun agen pengguna web harus memantau/berpartisipasi untuk memahami pola serangan IPI dan perilaku lolos sandbox agen; berguna untuk mengevaluasi platform red-teaming agen sebelum membeli.