何が起きたか
10月20日、Gray Swanは再設計された公開レッドチームプラットフォームであるArena 2.0を立ち上げ、これまでで最大のコンペティションを開始しました：'Indirect Prompt Injection (IPI) Black'、Anthropic、Meta、Google DeepMind、Reflection AIがスポンサーの30万ドルチャレンジで、11月2日まで毎週新しい攻撃シナリオが追加されます。このプラットフォームは、サンドボックスを備えた現実的なシミュレーション環境を構築し、各エージェントを人間が操作することを要求し、段階的な学習パス、トレーニング証明書、Gray Swanの有料レッドチームコミュニティへのルートを追加します。
なぜ重要か
悪意あるWebコンテンツ/フォーラムを介したIPIは主要なエージェントリスクであり、これは構造化されたスポンサー付きのエージェント特化型レッドチームを、安全なサンドボックス実行とともに公開領域にもたらします。レッドチームは静的モデルジェイルブレイクからマルチターンエージェントワークフローの脱出策へ移行しており、エージェントセキュリティテストの最先端シグナルです。
適用範囲
セキュリティ研究者、レッドチーム、Webを利用するエージェントを構築する企業は、IPI攻撃パターンとエージェントサンドボックス脱出挙動を理解するために監視/参加すべき。エージェントレッドチームプラットフォームの購入前評価に有用。