Defense  ·  用語集

Automated red-teaming (agentic red-teaming)

AIエージェントを使用して、AIシステムの弱点や悪用可能な振る舞いを自動的に調査する手法であり、人間のテスターだけに依存するのではありません。フロンティアラボやベンダーは現在、自動化されたレッドチーミングエージェントが人間を上回り、実際のエクスプロイト実行を推進できることを開示しています。
攻撃者自身がAIで自動化するにつれて、防御側もAIの速度で弱点を発見しテストできるAIが必要です。自動化されたレッドチーミングが現在人間のテスターを上回っているという事実は、新たな能力であると同時に、攻撃側がどれほど速く動いているかについての警告でもあります。
Anthropic automated red-teaming (Anvil)
ライブフィードで追跡 この概念が実際のAIセキュリティ・ガバナンスの動向でどう現れるかを確認。
フィードを開く →