Defense  ·  用語集

AI red-teaming

AI システムを悪い動作をさせようとする専門のチーム(内部または外部)を配置する慣行:有害なコンテンツを生成する、プライベートデータを漏らす、操作される、または安全上重要な方法で失敗する。これはサイバーセキュリティの倫理的ハッキングの慣行を反映していますが、AI システムに特別に適応されています。
標準的なソフトウェアテストは、AI 固有の障害モードをキャッチできません。デプロイ前のレッドチーミングは、組織が自社の AI がどのように悪用される可能性があるかを発見する主要な方法であり、規制当局はそれが実施されたという証拠をますます期待しています。
参考資料
NIST AI Risk Management Framework (AI RMF 1.0)
ライブフィードで追跡 この概念が実際のAIセキュリティ・ガバナンスの動向でどう現れるかを確認。
フィードを開く →