何が起きたか
CSETは、AIレッドチーム実践者へのインタビューに基づく研究論文を発表し、レッドチーム活動の結果が一貫性なく報告されていると主張し、公開開示のための体系的な枠組みを提案しました。この論文は、あらゆるレッドチーム演習の後に報告されるべき4つの側面を特定しています：(1) テスト範囲を決定するために使用された脅威モデル、(2) 方法論の詳細、(3) 誘発された害、欠陥、または脆弱性、(4) 緩和のための実用的な情報。この論文は、現在の実践を「科学的根拠の欠如、一貫性のないテスト手法、外部利害関係者との不整合」に苦しんでいると特徴付け、「AIレッドチーム活動の結果を報告する方法を体系化することが、エコシステム全体の断片化を減らすための第一歩である」と述べています。推奨事項はAI開発者、展開事業者、レッドチーム担当者を対象としており、政策立案者には情報共有チャネルの創設、政府評価機関の支援、開示に対するインセンティブの改善を求めています。
なぜ重要か
これは、AIの安全性とセキュリティ評価結果がどのように開示されるかについての新興のテンプレートであり、レッドチームの所見を解釈しなければならないコンプライアンスおよび技術リーダー、そしてモデル評価とインシデント報告に向けた規制の動きに直接関連しています。
必要な対応
開示およびインシデント報告のルールが厳格化する前に、上記の4つの報告側面を自組織の既存のレッドチーム活動およびモデル評価の成果物に対応付けてください。