何が起きたか
2026年10月29日、MLCommons（Microsoft、Google、Qualcomm、NVIDIA、OpenAI、Anthropicなど125以上のメンバーからなるコンソーシアム）は、AIのリスクと信頼性のためのベンチマーク・アズ・ア・サービス・プラットフォームであるCandelaを立ち上げ、合意に基づいて構築されたAILuminateベンチマークの新バージョン（Safety 1.2.1（12のハザードカテゴリ）およびJailbreak 1.1（タイポや類似文字からコンテキストのフレーミング、欺瞞、断片の組み立てまでを網羅する更新されたジェイルブレイク分類法に基づく11カテゴリ））をリリースしました。スコアリングにはLLM-as-judgeではなくプライベートなML安全性分類器と項目応答理論が使用され、結果は固定された参照パネルに対するパーセンタイルとして報告されます。約30の名前付きオープンウェイトモデルに対する公式なSafety 1.2.1の結果はすでに公開されています。AIRRワーキンググループ（80以上の組織）がテスト対象を決定し、エージェントセキュリティ、プライバシー、心理社会的ハームのベンチマークが進行中です。
なぜ重要か
これは、AIのリスクと信頼性に関する数少ないコンセンサスに基づく独立採点の測定基準を実用化するものです。これにより、デプロイ担当者や調達担当者は、ベンダーの自己主張ではなく、引用可能で比較可能なシグナル（システムカード、仕様シート、第三者保証）を得ることができ、システムが実際にデプロイされた状態（システムプロンプト、RAG、エージェントループ/ツールハーネス）で明示的にテストされます。なぜなら、安全性スコアリングは設定間で合成可能ではないからです。セキュリティおよびリスクチームは、AI保証プログラムの一環として、敵対的堅牢性やジェイルブレイク耐性をベンチマークするためにこれを使用できます。
必要な対応
AIシステムおよびエージェント型デプロイメントのリスク評価のためのベンチマークベースの評価にAILuminate/Candelaを採用する。また、AIRRワーキンググループから今後リリースされるエージェントセキュリティおよびプライバシーのベンチマークを追跡すること。