何が起きたか
10月23日、Cisco Foundation AIは「Introducing Agentic Evaluation in FAITH」を公開し、FAITHサイバーセキュリティ評価フレームワークにマルチステップのツール使用エージェントタスクを追加しました。その最初の統合エージェントベンチマークであるVulnLocは、エージェントがリポジトリ内の脆弱なファイルを特定する能力（フェーズA、正解ファイルセットの一致）と、パッチ済みコードに対する誤検出を回避する能力（フェーズB、真陰性率）をスコアリングします。FAITHは現在、モデル-エージェント-ツールの相互作用ループを管理し、完全な会話/ツール呼び出しトレースを記録し、DockerまたはKubernetesの「Agent Sandbox」を介して読み取り専用のリポジトリアクセスで実行できます。
なぜ重要か
サイバーセキュリティエージェントがマルチステップの自律行動を取るにつれ、結果のみのスコアリングでは不十分です。Agentic FAITHは、防御者にツール選択、中間決定、停止行動、誤警報を測定する再現可能なオープンスタンダードな方法を提供します。これは市場に不足しているツールです。大手ベンダーからの注目すべきオープンソース機能です。
適用範囲
エージェント型ペンテスト/脆弱性発見エージェントを評価しているレッドチームやAIセキュリティチームは、回答精度だけでなくプロセスレベルのスコアリングのために、Agentic FAITH/VulnLocを評価スイートに追加すべきです。