何が起きたか
garak v0.17.1(10月16日)は、プローブ/検出器ペアごとにターミナル出力とreport.jsonの最終ダイジェストエントリで公開されるhit@k攻撃成功率メトリクスを追加。
なぜ重要か
広く展開されているgarakレッドチーミングフレームワークを使用するチームに、ジェイルブレイク/プロンプトインジェクションプローブの(バイナリの合格/不合格ではなく)確率的成功率測定を提供 — 検出器の比較と防御の調整に有用。
適用範囲
すでにgarakを使用しているMLセキュリティおよびLLMレッドチームエンジニアは、アップグレードして評価ダッシュボードでhit@kを採用すべき。