何が起きたか
AISIはoptstop(2026年8月27日リリース)をリリースしました。Inspect評価フレームワークと統合されたオープンソースPythonパッケージで、モデルパフォーマンス推定値が精度/安定化閾値を満たしたら適応的にサンプリングを停止し、スコア推定値をシフトさせずにバイナリ/序数/連続ベンチマーク(MATH、GPQA Diamond、WritingBench)全体で57～97%の試験削減を報告します。
なぜ重要か
フロンティア安全性/能力評価は、ますます数億のトークンを必要とします。政府支援で監査可能な早期停止方法は、厳密な危険能力と安全性評価を実行するコストを大幅に削減し、ラボとサードパーティ評価者がフロンティアモデルをテストする頻度と完全性を潜在的に増加させます。
適用範囲
Inspectベースの評価を実行するAIラボ、サードパーティ評価者、モデルリスクチームはシャドウモードでoptstopをパイロットしてから、安全上重要な評価でライブ停止を有効にしてください。