定義
AIモデルがリスクのある能力を測定するために設計されたテストで最大スコアに近いスコアを獲得する場合、そのテストはその能力が実際にどの程度さらに進歩したのかをもはや示すことができなくなります。デュアルユース生物学知識などの機密分野では、飽和したベンチマークにより、評価者は新しいモデルがより危険になっているのか、それとも以前と同じ程度の能力を持っているのかを確認することができなくなります。
なぜ重要か
規制当局と安全チームはこれらのベンチマークを初期警告システムとして依存しており、一度飽和すると、その警告システムは事実上機能しなくなるため、意思決定者はリスク指標が有用な情報を提供しなくなった時期を知る必要があります。