定義
AIモデルが実際に有害なタスクを単独で実行できるかどうかを測定するために設計されたテスト。例えば、ソフトウェアの脆弱性を発見し、それを悪用するといったタスクである。このようなベンチマークでモデルが天井に近いスコアを獲得した場合、自律的なサイバー攻撃能力の閾値を超えたことを示す。
なぜ重要か
これらの能力測定値は、リスクと責任の判断を左右する——何を許可するか、何をライセンスするか、そしてエージェントがそのスキルを誤用した場合に誰が責任を負うか——そのため、取締役会は見出しだけでなく、これらの測定値を読む必要がある。