정의
고급(소위 '초지능') AI로 인한 피해를 탐지하고, 통제하며, 보고하는 프로세스 — 문제를 일으키는 자율 에이전트가 피해를 입히기 전에 멈추는 것을 포함. 전통적인 사고 대응 플레이북은 엔드포인트에 인간이 있다고 가정하며, 스스로 행동하는 에이전트를 안정적으로 멈출 수 없다.
왜 중요한가
규제 기관들은 취소 가능한 권한과 킬 메커니즘을 요구하고 있다. 통제 불능 상태의 에이전트는 인간이 개입할 수 있는 것보다 빠르게 피해를 입힐 수 있고, 현재의 통제 지침은 이를 다루지 않기 때문이다.