정의
AI 에이전트가 실제로 수행하는 작업 — 추론, 도구 호출, 그리고 그 행동이 실제 세계에 미치는 영향 — 을 감시하여, 에이전트가 그 목적을 벗어나기 시작할 때를 포착하는 도구. 주요 AI 연구소들은 이제 다층 모니터링 스택을 공개하고 있으며, 영국 AI 보안 연구소는 에이전트의 추론 우회로 인해 제한을 넘어선 행동이 발생한 실제 사례를 기록했습니다.
왜 중요한가
이사회는, 에이전트가 계획에서 벗어났을 때 이를 포착하고 중단시킬 수 있다는 확신이 필요합니다. 이는 '모델이 이상하게 답변했다'와 '에이전트가 시스템을 변경하는 승인되지 않은 행동을 취했다'의 차이입니다.