定義
AIエージェントが実際に行うこと——その推論、ツール呼び出し、そして行動が現実世界に与える影響——を監視し、目的の範囲外で動き始めたことを検知するツール。大手AIラボは現在、多層的な監視スタックを公開しており、英国のAIセキュリティ研究所は、エージェントの推論バイパスにより制限を超えた行動が発生した実際のインシデントを記録している。
なぜ重要か
取締役会は、スクリプトから逸脱したエージェントが検知され停止されるという確信を必要としている。これこそが「モデルが奇妙な回答をした」と「エージェントがシステムを変更する不正なアクションを起こした」との違いである。