무슨 일이 있었나
2026년 11월 12일, ASD/ACSC는 새로운 지침 문서 'Securing AI testing environments'를 발표했습니다(뉴스 항목 'Secure AI testing to reduce unauthorised access'를 통해 발표되기도 했습니다). 이는 AI 모델/에이전트가 코드 실행, 도구, 자격 증명 또는 네트워크 접근 권한을 보유하거나, 모델 수준의 안전장치가 축소/비활성화된 고위험 테스트를 다룹니다. AI 테스트 하네스(통제, 도구, 모니터링, 워크플로우 및 지원 인프라)를 정의하고, 격리 및 강화, 검증 및 제한, 모니터링 및 중지, 개선이라는 수명주기를 설정합니다 — 전용 인프라, 분리된 관리 평면, 제한된 연결성, 단기 자격 증명, 독립 모니터링 및 테스트된 비상 종료로 뒷받침됩니다. 프롬프트, 범위가 지정된 지시 및 모델 수준 안전장치는 충분한 기술적 격리를 제공하지 않는다고 명시적으로 경고하며, 테스트 에이전트가 범위 밖의 실제 시스템에 도달하거나 영향을 미친 UK AISI, OpenAI 및 Anthropic의 공개 내용을 인용합니다.
왜 중요한가
이는 AI 에이전트의 테스트 경계가 프롬프트 엔지니어링 문제가 아닌 아키텍처/통제 문제임을 확인하는 권위 있는 국가 사이버 당국 지침입니다. 에이전트 신원, 위임된 권한 및 독립적인 중지 통제를 보안 경계로 운영화하여 '통제가 작동함을 증명'하는 변화를 직접 지원합니다. ASD의 이전 'Careful adoption of agentic AI services'를 보완하며, AI 레드팀/보안 평가를 수행하는 모든 사람을 위한 구체적인 동반 지침입니다.
필요한 조치
공식 AI 에이전트 테스트 격리 평가(증거 보존을 통한 위협 모델링)를 수행하고, 승인 양식이 아닌 테스트 전 격리 검증을 요구하며, 고위험 테스트에 프로덕션 자격 증명/클라우드 권한을 사용하지 않고, 단기적이고 취소 가능한 자격 증명을 사용하며, 테스트 중간에 비상 종료 경로를 테스트하고, 지침에 따라 격리 계획을 MITRE ATLAS에 매핑하고 OWASP GenAI LLM06(Excessive Agency)에 대해 검토하십시오.