정의
실제 사용자 대화의 현실적인 샘플(프로덕션 로그에서 추출)에 AI 모델을 노출하는 사전 출시 테스팅 방법으로, 모델이 실제 운영되기 전에 적용됩니다. 이를 통해 개발자는 통제된 랩 시나리오가 아닌 실제 환경에서 모델이 어떻게 작동할지 확인할 수 있으며, 고객에게 도달하기 전에 안전성 또는 품질 결함을 포착할 수 있습니다.
왜 중요한가
랩 안전성 테스트는 정상적인 사용자 행동 패턴에서만 나타나는 결함 모드를 자주 놓치므로, 모델이 내부 평가를 통과하고도 배포 후 심각하게 실패할 수 있습니다. 실제 사용 데이터를 기반으로 출시 전 검사를 수행하면 모델이 안전해 보이는 방식과 실제로 안전한 방식 사이의 간격을 직접적으로 줄입니다.