무슨 일이 있었나
AISI는 2026년 8월 27일 optstop을 출시했습니다. 이는 Inspect 평가 프레임워크와 통합된 오픈소스 Python 패키지로, 모델 성능 추정이 정밀도/안정화 임계값을 충족하면 적응적으로 샘플링을 중단하며, MATH, GPQA Diamond, WritingBench 전반에서 57-97% 시행 절감을 보고하면서도 점수 추정치에는 영향을 주지 않습니다.
왜 중요한가
프론티어 안전성/역량 평가는 점점 더 수억 개의 토큰이 필요해지고 있으며, 정부 지원 감시 가능한 조기 중단 방법은 엄격한 위험 역량 및 안전성 평가 실행 비용을 크게 절감하여 랩과 제3자 평가자가 프론티어 모델을 테스트하는 빈도와 철저함을 증가시킬 가능성이 있습니다.
적용 범위
Inspect 기반 평가를 실행하는 AI 랩, 제3자 평가자, 모델 위험 팀은 안전성 관련 평가에서 라이브 중단을 활성화하기 전에 섀도우 모드에서 optstop을 시범 운영해야 합니다.