무슨 일이 있었나
RAND 연구원들은 오픈 가중치 AI 모델에 맞춤화된 비례적 평가(PE) 프레임워크를 제안합니다. 이 프레임워크는 폐쇄형 가중치 배포를 위해 설계된 평가 관행에서 다루지 않는 고유한 위험 요소를 해결합니다. 저자들은 2025년부터 2026년 4월 사이에 출시된 오픈 가중치 모델 37개 계열의 평가 관행을 체계적으로 검토했으며, 4가지 PE 기준(PE1-4)을 모두 충족하는 것은 1개뿐이고 대부분 어느 것도 충족하지 못함을 발견했습니다. 이 프레임워크는 통제된 배포를 가정하는 현재 평가 규범과 미세 조정, 양자화, 감시 없는 배포가 가능한 오픈 가중치 모델의 현실 사이의 격차를 해결합니다.
왜 중요한가
오픈 가중치 모델이 급증하고 있으나(약 16개월에 37개 계열) 고유한 위험에 비례하는 평가 기준이 부족합니다. 오픈 가중치 모델을 기반으로 구축하거나 배포하는 조직은 평가 격차에 직면하고 있습니다. 기존 벤치마크는 유해한 작업을 위한 미세 조정이나 비전문가 행위자의 대규모 배포와 같은 출시 후 위험을 평가하지 않습니다. 이 프레임워크는 정책 및 조달 결정을 위한 체계적인 기반을 제공합니다.
필요한 조치
귀사에서 오픈 가중치 모델을 사용하거나 사용할 계획이 있다면, RAND의 PE1-4 기준과 비교하여 모델을 검토하고 평가 격차를 파악하세요. AI 거버넌스 팀과 협의하여 벤더 선택 및 위험 평가 프로세스가 오픈 가중치 아키텍처에 특화된 배포 후 위험을 고려하고 있는지 확인하세요.