무슨 일이 있었나
이 프리프린트(arXiv 2611.08134, 옥스퍼드, AI 보안 및 접근 센터, 위트워터스랜드 대학교 공동)는 엄격한 AI 평가가 의존하는 물질적·제도적 자원을 누가 통제하는지 분석하기 위한 PAAI 프레임워크(권력, 접근, 적정성, 독립성)를 소개한다. 저자들은 이를 2022~2025년 아프리카 AI 평가 프로젝트 12개와, 국제 AI 안전 연구소 네트워크의 세 차례 공개 합동 테스트에서 문서화된 10개 회원 기관의 역할에 적용한다. 이들은 반복적으로 나타나는 세 가지 구성(추출적 협력, 의존적 혁신, 제약된 독립성)을 식별하고, "인프라 권력 없는 설계 권위는 부분적 독립성 이상을 산출한 적이 없다"고 결론짓는다. 아프리카 및 소규모 회원 기여자들은 데이터, 언어 전문성, 과제 설계를 제공한 반면, 외부 기관들은 평가 프레임워크, 방법, 모델 실행에 대한 권위를 유지했다. 이 논문의 핵심 주장은 평가에 참여한다는 것 자체가 평가 권위를 부여하지 않으며, 신뢰할 수 있는 거버넌스는 접근성과 함께 우선순위, 방법, 출판, 지속성에 대한 통제가 수반되어야 한다는 것이다. 프리프린트로, 동료 검토를 거치지 않음.
왜 중요한가
이 내용은 제3자 AI 평가, 감사 또는 레드팀 결과에 의존하는 이사회 또는 정책 책임자에게 직접적으로 관련이 있다. 이러한 평가가 실제 권위를 지니는지, 아니면 단순한 참여에 불과한지를 판단하는 구체적인 테스트를 제공하며, 규제 기관과 기업들이 독립 평가를 거버넌스 수단으로 점점 더 활용함에 따라 중요하다.
필요한 조치
조직이 의뢰하거나 의존하는 독립 평가 및 감사에 대해 PAAI 차원(권력, 접근, 적정성, 독립성)을 대조하고, 평가자들이 모델에 대한 접근성뿐 아니라 방법과 출판에 대한 통제력을 입증하도록 요구하라.