Apa yang terjadi
Preprint ini (arXiv 2611.08134, dari Oxford, Pusat Keamanan dan Akses AI, dan Universitas Witwatersrand) memperkenalkan kerangka PAAI — Power, Access, Adequacy, Independence — untuk menganalisis siapa yang mengendalikan sumber daya material dan kelembagaan yang menjadi dasar evaluasi AI yang ketat. Para penulis menerapkannya pada dua belas proyek evaluasi AI di Afrika (2022–2025) dan pada peran yang terdokumentasi dari sepuluh lembaga anggota dalam tiga uji coba bersama yang dipublikasikan dari jaringan internasional Lembaga Keamanan AI. Mereka mengidentifikasi tiga konfigurasi yang berulang — kolaborasi ekstraktif, inovasi dependen, dan independensi terbatas — dan menyimpulkan bahwa "otoritas desain tanpa otoritas infrastruktur tidak pernah menghasilkan lebih dari independensi parsial": kontributor Afrika dan anggota yang lebih kecil menyediakan data, keahlian bahasa, dan desain tugas, sementara lembaga eksternal mempertahankan otoritas atas kerangka evaluasi, metode, dan eksekusi model. Klaim utama makalah ini adalah bahwa partisipasi dalam evaluasi tidak dengan sendirinya memberikan otoritas evaluatif; tata kelola yang kredibel menuntut akses disertai dengan kendali atas prioritas, metode, publikasi, dan keberlanjutan. Preprint, belum ditinjau sejawat.
Mengapa penting
Ini relevan langsung bagi setiap dewan atau pimpinan kebijakan yang mengandalkan evaluasi AI, audit, atau temuan red-team dari pihak ketiga — ini memberikan uji konkret untuk menentukan apakah penilaian tersebut membawa otoritas nyata atau hanya sekadar partisipasi, yang penting seiring regulator dan perusahaan semakin mengandalkan evaluasi independen sebagai tuas tata kelola.
Tindakan yang diperlukan
Petakan dimensi PAAI (Power, Access, Adequacy, Independence) terhadap evaluasi dan audit independen yang dikomisikan atau diandalkan oleh organisasi Anda, dan minta para evaluator menunjukkan kendali atas metode dan publikasi — bukan hanya akses ke model.