Apa yang terjadi
Berdasarkan 37 wawancara ahli semi-terstruktur dengan spesialis tata kelola AI garis depan (dari MATS, Oxford Martin AI Governance Initiative, dan Mila), para penulis merekonstruksi argumen implisit untuk 'tata kelola berbasis evaluasi' — menggunakan evaluasi kemampuan AI sebagai dasar empiris untuk klasifikasi dan mitigasi risiko. Mereka mengidentifikasi tiga jalur yang dapat dilalui evaluasi untuk mengurangi risiko (membuat risiko tingkat masyarakat menjadi konkret bagi pengambil keputusan dan publik, disebutkan dalam 18 dari 37 wawancara; menjadi dasar bagi komitmen dan regulasi tata kelola, 18; dan mendorong budaya risiko yang lebih baik di dalam perusahaan AI, 16) serta empat tantangan utama (menurunnya nilai informatif evaluasi seiring meningkatnya kemampuan, 21; keterbatasan pengukuran yang melekat pada paradigma evaluasi, 18; tidak ada jaminan hasil evaluasi akan ditindaklanjuti, 16; dan tingkat kontrol serta keleluasaan yang dimiliki perusahaan AI atas desain evaluasi, pengungkapan, dan respons, 12). Empat peserta menyatakan bahwa tata kelola berbasis evaluasi dapat menjadi kontraproduktif dengan berfungsi sebagai 'struktur izin' untuk peningkatan kemampuan yang berkelanjutan. Diterbitkan di AIES 2026 (peer-reviewed, bukan hanya catatan preprint), makalah ini mengkritik paradigma yang kini telah dikodifikasikan dalam EU AI Act, California SB-53, dan Frontier AI Safety Commitments.
Mengapa penting
Ini adalah analisis kritis terkuat minggu ini terhadap rezim evaluasi yang kini dibangun oleh regulator dan laboratorium garis depan; makalah ini menyebutkan mode kegagalan konkret yang harus dipertimbangkan eksekutif sebelum memperlakukan hasil benchmark sebagai jaminan tata kelola.
Tindakan yang diperlukan
Arahkan tim risiko dan kepatuhan Anda mengenai kejenuhan evaluasi dan kontrol pengembang atas desain evaluasi, serta desak vendor model untuk melakukan verifikasi independen terhadap klaim kemampuan mereka.