Apa yang terjadi
Pada 2026-08-27, MLCommons menerbitkan blog post ('The key to trustworthy AI evaluation is secrecy by design') yang menjelaskan perannya sebagai penyedia benchmark tereservasi dalam pilot yang dipimpin oleh Google DeepMind, AVERI (AI Verification and Evaluation Research Institute), OpenMined, dan AI Safety Institute Singapura. Pilot ini menjalankan evaluasi double-blind Gemini 2.5 Flash-Lite di dalam secure enclave yang teratestasi hardware (Google Cloud Confidential Space / NVIDIA H100 Confidential GPU, OpenMined PySyft), menggunakan prompt AILuminate AIRR 1.4 yang belum pernah digunakan sebelumnya, sehingga evaluator tidak pernah melihat bobot model dan pengembang tidak pernah melihat prompt benchmark. Ini bukan merupakan standar final melainkan demonstrasi metodologi dari konsorsium benchmarking AI yang diakui (MLCommons) yang secara eksplisit dibingkai sebagai relevan dengan kebutuhan audit AI pihak ketiga yang sedang berkembang (EU AI Act GPAI Code of Practice, Illinois SB 315 dari 2028).
Mengapa penting
Seiring yurisdiksi bergerak menuju audit frontier-model pihak ketiga yang wajib (EU AI Act GPAI CoP, Illinois SB 315), kurangnya protokol teknis yang menyelaraskan kerahasiaan evaluator (integritas benchmark) dengan kerahasiaan pengembang (bobot model) telah menjadi celah struktural. Pilot ini, yang didukung oleh MLCommons sebagai steward benchmark, adalah titik referensi teknis awal yang dapat ditunjuk oleh regulator, auditor, dan AI Safety Institutes ketika mendefinisikan arsitektur evaluasi pihak ketiga yang dapat diterima.
Tindakan yang diperlukan
Pantau — tidak ada tindakan adopsi yang diperlukan saat ini; tim governance/audit AI harus melacak apakah MLCommons atau AVERI memformalkan protokol secure-enclave ini menjadi spesifikasi yang dapat digunakan kembali atau persyaratan program stewardship.