Apa yang terjadi
Pada 29 Oktober 2026, MLCommons (konsorsium 125+ anggota termasuk Microsoft, Google, Qualcomm, NVIDIA, OpenAI, Anthropic) meluncurkan Candela, platform benchmarking-as-a-service untuk risiko dan keandalan AI, dan merilis versi baru dari benchmark AILuminate yang dibangun secara konsensus: Safety 1.2.1 (12 kategori bahaya) dan Jailbreak 1.1 (11 kategori, berdasarkan taksonomi jailbreak yang diperbarui mulai dari typo/karakter mirip hingga penyusunan konteks, penipuan, dan perakitan fragmen). Penilaian menggunakan klasifikasi keamanan ML pribadi, bukan LLM-as-judge, dan item response theory, dengan hasil dilaporkan sebagai persentil terhadap panel referensi tetap; hasil resmi Safety 1.2.1 untuk sekitar 30 model open-weight yang disebutkan sudah dipublikasikan. Kelompok kerja AIRR (80+ organisasi) menentukan apa yang diuji; benchmark keamanan agen, privasi, dan bahaya psikososial sedang dalam pengembangan.
Mengapa penting
Ini mengoperasionalkan salah satu standar pengukuran konsensus yang dinilai secara independen untuk risiko dan keandalan AI. Ini memberikan sinyal yang dapat dikutip dan dibandingkan bagi para penerap dan pengadaan (system cards, spec sheets, third-party assurance) alih-alih klaim mandiri dari vendor, dan secara eksplisit menguji sistem sebagaimana diterapkan (system prompt, RAG, agent loop / tool harness) karena penilaian keamanan tidak dapat disusun lintas konfigurasi. Tim keamanan dan risiko dapat menggunakannya untuk menilai ketahanan adversarial dan ketahanan jailbreak sebagai bagian dari program jaminan AI.
Tindakan yang diperlukan
Adopsi AILuminate/Candela untuk penilaian risiko berbasis benchmark pada sistem AI dan penerapan agen; pantau rilis benchmark keamanan agen dan privasi yang akan datang dari kelompok kerja AIRR.