Apa yang terjadi
Meta Superintelligence Labs menerbitkan Laporan Evaluasi Muse Spark 1.1 (bertanggal 9 Juli 2026) bersamaan dengan peluncuran publik model, merinci profil keamanannya di bawah Meta's Advanced AI Scaling Framework di seluruh domain risiko Chemical & Biological, Cybersecurity, dan Loss of Control. Pengungkapan utama: 'ketika dievaluasi tanpa mitigasi yang diterapkan, kami tidak dapat mengesampingkan kemampuan Muse Spark 1.1 memenuhi [ambang] risiko tinggi dalam domain Chemical & Biological dan Cybersecurity' — meskipun Meta menyatakan mitigasi berlapis mengurangi risiko residual ke 'moderate atau lebih rendah' di semua domain sebelum peluncuran. Laporan lebih dari 100 halaman ini juga mencakup adversarial robustness (AgentHarm, AgentDojo, red-teaming pihak ketiga melalui GraySwan ART), perilaku model (scheming, sycophancy, evaluation awareness, situational awareness konteks pelatihan/deployment), dan benchmark kemampuan umum, mencerminkan jangkauan yang diperluas mengingat affordance API agentic baru model (tool/function calling).
Mengapa penting
Ini adalah pengakuan publik pertama frontier lab bahwa kemampuan pre-mitigasi model yang dikirimkan tidak dapat dikecualikan dari melampaui ambang risiko katastropik dalam domain CBRN dan cybersecurity — pengungkapan yang harus diperhitungkan oleh CISOs dan pemimpin governance AI dalam penilaian risiko vendor untuk deployment API agentic.
Tindakan yang diperlukan
Mintalah tim teknis/keamanan untuk meninjau bagian metodologi mitigasi dan red-teaming guna benchmark praktik evaluasi risiko AI internal terhadap framework yang diungkapkan Meta.