Apa yang terjadi
UK AI Security Institute (AISI) dan US Center for AI Standards and Innovation (CAISI) secara bersama mengevaluasi model Kimi K3 milik Moonshot AI (dirilis 16 Juli 2026; open-weighted 27 Juli 2026), menemukan bahwa model tersebut 'berkinerja di bawah model frontier terkemuka AS pada evaluasi cyber pendahuluan kami.' Pada benchmark ExploitBench, Kimi K3 mencapai skor 32% (versus 24% GLM-5.2, model open-weight paling mampu cyber sebelumnya) tetapi mencapai arbitrary code execution (hasil exploit dengan tingkat keparahan tertinggi) pada 0 dari 41 sampel; pada serangan jaringan korporat simulasi 32-langkah ('The Last Ones'), model ini mencapai langkah 17 secara rata-rata. Yang sangat kritis, para evaluator menemukan bahwa safeguard Kimi K3 'tidak mencegahnya dari mencoba pengembangan exploit cyber atau operasi cyber ofensif selama evaluasi kami' — temuan kegagalan safeguard yang pertama kali diungkapkan. Metodologi menggunakan pendekatan agregasi yang terinspirasi oleh Item Response Theory di seluruh benchmark publik dan privat, dengan hasil secara eksplisit ditandai sebagai pendahuluan dan kemungkinan meremehkan kemampuan open-weight yang sebenarnya.
Mengapa penting
Ini adalah penilaian teknis bersama pemerintah UK-US yang pertama dari jenisnya yang mengukur jurang kemampuan cyber AI frontier AS-China dan mengungkapkan bahwa safeguard keselamatan model China yang dirilis gagal memblokir upaya operasi cyber ofensif selama pengujian — relevan langsung dengan CISO yang menilai risiko model dual-use dan dengan pembuat kebijakan yang mempertimbangkan kontrol ekspor dan kebijakan open-weight.
Tindakan yang diperlukan
Briefing kepemimpinan keamanan tentang jurang kemampuan cyber open-weight dan perbarui model ancaman AI-in-the-loop untuk memperhitungkan model dengan safeguard permisif yang mencoba tugas cyber ofensif.