Apa yang terjadi
Pada 23 Okt, Cisco Foundation AI menerbitkan 'Introducing Agentic Evaluation in FAITH,' yang menambahkan tugas agen multi-langkah yang menggunakan alat ke dalam kerangka evaluasi keamanan siber FAITH-nya. Benchmark agenik terintegrasi pertamanya, VulnLoc, menilai seberapa baik agen menemukan file yang rentan dalam repositori (Fase A, pencocokan set file ground-truth) dan menghindari positif palsu pada kode yang sudah di-patch (Fase B, tingkat true-negative). FAITH kini mengelola loop interaksi model-agen-alat, mencatat jejak percakapan/panggilan alat secara penuh, dan dapat dijalankan melalui Docker atau Kubernetes 'Agent Sandbox' dengan akses repositori read-only.
Mengapa penting
Seiring agen keamanan siber mengambil tindakan otonom multi-langkah, penilaian berbasis hasil saja tidak cukup. Agentic FAITH memberi pembela cara berulang dan standar terbuka untuk mengukur pemilihan alat, keputusan antara, perilaku berhenti, dan alarm palsu — alat yang belum ada di pasar. Ini adalah kemampuan open-source yang signifikan dari vendor besar.
Cakupan penerapan
Tim red team dan tim keamanan AI yang mengevaluasi agen pentest/penemuan kerentanan agenik harus menambahkan Agentic FAITH/VulnLoc ke rangkaian evaluasi mereka untuk penilaian tingkat proses, bukan hanya akurasi jawaban.