Apa yang terjadi
CSET menerbitkan makalah penelitian berdasarkan wawancara dengan praktisi AI red-teaming yang berpendapat bahwa hasil red-teaming dilaporkan secara tidak konsisten dan mengusulkan kerangka sistematis untuk pengungkapan publik. Makalah ini mengidentifikasi empat dimensi yang harus dilaporkan setelah setiap latihan red-teaming: (1) model ancaman yang digunakan untuk menentukan cakupan pengujian; (2) rincian metodologis; (3) kerugian, cacat, atau kerentanan yang berhasil dipicu; dan (4) informasi yang dapat ditindaklanjuti untuk mitigasi. Makalah ini menggambarkan praktik saat ini sebagai mengalami 'kurangnya landasan ilmiah, praktik pengujian yang tidak konsisten, dan ketidakselarasan dengan pemangku kepentingan eksternal,' dan menyatakan bahwa 'Sistematisasi cara pelaporan hasil AI red-teaming adalah langkah pertama menuju pengurangan fragmentasi di seluruh ekosistem.' Rekomendasi ditujukan kepada pengembang AI, penyebar, dan red-teamer, serta meminta pembuat kebijakan untuk menciptakan saluran berbagi informasi, mendukung lembaga evaluasi pemerintah, dan meningkatkan insentif untuk pengungkapan.
Mengapa penting
Ini adalah templat yang sedang berkembang untuk bagaimana hasil evaluasi keamanan dan keselamatan AI diungkapkan — relevan langsung bagi pemimpin kepatuhan dan teknis yang harus menafsirkan temuan red-team, serta dorongan regulasi menuju evaluasi model dan pelaporan insiden.
Tindakan yang diperlukan
Petakan empat dimensi pelaporan tersebut ke artefak red-teaming dan evaluasi model yang sudah ada di organisasi Anda sebelum aturan pengungkapan dan pelaporan insiden mengeras.