Definisi
Sebuah metode pengujian pra-peluncuran di mana model AI dipaparkan ke sampel realistis percakapan pengguna aktual—yang diambil dari log produksi—sebelum diluncurkan. Ini memungkinkan pengembang melihat bagaimana model akan berperilaku di dunia nyata, bukan hanya dalam skenario lab yang terkontrol, dan menangkap kegagalan keamanan atau kualitas sebelum mencapai pelanggan.
Mengapa penting
Tes keamanan lab secara teratur melewatkan mode kegagalan yang hanya muncul dengan pola perilaku pengguna asli, artinya model dapat lulus evaluasi internal dan tetap gagal dengan buruk setelah digunakan. Mendasarkan pemeriksaan pra-rilis pada data penggunaan nyata secara langsung mengurangi kesenjangan antara seberapa aman model terlihat dan seberapa aman sebenarnya.