Apa yang terjadi
AISI merilis optstop (27 Agustus 2026), paket Python sumber terbuka yang terintegrasi dengan kerangka evaluasi Inspect yang secara adaptif menghentikan pengambilan sampel setelah perkiraan kinerja model memenuhi ambang presisi/stabilisasi, melaporkan penghematan uji coba 57-97% di seluruh benchmark biner/ordinal/berkelanjutan (MATH, GPQA Diamond, WritingBench) tanpa menggeser perkiraan skor.
Mengapa penting
Evaluasi keamanan/kemampuan frontier semakin memerlukan ratusan juta token; metode early-stopping yang didukung pemerintah dan dapat diaudit secara material menurunkan biaya menjalankan evaluasi kemampuan berbahaya dan keamanan yang ketat, berpotensi meningkatkan seberapa sering dan seberapa menyeluruh lab dan evaluator pihak ketiga menguji model frontier.
Cakupan penerapan
Lab AI, evaluator pihak ketiga, dan tim risiko model yang menjalankan evaluasi berbasis Inspect harus menjalankan pilot optstop dalam mode bayangan sebelum mengaktifkan penghentian langsung dalam penilaian yang aman secara kritis.