Apa yang terjadi
Pada 7 Oktober 2026 Epoch AI menerbitkan 'Bisakah AI Mengotomatiskan Riset AI saat ini?', yang menyajikan hasil awal dari InnovationEval, sebuah evaluasi baru yang mengukur apakah AI dapat secara independen menemukan teknik pembelajaran mesin baru yang sebanding dengan yang dikembangkan oleh peneliti manusia. Agen diberikan tugas end-to-end — merancang metode pasca-pelatihan yang mengungguli baseline GRPO yang kuat, dengan berpegang pada distilasi diri on-policy (SDPO) — dengan temuan bahwa 'model garis depan terbaru membuat sedikit kemajuan pada tugas ini, meskipun menjalankan eksperimen menggunakan ribuan dolar waktu GPU.' Makalah ini menetapkan metodologi pelacakan memorisasi (penerusnya, GPT-6 Astra dan Claude Fable 5.1, sudah mengetahui makalah acuan tersebut) dan berencana untuk memperluas serta mengulangi evaluasi guna melacak kemajuan AI menuju otomatisasi riset AI itu sendiri.
Mengapa penting
Pemeriksaan kuantitatif yang serius secara metodologis terhadap klaim yang banyak dikutip bahwa AI hampir mengotomatiskan riset AI — kalibrasi yang berguna untuk percakapan risiko percepatan kapabilitas.
Tindakan yang diperlukan
Gunakan metodologi dan hasil InnovationEval sebagai baseline berbasis bukti saat mengevaluasi klaim tentang garis waktu otomatisasi riset AI.