Laporan Strategis  ·  2026-11-22

Seberapa bagus Fable 5.2 dan GPT-6.2 Astra dalam pekerjaan nyata?

Laporan StrategisMedium dampakGlobal
Epoch AI mengevaluasi Claude Fable 5.2, GPT-6.2 Astra, Opus 5.5, dan Gemini 4 Argon pada benchmark Epoch Automation Reports yang diperbarui, yang berisi tugas-tugas yang diambil dari pekerjaan Epoch sendiri, dengan penilaian manual terhadap keluaran menggunakan standar internal di mana 100% adalah standar kualitas untuk karyawan Epoch. Temuan utama: "Tidak ada model yang memenuhi standar yang kami harapkan dari karyawan Epoch pada tugas apa pun" — GPT-6.2 Astra rata-rata mencapai 65%, 17 poin di bawah Fable 5.2 meskipun skornya hampir seimbang pada Epoch Capabilities Index. Hasil yang paling signifikan adalah bahwa "Fable 5.2 dan Opus 5.5 kini dapat bekerja pada level kontraktor Epoch dalam analisis pusat data AI" (masing-masing 98% dan 88%, dibandingkan 65% untuk Astra), dengan Opus 5.5 menyelesaikan tugas dalam waktu kurang dari 3 jam dibandingkan sekitar 16 jam yang dibutuhkan kontraktor. Model masih kesulitan merancang eksperimen, lebih memilih keluaran mereka sendiri daripada keluaran manusia yang lebih berkualitas, dan gagal mengidentifikasi serta menyajikan temuan-temuan kunci.
Ini adalah bukti langsung dan kuantitatif bahwa skor benchmark yang kuat tidak berarti kemampuan kerja profesional nyata, memberikan para pemimpin gambaran konkret di mana model-model mutakhir siap — dan belum siap — untuk mengotomatisasi pekerjaan berbasis pengetahuan.
Gunakan hasil pada tingkat tugas ini untuk mengkalibrasi uji coba otomatisasi AI internal; harapkan keluaran setara kontraktor pada tugas penelitian/analisis tertutup yang terdefinisi baik, tetapi sertakan tinjauan manusia untuk desain eksperimen dan penilaian kualitas akhir.
How good are Fable 5.2 and GPT-6.2 Astra at real work? (Epoch AI evaluation)
Lihat di umpan langsung Jelajahi temuan keamanan dan tata kelola AI terkait — diperbarui setiap pagi.
Buka umpan →