Apa yang terjadi
Diterbitkan 9 Nov 2026. Epoch AI memperkenalkan Inference Performance Index (IPI) Versi 1, sebuah kerangka kerja yang membandingkan berapa banyak permintaan simultan yang dapat dilayani oleh setiap chip AI di berbagai kecepatan output yang dibutuhkan, berfokus pada beban kerja inferensi agen dan digabungkan di empat model representatif. Temuan utamanya: 'Kami memperkirakan bahwa Nvidia GB300 menyediakan sekitar 25x kapasitas inferensi Nvidia H100 per chip pada beban kerja inferensi agen yang kami modelkan, dengan hanya 2.5x FLOP 8-bit per detik,' sehingga 'membandingkan FLOP/s saja akan meremehkan kapasitas inferensi GB300 relatif terhadap H100 dengan faktor sepuluh' karena memori dan komunikasi antar-chip dapat lebih penting daripada throughput aritmatika. Skor dinyatakan dalam setara GB300 (GB300e); indeks ini menggunakan proyeksi analitis AISimulate dan kecepatan cahaya dari Nvidia, dan juga menunjukkan bahwa konfigurasi sistem berpengaruh (GB300 NVL72 memiliki sekitar 1.9x kapasitas inferensi yang dimodelkan per GPU dibandingkan B300 HGX).
Mengapa penting
Komputasi adalah tuas utama kemampuan dan kebijakan AI; unit umum untuk kapasitas inferensi mengubah cara kesenjangan komputasi antar chip diukur, yang penting untuk debat kontrol ekspor dan tata kelola komputasi serta untuk perencanaan kapasitas pusat data.
Tindakan yang diperlukan
Untuk pimpinan teknis dan kebijakan komputasi: gunakan ukuran inferensi berbasis konkurensi seperti IPI daripada FLOP/s mentah saat membandingkan kapasitas, dan tandai risiko pernyataan yang meremehkan ~10x dalam perbandingan berbasis FLOP saat ini.