Changing how we measure AI chip inference performance (Inference Performance Index)

2026年11月9日公開。Epoch AIは、推論性能指標（IPI）バージョン1を導入しました。これは、各AIチップが要求される出力速度の範囲にわたって同時に処理できるリクエスト数を比較する枠組みで、エージェント推論ワークロードに焦点を当て、4つの代表的なモデルにわたって組み合わせています。主な発見：「我々のモデル化したエージェント推論ワークロードにおいて、Nvidia GB300はチップあたりの推論容量がNvidia H100の約25倍であると推定される一方、8ビットFLOP/秒はわずか2.5倍である」ため、「FLOP/sのみを比較すると、GB300のH100に対する推論容量を10倍過小評価することになる」——なぜならメモリとチップ間通信が算術スループットよりも重要になることがあるからです。スコアはGB300換算（GB300e）で表され、インデックスはNvidiaのAISimulateと光速の分析的予測を使用し、システム構成が重要であることも示しています（GB300 NVL72はB300 HGXのGPUあたりのモデル化推論容量の約1.9倍です）。

計算能力はAIの能力とAI政策の主要なレバーです。推論容量の共通単位は、チップ間の計算ギャップの測定方法を変え、輸出管理と計算ガバナンスの議論、およびデータセンターの容量計画に重要です。

技術および計算ポリシーのリーダー向け：容量をベンチマークする際には、生のFLOP/sではなくIPIのような並行性ベースの推論指標を採用し、現在のFLOPベースの比較における約10倍の過小評価リスクに注意を喚起してください。