改变我们衡量人工智能芯片推理性能的方式（推理性能指数）

发布于2026年11月9日。Epoch AI推出了推理性能指数（IPI）第一版，该框架比较了在多种所需输出速度下每块人工智能芯片可同时处理的请求数量，聚焦代理式推理工作负载，并基于四个代表性模型进行综合。核心发现是：“我们估计，在我们建模的代理式推理工作负载下，Nvidia GB300每块芯片的推理容量约为Nvidia H100的25倍，而8位FLOP/s仅为后者的2.5倍，”因此“仅比较FLOP/s会将GB300相对H100的推理容量低估十倍”，因为内存和芯片间通信可能比算术吞吐量更重要。得分以GB300等效值（GB300e）表示；该指数使用Nvidia的AISimulate和光速分析预测，同时显示系统配置也很重要（GB300 NVL72每GPU的建模推理容量约为B300 HGX的1.9倍）。

算力是人工智能能力和政策的主要杠杆；推理容量的通用单位改变了芯片间算力差距的衡量方式，这对出口管制和算力治理讨论以及任何数据中心容量规划都至关重要。

对于技术和算力政策负责人：在基准测试容量时，采用基于并发度的推理衡量标准（如IPI），而非原始FLOP/s，并指出当前基于FLOP的比较中约10倍低估的风险。