무슨 일이 있었나
2026년 11월 9일 발행. Epoch AI가 추론 성능 지수(IPI) 버전 1을 소개합니다. 이는 요구되는 출력 속도 범위에 걸쳐 각 AI 칩이 동시에 처리할 수 있는 요청 수를 비교하는 프레임워크로, 에이전트 추론 워크로드에 초점을 맞추고 4개의 대표 모델에 걸쳐 결합합니다. 주요 발견 사항: '우리는 엔비디아 GB300이 우리가 모델링한 에이전트 추론 워크로드에서 칩당 약 25배의 H100 추론 용량을 제공하며, 8비트 FLOP/초는 단 2.5배에 불과하다고 추정합니다' 따라서 'FLOP/s만 비교하면 GB300의 H100 대비 추론 용량을 10배 과소평가하게 됩니다' 왜냐하면 메모리와 칩 간 통신이 산술 처리량보다 더 중요할 수 있기 때문입니다. 점수는 GB300 등가 단위(GB300e)로 표현되며; 이 지수는 엔비디아의 AISimulate 및 광속 분석적 예측을 사용하고, 시스템 구성이 중요함을 보여줍니다(GB300 NVL72는 GPU당 모델링된 추론 용량이 B300 HGX보다 약 1.9배입니다).
왜 중요한가
컴퓨팅은 AI 능력과 AI 정책의 주요 레버입니다; 추론 용량에 대한 공통 단위는 칩 간 컴퓨팅 격차를 측정하는 방식을 변화시키며, 이는 수출 통제 및 컴퓨팅 거버넌스 논쟁과 데이터센터 용량 계획에 중요합니다.
필요한 조치
기술 및 컴퓨팅 정책 책임자를 위한: 용량 벤치마킹 시 원시 FLOP/s 대신 IPI와 같은 동시성 기반 추론 측정을 채택하고, 현재 FLOP 기반 비교에서 약 10배 과소평가 위험을 표시하십시오.