vLLM — 추측 디코딩 거부 샘플러 경계 충돌

추측 디코딩을 위한 vLLM의 거부 샘플러는 변환 전에 경계 토큰 인덱스 값을 경계 확인하지 않아 합법적으로 형성된 다중 요청 워크로드가 전체 제공 프로세스의 충돌을 트리거할 수 있습니다.

추측 디코딩은 프로덕션 LLM 제공에서 널리 사용되는 성능 기능입니다. 일반적인 API 사용(정상적인 요청 형태 이상의 악용 제작이 필요하지 않음)으로 인한 충돌 유도 입력은 여러 다운스트림 애플리케이션을 제공하는 공유 추론 인프라를 중단시킬 수 있습니다.

프론트엔드 법적 다중 요청 추측 디코딩 워크로드는 거부 샘플러가 모델 어휘 크기 경계 값과 같은 복구된 토큰을 생성하도록 할 수 있습니다. 이 범위를 벗어난 값이 다운스트림에서 변환될 때 제공 프로세스를 충돌시켜 원격 인증 또는 인증 없는 사용자(배포에 따라)가 서비스를 거부할 수 있습니다.

vLLM 추론/제공 엔진, 0.24.0 이전 버전

vLLM >= 0.24.0으로 업그레이드하세요.