vLLM — structured_outputs.regex 매개변수를 통한 컴파일되지 않은 타임아웃 정규식 DoS

vLLM의 구조화된 출력 기능은 타임아웃 없이 사용자 제공 정규식을 제한된 디코딩 문법으로 컴파일하므로, 만들어진 정규식은 문법 컴파일러를 중단시킬 수 있으며 서버 리소스를 무한정 소비하여 공유 vLLM 인스턴스의 다른 모든 요청을 거부할 수 있습니다.

vLLM은 많은 조직의 프로덕션 LLM 추론을 지원합니다. 핵심 구조화된 출력 기능에 대한 원격 인증 없는 DoS는 한 번에 많은 다운스트림 AI 애플리케이션을 제공하는 멀티테넌트 추론 클러스터를 중단시킬 수 있습니다.

structured_outputs.regex API 매개변수는 사용자 제공 정규식 문자열을 컴파일 타임아웃 없이 문법 컴파일러 백엔드(예: xgrammar)로 직접 전달하여 원격 인증 없는 호출자가 컴파일러를 중단시키고 공유 추론 서버에 대한 서비스를 거부하는 재앙적 역추적 정규식을 제출할 수 있습니다.

vLLM 추론/제공 엔진, 0.24.0 이전 버전

vLLM >= 0.24.0으로 업그레이드하세요. 이는 구조화된 출력 정규식 처리에 컴파일 타임아웃을 추가합니다.