vLLM — 推測デコーディング棄却サンプラー境界クラッシュ

vLLM の推測デコーディング用棄却サンプラーは変換前に境界トークンインデックス値をバウンドチェックしないため、法的に形成されたマルチリクエストワークロードは提供プロセス全体のクラッシュを引き起こす可能性があります。

推測デコーディングは本番 LLM サービングで広く使用されるパフォーマンス機能です。通常の API 使用からのクラッシュ誘発入力 (通常のリクエスト形状を超えたエクスプロイト作成を必要としない) は、複数のダウンストリーム アプリケーションをサービングする共有推論インフラストラクチャを停止させることができます。

フロントエンド法的マルチリクエスト推測デコーディング ワークロードは、棄却サンプラーが、モデル語彙サイズ境界値と同じ復元トークンを生成する可能性があります。このアウトオブレンジ値がダウンストリームで変換されると、サービング プロセスがクラッシュし、デプロイメントに応じて認証された、または認証不要のリモート ユーザーがサービスを拒否することができます。

vLLM 推論/サービング エンジン、バージョン 0.24.0 より前

vLLM >= 0.24.0 にアップグレードしてください。