vLLM Jinjaチャットテンプレートレンダリング — リモートリソース消費サービス拒否

vLLMのチャット完了エンドポイントは、リモートで供給されるchat_template値がJinjaレンダリング中に制御されないリソース消費を駆動することを許可し、共有サービングインフラストラクチャのサービス拒否リスクです。

今回のvLLMリソース枯渇問題のより広いパターンと一貫して、これはすべてのマルチテナントOpenAI互換vLLMデプロイメントに影響し、呼び出し元がチャットテンプレートに影響を与えることができるリスク、そのインスタンス上のすべてのテナントの可用性のリスク。

リモート呼び出し元は/v1/chat/completionsに渡されるchat_template引数を操作して、Jinjaテンプレートレンダリング中に過度なリソース消費を引き起こし、共有推論サービスを低下させることができます。

vllm-project vLLM、0.27.1までのバージョン

アップストリームvLLM修正を追跡して適用してください。当面は、マルチテナントエンドポイントでカスタムchat_template値を設定できる人を制限し、リクエストレベルのリソース制限を適用してください。