vLLM

一款开源的高性能推理引擎。

https://github.com/vllm-project/vllm

另请参阅

• 使用谷歌搜索“vLLM” 或 使用必应搜索“vLLM”