vLLM #

https://docs.vllm.ai/en/stable/index.html

vLLM是一个快速且易于使用的库，用于大型语言模型（LLM）的推理(inference)和部署服务(serving)。

vLLM灵活且易于使用，具备以下特点：

与流行的HuggingFace模型无缝集成
通过各种解码算法（包括parallel sampling, beam search,等）提供高吞吐量服务
支持分布式推理的张量并行和管道并行
流式输出(Streaming outputs)
兼容OpenAI的API服务器
支持NVIDIA GPU、AMD CPU和GPU、Intel CPU和GPU、PowerPC CPU、TPU，以及AWS Trainium和Inferentia Accelerators
前缀缓存(Prefix caching support)支持
Multi-lora支持

安装 #

参考链接https://docs.vllm.ai/en/stable/getting_started/installation.html

要求 #

OS: Linux
Python: 3.8–3.12
GPU: compute capability 7.0 or higher (e.g., V100, T4, RTX20xx, A100, L4, H100, etc.)

实验环境

OS: Ubuntu 24.04

Python: 3.11

GPU: NVIDIA GeForce RTX 4090

CUDA Version: 12.6

使用pip安装vLLM #

创建安装目录，将安装vLLM到当前用户的家目录的vllm目录下：

1mkdir ~/vllm
2cd ~/vllm

创建python虚拟环境：

1python3.11 -m venv .venv

激活虚拟环境并更新一下pip：

1source .venv/bin/activate
2pip install --upgrade pip -i https://mirrors.aliyun.com/pypi/simple -v

安装vllm:

1pip install vllm -i https://mirrors.aliyun.com/pypi/simple -v

安装成功后查看一下.venv目录的大小:

1du -sh .venv
26.4G    .venv

注意

强烈建议使用pip安装vLLM。因为pip可以安装带有独立库包（如 NCCL）的 torch，而conda安装的torch是静态链接的NCCL。这可能导致vLLM在尝试使用NCCL时出现问题。有关更多细节，请参见此问题。

注意

目前，vLLM的二进制文件默认使用CUDA 12.1和公共PyTorch发行版本进行编译。另外还提供了使用 CUDA 11.8 和公共 PyTorch 发行版本编译的 vLLM 二进制文件：
1export VLLM_VERSION=0.6.1.post1
2export PYTHON_VERSION=310
3pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118
为了获得最佳性能，vLLM 需要编译许多 CUDA 内核。不幸的是，这种编译会导致与其他 CUDA 版本和 PyTorch 版本的二进制不兼容，即使是相同的PyTorch版本在不同的构建配置下也会出现此问题。

如果您使用不同的CUDA版本或希望使用现有的 PyTorch 安装，您需要从源代码构建 vLLM。有关说明，请参见下

最后为当前虚拟环境生成一个requirements.txt记录一下安装的vllm版本(可选):

1pip freeze --local > requirements.txt
2
3cat requirements.txt | grep vllm
4vllm==0.6.2

快速开始使用vLLM #

参考链接https://docs.vllm.ai/en/stable/getting_started/quickstart.html

本节的目标是为大型语言模型构建API服务器，启动一个兼容OpenAI的API服务器。

创建兼容OpenAI API接口的服务器 #

注意

默认情况下，vLLM从HuggingFace下载模型。如果希望使用ModelScope的模型，请设置环境变量：
1export VLLM_USE_MODELSCOPE=True

vLLM可以作为实现OpenAI API协议的服务器进行部署。这使得vLLM可以作为使用OpenAI API的应用程序的替代品。默认情况下，它在http://localhost:8000启动服务器。可以通过--host和--port参数指定地址。

继续在vllm安装目录下，同时激活虚拟环境：

1cd ~/vllm
2source .venv/bin/activate

单机多卡可设置CUDA_VISIBLE_DEVICES环境变量
1export CUDA_VISIBLE_DEVICES=1
这样vllm将使用第二个GPU。

下面以Qwen/Qwen2.5-7B-Instruct为例(预先使用huggingface-cli下载了Qwen/Qwen2.5-7B-Instruct)：

1export HF_HUB_OFFLINE=1
2vllm serve Qwen/Qwen2.5-7B-Instruct \
3  --served-model-name qwen2.5-7b-instruct \
4  --enable-auto-tool-choice \
5  --tool-call-parser hermes \
6  --max-model-len=32768 \
7  --port 8000

--host 和 –port 参数指定地址。
--model 参数指定模型名称。
--chat-template 参数指定聊天模板。
--served-model-name 指定服务模型的名称。
--max-model-len 指定模型的最大长度。
--api-key指定一个API KEY。
--enable-auto-tool-choice
--tool-call-parser {mistral,hermes}

更多参数参考文档:

HF_HUB_OFFLINE环境变量

设置了HF_HUB_OFFLINE=1将不会向Hugging Face Hub发起任何HTTP调用。注意，如果不设置HF_HUB_OFFLINE=1即使模型的最新文件已经缓存，在vllm serve时仍然会向Hugging Face Hub发送HTTP请求以检查是否有新版本可用。设置HF_HUB_OFFLINE=1将跳过此检测，从而加快加载时间，这也特别适合服务器没有外网访问时。

关于Chat Template #

为了让语言模型支持聊天协议，vLLM要求模型在其分词器配置中包含一个聊天模板。聊天模板是一个 Jinja2 模板，它指定了角色、消息和其他聊天特定标记如何在输入中编码。

一些模型即使经过了指令/聊天微调，也没有提供聊天模板。对于这些模型，可以在 --chat-template 参数中手动指定它们的聊天模板，可以是聊天模板文件的路径，也可以是字符串形式的模板。没有聊天模板，服务器将无法处理聊天，所有聊天请求都会报错。

1vllm serve <model> --chat-template ./path-to-chat-template.jinja

vLLM 社区为流行的模型提供了一组聊天模板。可以在这里的examples目录中找到它们。

测试OpenAI API接口的服务器 #

通过curl 命令查看当前的模型列表:

 1curl -s http://localhost:8000/v1/models | jq .
 2
 3{
 4  "object": "list",
 5  "data": [
 6    {
 7      "id": "qwen2.5-7b-instruct",
 8      "object": "model",
 9      "owned_by": "vllm",
10      "root": "Qwen/Qwen2.5-7B-Instruct",
11      "parent": null,
12      "max_model_len": 32768,
13      "permission": [
14        {
15          ...
16        }
17      ]
18    }
19  ]
20}

通过curl命令测试chat completions API:

 1curl -s http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
 2  "model": "qwen2.5-7b-instruct",
 3  "messages": [
 4    {"role": "system", "content": "你是一个数学家."},
 5    {"role": "user", "content": "9.11和9.8这两个小数谁比较大?"}
 6  ],
 7  "max_tokens": 512
 8}' | jq '.choices[0].message.content'
 9
10"要比较9.11和9.8这两个小数的大小，可以从它们的小数点后每一位数字进行比较：\n\n1. 首先比较整数部分：两个数的整数部分都是9，相等。\n2. 接下来比较小数点后的第一位：9.11的小数点后第一位是1，而9.8的小数点后第一位是8。由于1小于8，可以得出9.11小于9.8。\n\n因此，9.8大于9.11。"

通过curl命令测试tool calling:

 1curl -s http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
 2  "model": "qwen2.5-7b-instruct",
 3  "messages": [
 4    { "role": "user", "content": "What is 3 * 12? Also, what is 11 + 49?" }
 5  ],
 6  "parallel_tool_calls": false,
 7  "tools": [
 8    {
 9      "type": "function",
10      "function":  {
11        "name": "add",
12        "description": "Add two integers.",
13        "parameters": {
14            "type": "object",
15            "properties": {
16                "a": {"type": "integer"},
17                "b": {"type": "integer"}
18            },
19            "required": ["a", "b"]
20        }
21      }
22    },
23    {
24      "type": "function",
25      "function":  {
26        "name": "multiply",
27        "description": "Multiply two integers.",
28        "parameters": {
29            "type": "object",
30            "properties": {
31                "a": {"type": "integer"},
32                "b": {"type": "integer"}
33            },
34            "required": ["a", "b"]
35        }
36      }
37    }
38  ]
39}' | jq '.choices[0].message.tool_calls'

 1[
 2  {
 3    "id": "chatcmpl-tool-998a251823304412859b1eb5c79c3cd6",
 4    "type": "function",
 5    "function": {
 6      "name": "multiply",
 7      "arguments": "{\"a\": 3, \"b\": 12}"
 8    }
 9  },
10  {
11    "id": "chatcmpl-tool-b928bc51d4c44f5e90434afedc0e4a2d",
12    "type": "function",
13    "function": {
14      "name": "add",
15      "arguments": "{\"a\": 11, \"b\": 49}"
16    }
17  }

使用systemd配置为系统服务 #

使用systemd将前面部署的qwen2.5-7b-instruct配置为系统服务。

/etc/systemd/system/qwen2.5-7b-instruct.service:

 1[Unit]
 2Description=qwen2.5-7b-instruct
 3After=network.target
 4
 5[Service]
 6Type=simple
 7Environment="CUDA_VISIBLE_DEVICES=1"
 8Environment="HF_HUB_OFFLINE=1"
 9WorkingDirectory=/home/<thuser>/vllm
10User=<theuser>
11ExecStart=/bin/bash -c 'source .venv/bin/activate && \
12    vllm serve Qwen/Qwen2.5-7B-Instruct \
13        --served-model-name qwen2.5-7b-instruct \
14        --enable-auto-tool-choice \
15        --tool-call-parser hermes \
16        --max-model-len=32768 \
17        --port 8000'
18
19Restart=always
20RestartSec=3
21
22[Install]
23WantedBy=multi-user.target

1systemctl enable qwen2.5-7b-instruct

启动服务：

1systemctl start qwen2.5-7b-instruct

查看启动日志：

1journalctl -u qwen2.5-7b-instruct -f