在 RTX 4090 上用 vLLM 部署 8B 大语言模型

1. 建立显存预算

8B 模型 FP16 权重约 16GB，尚不含 KV 缓存与运行开销。24GB RTX 4090 可作为推理起点，但不保证任意上下文或批次都能运行。先以短上下文和单请求测试峰值显存。

nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv

2. 在隔离环境安装

确认 vLLM 版本支持所用驱动与 CUDA 运行环境。使用虚拟环境，记录并锁定测试版本。将合法授权模型下载到 /srv/models/llama-3-8b；受限模型可能需要向提供方申请访问。

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install vllm
python -m pip freeze > requirements-tested.txt

3. 启动本地推理端点

绑定 localhost，通过带认证的 TLS 反向代理提供服务。按实测预算调整模型、精度和上下文，不要直接公开 8000 端口。

vllm serve /srv/models/llama-3-8b --host 127.0.0.1 --port 8000 --dtype half --max-model-len 2048 --gpu-memory-utilization 0.85

4. 测量性能与成本

记录提示长度、输出 token、并发、首 token 延迟、吞吐、峰值显存与运行时间。参考费率 US$1.20/小时下，45 分钟 GPU 时间成本为 US$0.90，另计存储、流量、闲置和计费进位。这是计算示例，不是实测基准或实时报价。