在 RTX 4090 上以 vLLM 部署 8B 大語言模型

1. 建立顯示記憶體預算

8B 模型的 FP16 權重約 16GB，尚未包含 KV 快取與執行負擔。24GB RTX 4090 可作為推論起點，但不保證全部上下文或批次皆可容納。先用短上下文及單一請求測試尖峰記憶體。

nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv

2. 使用隔離環境安裝

確認 vLLM 版本與驅動、CUDA 執行環境相容。使用虛擬環境並記錄已測試版本。將取得授權的模型下載至 /srv/models/llama-3-8b；受限模型可能需向提供者申請存取。

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install vllm
python -m pip freeze > requirements-tested.txt

3. 啟動本機推論端點

綁定 localhost，透過具驗證功能的 TLS 反向代理提供服務。依測試結果調整模型、精度與上下文長度，不要將 8000 連接埠直接公開。

vllm serve /srv/models/llama-3-8b --host 127.0.0.1 --port 8000 --dtype half --max-model-len 2048 --gpu-memory-utilization 0.85

4. 測量效能與成本

記錄提示長度、輸出 token、併發、首 token 延遲、吞吐、尖峰記憶體與執行時間。若參考費率為 US$1.20/小時，45 分鐘的 GPU 時間成本為 US$0.90，另加儲存、流量、閒置與計費進位。這是計算範例，並非實測跑分或即時報價。