LUCKVM / GPU
從AI工作流程規劃GPU規格
為影像生成與大型語言模型推論確認顯示記憶體、執行環境、持續性儲存與備份，讓開發和採購使用同一份需求清單。
以模型及同時使用量估算顯示記憶體
列出模型參數量、精度、上下文長度、批次大小及目標並行請求。除了模型權重，還需保留KV快取、執行環境和暫存張量空間；量化方案需一起驗證品質與容量。
釐清硬體分配及管理權限
確認GPU型號、數量、顯示記憶體是否獨占、PCIe直通方式、CPU配額及作業系統權限。vCPU不代表獨占實體核心，多卡互連也必須核對實際配置。
先驗證驅動及框架相容性
在選定作業系統檢查驅動、CUDA執行環境與框架版本。nvidia-smi顯示的CUDA版本不等於已安裝的工具套件版本；先執行最小推論測試，再部署完整工作流程。
管理ComfyUI模型與專案產出
將模型、輸入、輸出及自訂節點依賴分開管理，保存工作流程JSON及節點版本。確認重新啟動、重灌和釋放主機時的資料保留方式，並把重要產出備份到獨立位置。
限制vLLM及Ollama服務入口
推論服務先綁定私有網路或本機介面，再透過具備驗證及TLS的閘道提供存取。以真實上下文長度及同時請求數測量首Token延遲、生成速度、排隊和顯示記憶體峰值。
讓多卡報價可比較
四卡或八卡專案應列出模型、平行運算方式、每卡顯示記憶體、互連、CPU、記憶體、儲存空間及傳輸需求。確認軟體安裝範圍、月繳費用及備份責任後，再進行驗收。