LUCKVM / GPU
按AI工作流选择GPU服务器
从显存、运行环境、持久化存储和恢复流程规划图像生成与大模型推理，形成可核对的配置需求。
从模型与并发量估算显存
记录模型参数量、精度、上下文长度、批量大小和目标并发。模型权重之外还需要KV缓存、运行时和临时张量空间；量化会改变显存占用与输出质量，应以实际模型验证。
区分直通、共享和独立物理机
下单前核对GPU型号与数量、显存是否独占、PCIe直通或其他分配方式、CPU配额和系统权限。vCPU数量不等于独占物理核心，GPU型号也不能单独说明多卡互联能力。
确认驱动和运行时兼容性
在选定操作系统中检查驱动、CUDA运行时及框架版本。nvidia-smi可用于查看设备和驱动；其中显示的CUDA版本不是已安装工具包版本。先通过最小推理任务再导入生产工作流。
为ComfyUI保留模型和输出
将模型、输入、输出和自定义节点依赖分开管理，并记录工作流JSON与节点版本。确认重启、重装与释放实例分别会影响哪些磁盘；将无法重建的产物备份到独立位置。
为vLLM和Ollama设计访问边界
推理服务优先监听私网或本地接口，经带认证与TLS的网关访问。按实际上下文长度和并发测试首Token延迟、生成速度、排队与显存峰值，不将开发机单请求结果视为生产容量。
准备四卡或八卡需求清单
提供模型、并行方式、每卡显存、互联要求、CPU/内存、存储容量、传输量、使用期限与预算。多卡配置、镜像安装与持久化服务应由报价明确列出，再按同一工作负载验收。