Llama 3 8B 推論 / SDXL / ComfyUI
- GPU 規格起點
- RTX 4090 24GB
- 驗證項目
- 精度、上下文長度、批次大小與尖峰顯示記憶體。
COMPUTE OPTIONS
依工作負載選擇 GPU
先確認工作類型與顯示記憶體需求，再比較執行環境、資源配置與計費方式。
圖像生成 · 創作與算圖
RTX 4090
24GB 顯示記憶體適合 ComfyUI、Stable Diffusion、LoRA 實驗與 3D 算圖。
圖像生成 / 輕量微調查看規格正式環境推論 · 企業應用NVIDIA A10 / A30
資料中心 GPU適合持續運作的推論服務、視覺辨識與企業 AI 應用。
推論 API / 視覺分析查看規格大型模型 · 分散式運算NVIDIA A100 / H100
大容量顯示記憶體與多卡方案適合大型模型、訓練與科學運算；請依工作需求確認顯示記憶體及多卡互連。
模型訓練 / 科學運算查看規格GPU 型號、顯示記憶體、卡數、地區供應情況及計費方式，依實際產品與訂單為準。
上線準備
讓新主機順利接手您的服務
把規格、連線與復原安排確認好，再進行正式切換。
依工作流程評估 GPU 記憶體
從模型精度、上下文、批次與渲染節點估算顯示記憶體；多卡需求另確認卡數及互聯方式。
確認框架能執行
核對驅動、CUDA、PyTorch 或 TensorFlow 版本，先執行小型推論或渲染流程確認相容性。
量測實際產出
使用代表性資料記錄生成速度、尖峰記憶體與批次時間，將重試與失敗任務納入成本評估。
保存成果再結束
確認停止與釋放算力的計費差異，另行備份模型、工作流程和輸出；需要報帳時先確認收據。
AI 工作負載與顯示記憶體選型
依模型與任務估算顯示記憶體，再確認軟體環境、並行需求及實際配置。
70B 推論 / 參數高效微調
- GPU 規格起點
- A100 80GB / H100 80GB 或多卡
- 驗證項目
- 量化、KV 快取與平行策略；80GB 不保證可執行全部 70B 任務。
70B 完整微調 / 分散式訓練
- GPU 規格起點
- 8 × A100 80GB / H100 叢集評估
- 驗證項目
- 最佳化器狀態、檢查點、CPU 卸載與實際 GPU 互聯。
硬體與資源
硬體參考：RTX 4090 24GB GDDR6X、RTX 3090 24GB、A10 24GB、A30 24GB、A100 40GB/80GB HBM2e、H100 80GB HBM3。卡型、資源分配與互聯以選定配置為準。
軟體環境與交付
訂購時指定 Ubuntu 22.04/24.04、NVIDIA 驅動、CUDA、cuDNN、PyTorch 與 TensorFlow 版本；交付後以 nvidia-smi 與最小推論測試驗證。報告的 RTX 4090 成本參考為 US$1.20/小時，估算前請確認實際按時計費方案。
訂購流程
購買與交付驗收
訂購前 · 確認方案
核對規格、續費、付款方式與交付時間，向客服索取目標方案測試 IP，先確認連線品質。
交付後 · 檢查資源
依訂單核對 CPU、記憶體、磁碟、IP 與系統，確認登入、遠端管理及網路連線正常。
上線前 · 完成驗收
使用實際應用程式測試負載並演練備份還原。保留測試紀錄，若交付規格與訂單不同，請提交支援服務單。