Linux 系統選擇雲端主機規格
依應用負載估算 CPU、記憶體、儲存與頻寬,預留成長空間。
操作步驟與驗證
- 記錄尖峰並行量、請求時間、CPU 使用率與記憶體工作集。資料庫、快取及執行環境需分別估算,不宜只按網站數量選方案。
- 將資料庫、媒體、日誌、快照及成長量納入容量。10Mbps 理論上限為 1.25MB/s,實際吞吐量仍受協定與網路路徑影響。
- 以接近真實流量的請求負載測試,觀察 p95 延遲、交換空間及磁碟等待。先處理慢查詢與快取,再決定擴充資源。
- 建立資源表,記錄尖峰、成長、延遲目標及擴充條件。圖片網站重視容量與傳輸,交易資料庫更重視快取命中及同步寫入;相同流量不代表相同規格。
檢查指令
free -h
df -h
vmstat 1 5
請在對應環境執行指令。YOUR_* 代表需要替換的名稱或位址,請先填入實際值並確認工具已安裝。
網路與存取路由與延遲:如何驗證雙向路徑
以相同端點、電信業者及時段比較 CN2 GIA、CMI、PCCW 或國際 BGP。
操作步驟與驗證
- 向支援取得所選產品測試位址,記錄所在地、電信業者、時間及協定。公開地區參考 IP 無法證明執行個體使用相同路由。
- 從使用者網路取得去程 MTR,再從伺服器或 Looking Glass 取得回程。AS4809 與 59.43 節點僅是線索,不能單獨證明完整雙向 CN2 GIA。
- 比較尖峰與離峰時段的端到端封包遺失、延遲變動及 HTTPS 回應時間。中繼路由器可能限制 ICMP 回應;只有中繼節點未回應、最終目標正常時,不應直接判定業務流量發生封包遺失。
- 依電信業者、時間與方向保存測試,並記錄實際應用耗時。路由會因互連策略或故障改變,一次 traceroute 無法代表長期或所有使用者體驗。
檢查指令
mtr --report --report-cycles 20 YOUR_TEST_IP
請在對應環境執行指令。YOUR_* 代表需要替換的名稱或位址,請先填入實際值並確認工具已安裝。
硬體與虛擬化虛擬化主機容量規劃
同時計算記憶體、儲存 IOPS、CPU 與網路,不只計算虛擬機數量。
操作步驟與驗證
- 為宿主系統、檔案系統快取及管理服務預留記憶體,合計虛擬機尖峰工作集,避免將全部實體記憶體分配給租戶。
- 依工作負載決定 CPU 超額配置比例,觀察主機負載、客體 CPU 等待時間(steal time)與排程延遲。低流量網站與低延遲資料庫不宜採用相同的配置假設。
- 將隨機 IOPS、同步寫入及備份時段納入預算。設定容量、精簡配置成長與網卡壅塞告警,升級前準備移轉與回復計畫。
- 容量規劃需包含維護移轉餘裕。先驗證目標主機 CPU 相容、記憶體、儲存及網路;只有備份不代表已有可用的移轉容量。
GPU 與模型規劃 GPU 記憶體與模型需求
估算權重、KV Cache、執行環境與訓練狀態所需的 GPU 記憶體。
操作步驟與驗證
- 先區分推論、LoRA 與全量訓練。7B 參數 FP16 權重約 14GB(十進位),另需框架及執行環境空間,不能直接推定 16GB 顯示卡可穩定執行。
- 推論需為上下文、同時處理的請求及 KV Cache 預留記憶體;訓練還需梯度、最佳化器狀態與啟用值(activations)。量化可減少權重用量,但仍需驗證輸出品質及運算子相容性。
- 多張 GPU 的記憶體通常不會自動合併。先確認模型平行處理方式、PCIe/NVLink 拓撲及框架支援,再以目標批次大小(batch size)測量尖峰用量與吞吐量。
- 每次測試記錄輸入長度、並行、精度與峰值。量化模型載入仍可能有暫時尖峰;訓練還需測試檢查點儲存與恢復,避免長時間執行後才發現空間不足。
檢查指令
nvidia-smi
nvidia-smi topo -m
請在對應環境執行指令。YOUR_* 代表需要替換的名稱或位址,請先填入實際值並確認工具已安裝。
資料庫與備份備份、還原與上線檢查
以可還原資料與明確復原時間為目標,不只看備份成功訊息。
操作步驟與驗證
- 定義可接受的資料遺失時間範圍(RPO)與服務復原時間(RTO)。資料庫應使用能維持應用程式一致性的備份或受支援快照,不要直接複製正在寫入的資料目錄。
- 將加密備份放到獨立設備或區域,設定保留週期與最小權限;記錄金鑰位置並監控失敗、容量及過期告警。
- 在隔離環境還原最近備份,驗證資料、檔案、權限與應用,記錄實際耗時。上線前確認監控、憑證續期、聯絡人及回復步驟。
- 將實際備份間隔與 RPO 比較,將下載、解密、匯入及驗證總時間與 RTO 比較。檢查資料庫與上傳檔案是否對應,壓縮檔能解開不代表業務可復原。
安全與維運SSH 金鑰登入與連線疑難排解
建立可驗證的遠端管理入口,區分逾時、拒絕連線與驗證失敗。
操作步驟與驗證
- 在本機產生有密碼保護的 SSH 金鑰,將公鑰放入伺服器帳戶的 authorized_keys。私鑰留在本機,各管理員使用獨立金鑰,不要貼到服務單。
- 首次連線透過主控台或可信交付資訊核對主機指紋。重灌後若指紋不同,先確認變更紀錄,不要直接停用驗證。
- 保留目前連線,在第二個終端驗證新帳戶、金鑰與 sudo 權限。確認主控台可供復原後,再限制密碼登入。
- 逾時先查主機狀態、IP、連接埠、安全群組及本機出口;拒絕連線時確認 SSH 是否監聽。驗證失敗則查使用者、公鑰、權限與日誌。
- 修改後先以 sshd -t 檢查語法,再依系統方式重新載入。保留舊連線並測試新連線,失敗時由主控台還原設定。
檢查指令
ssh -vv YOUR_USER@YOUR_SERVER_IP
請在對應環境執行指令。YOUR_* 代表需要替換的名稱或位址,請先填入實際值並確認工具已安裝。
GPU 與模型GPU 記憶體不足與推論效能疑難排解
以可重現的小負載定位記憶體尖峰、並行與資料讀取問題。
操作步驟與驗證
- 記錄模型、精度、上下文、batch、並行數及完整錯誤。先用單請求與短上下文重現,再逐項增加,不能僅看模型檔案大小。
- 以 nvidia-smi 查同卡程序,再對照框架 allocated、reserved 及峰值。快取釋放不會自動縮小仍需使用的張量。
- 推論可先降低同時處理數、批次大小或上下文上限,再評估量化與 KV Cache 策略。訓練可評估梯度累積及啟用值檢查點(activation checkpointing),並同時驗證品質、吞吐量與延遲。
- GPU 使用率偏低時,檢查 CPU 前處理、磁碟讀取、資料載入與主機到 GPU 的傳輸。分別測量首次載入、暖機後的首個 token 延遲及持續生成速度,不要混用不同指標。
- 以代表性輸入持續觀察 p95、峰值與錯誤率。多卡需確認工作實際分配、拓撲與通訊等待,並保存穩定設定及版本。
檢查指令
nvidia-smi
nvidia-smi topo -m
請在對應環境執行指令。YOUR_* 代表需要替換的名稱或位址,請先填入實際值並確認工具已安裝。
硬體與虛擬化虛擬化主機管理介面的存取控制
隔離管理介面,設定最小權限,並保留獨立的復原管道。
操作步驟與驗證
- 隔離管理介面與租戶網路,透過受控網路管理;不共用管理員認證資訊,使用獨立帳戶、最小權限與多重要素驗證。
- 限制 API token 權限及期限,保護備份中的金鑰,定期審查閒置帳戶、過期 token 與權限變更。
- 更新前驗證設定備份與主控台復原,之後測試隔離及稽核;復原通道不應依賴同一台失聯客體。
安全與維運TLS 憑證自動續期與到期告警
確認 ACME 自動續期與服務重新載入,並從外部監控實際提供的憑證。
操作步驟與驗證
- 盤點網域、部署點與 ACME 帳戶,區分邊緣及來源憑證;檔案更新不代表服務已載入,需查實際握手。
- 依用戶端方式測試續期,確認 HTTP 路徑或 DNS 權限;限制認證資訊範圍並保留日誌,傳播及防火牆可能影響驗證。
- 設定續期成功後安全重新載入服務,失敗時發送通知。另外從外部檢查實際網域及 SNI 對應的憑證到期日,不要只讀取本機憑證檔案。