云服务器 / 01云服务器配置怎么选
从应用负载推算 CPU、内存、存储与带宽,留出增长空间。
操作步骤
- 记录峰值而非平均值:统计高峰并发、请求耗时、CPU 使用率和内存工作集。数据库、缓存及运行时应分别估算,避免只按网站数量选套餐。
- 检查磁盘与传输预算:把数据库、媒体、日志、快照与增长量纳入容量。10Mbps 的理论上限为 1.25MB/s,实际吞吐还受协议开销及路径影响。
- 用接近真实流量的请求做压测,观察 p95 延迟、交换分区和磁盘等待。先处理慢查询与缓存问题,再决定扩容 CPU、内存或带宽。
- 为预算建立一张资源表:分别记录当前峰值、预计增长、可接受延迟和扩容条件。例如图片网站优先核对存储增长与出站流量,交易数据库则更关注内存命中率和同步写入延迟;相同访问量不代表相同配置。
检查命令
free -h
df -h
vmstat 1 5
在对应主机上执行检查命令。YOUR_TEST_IP、YOUR_DOMAIN、YOUR_USER、YOUR_SERVER_IP 需替换为实际地址;先确认已安装相关工具。
云服务器 / 02线路与延迟:如何验证双向路由
用相同端点、运营商与时段比较 CN2 GIA、CMI、PCCW 或国际 BGP。
操作步骤
- 向支持获取所选产品的测试地址,记录用户所在地、运营商、时间和测试协议。公共地区参考 IP 不能证明实际实例使用同一线路。
- 从用户网络采集去程 MTR,再从服务器或对应 Looking Glass 采集回程。AS4809 与 59.43 跳点可作线索,但单个跳点不能证明完整双向 CN2 GIA。
- 比较高峰与非高峰的端到端丢包、抖动和实际 HTTPS 请求耗时。中间路由器可能限制 ICMP 响应;只有中间跳点丢包而最终目标正常时,不应直接判定业务丢包。
- 把测试结果按运营商、时间和方向保存,并同时记录应用实际请求耗时。路由会随互联策略与故障切换改变,购买前的一次 traceroute 不能代替持续监控,也不能据此推断所有用户的体验。
检查命令
mtr --report --report-cycles 20 YOUR_TEST_IP
在对应主机上执行检查命令。YOUR_TEST_IP、YOUR_DOMAIN、YOUR_USER、YOUR_SERVER_IP 需替换为实际地址;先确认已安装相关工具。
虚拟化宿主机 / 07虚拟化宿主机容量规划
同时计算内存、存储 IOPS、CPU 与网络,避免只按虚拟机数量估算。
操作步骤
- 为宿主系统、文件系统缓存和管理服务预留内存。合计各虚拟机的峰值工作集,避免将所有物理内存直接出售给租户。
- 按业务衡量 CPU 超分比例,并观察宿主负载、guest steal time 和调度延迟。低负载 Web 与数据库、实时游戏负载不应使用同一超分假设。
- 把随机 IOPS、同步写入和备份窗口纳入磁盘预算。为容量耗尽、薄置备增长与网卡拥塞设置告警,升级前完成迁移或回滚计划。
- 容量表应包含故障维护时的迁移余量,而不仅是正常运行时的利用率。若计划在宿主机维护期间迁走虚拟机,需要提前确认目标主机的 CPU 兼容、内存、存储访问及网络一致性,单机备份不能替代可用的迁移容量。
GPU 算力 / 08GPU 显存与模型选型
模型权重只是起点,还需计算 KV Cache、运行时与训练状态。
操作步骤
- 先确认推理、LoRA 或全量训练任务。7B 参数在 FP16 下仅权重约需 14GB(十进制),实际加载还需要框架与运行时开销,不能据此断言能在 16GB 显卡稳定运行。
- 推理需为上下文长度、并发与 KV Cache 留空间;训练还需梯度、优化器状态与激活内存。量化可减少权重占用,但要验证模型质量及算子兼容。
- 多卡显存通常不会自动合并成一个大显存池。先确认模型并行方案、PCIe/NVLink 拓扑及框架支持,再用目标 batch size 验证峰值显存和吞吐。
- 为每次试跑保存输入长度、并发、精度和峰值显存。若使用量化权重,模型加载过程仍可能产生临时内存峰值;对训练任务还应验证保存检查点和恢复训练的过程,避免长时间运行后才发现空间不足。
检查命令
nvidia-smi
nvidia-smi topo -m
在对应主机上执行检查命令。YOUR_TEST_IP、YOUR_DOMAIN、YOUR_USER、YOUR_SERVER_IP 需替换为实际地址;先确认已安装相关工具。
GPU 算力 / 09CUDA 与 PyTorch 环境验证
先验证驱动,再安装匹配的运行时并测试 GPU 运算。
操作步骤
- 运行 nvidia-smi 检查 GPU、驱动版本与占用进程。其显示的 CUDA 版本是驱动可支持的版本信息,不一定代表已经安装对应 CUDA Toolkit。
- 根据 PyTorch 官方安装说明选择匹配驱动的构建,在独立虚拟环境中安装。容器还需 NVIDIA Container Toolkit 与正确设备授权,不要混用不明来源驱动。
- 确认 torch.cuda.is_available()、设备名称与一个小型张量运算成功后,再安装模型依赖。记录驱动、PyTorch、CUDA 运行时与模型版本,方便复现和回滚。
- GPU 可被框架识别后,还应执行实际模型的小批量推理或训练并保存输出。出现算子或动态库错误时,先检查虚拟环境与依赖版本,避免在同一环境中反复覆盖安装;可用环境应导出依赖清单并固定容器镜像。
检查命令
python -c "import torch; print(torch.__version__); print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else 'No CUDA device')"
在对应主机上执行检查命令。YOUR_TEST_IP、YOUR_DOMAIN、YOUR_USER、YOUR_SERVER_IP 需替换为实际地址;先确认已安装相关工具。
运维与安全 / 10备份、恢复与上线检查
以可恢复的数据和明确的恢复时间为目标,而不是只看备份成功提示。
操作步骤
- 定义可接受的数据丢失量(RPO)和恢复时间(RTO)。数据库应使用一致性备份或受支持的快照流程,不能简单复制正在写入的数据目录。
- 将加密备份存到独立设备或区域,设置保留周期与最小权限。记录密钥保存位置,并检查备份失败、存储空间与过期告警。
- 在隔离环境恢复最近一次备份,验证记录数量、文件、权限与应用流程;记录实际恢复耗时。上线前确认监控、证书续期、联系人和回滚步骤。
- 将恢复演练结果与目标比较:备份间隔是否满足 RPO,下载、解密、导入和业务验证的总时间是否满足 RTO。恢复验证应覆盖数据库与上传文件的对应关系;只检查压缩包能解压,不能证明业务可以恢复。
运维与安全 / 11SSH 密钥登录与失联排查
建立可验证的远程管理入口,分清超时、拒绝连接与认证失败。
操作步骤
- 在自己的电脑生成带口令的 SSH 密钥,将公钥添加到服务器账户的 authorized_keys。私钥保留在本机,不要上传到工单、聊天或服务器公共目录;不同管理员使用各自的密钥。
- 首次连接前,通过控制台或可信交付渠道核对主机指纹。如果重装后指纹变化,先确认重装记录;不要为了消除提示直接关闭主机验证。
- 保持当前管理会话,在第二个终端测试新账户和密钥,并确认所需 sudo 权限可用。只有验证成功且控制台恢复入口可用后,再按业务要求限制密码登录。
- 连接超时先检查实例状态、目标 IP、端口、安全组和本机出口;立即提示 Connection refused 通常需要检查 SSH 服务是否监听正确端口。认证失败则核对用户名、公钥、文件权限和服务日志。
- 修改 SSH 配置后先使用 sshd -t 验证语法,再按系统服务管理方式重载。保留旧会话,重新建立连接测试;若失败,通过控制台恢复配置,避免反复重启扩大问题。
检查命令
ssh -vv YOUR_USER@YOUR_SERVER_IP
在对应主机上执行检查命令。YOUR_TEST_IP、YOUR_DOMAIN、YOUR_USER、YOUR_SERVER_IP 需替换为实际地址;先确认已安装相关工具。
云服务器 / 12域名解析与 HTTPS 故障排查
按 DNS、连接、证书、应用四层定位网站无法访问的原因。
操作步骤
- 先记录完整域名、故障时间、访问网络和浏览器错误。比较根域名与 www 子域名,它们可能使用不同记录;不要只凭控制面板显示的记录判断解析已生效。
- 分别查询 A、AAAA 和 CNAME。若 IPv4 正常而部分用户失败,重点核对 AAAA 对应的 IPv6 服务;删除或修改记录后仍要等待递归缓存按 TTL 过期。
- 确认域名指向预期源站或 CDN。CDN 开启代理时,DNS 返回边缘地址属于正常现象;源站检查应使用保留正确 Host 与 SNI 的方式,不要直接用 IP 判断证书是否正确。
- HTTPS 证书须覆盖实际访问域名,并检查有效期、系统时间和完整中间证书链。HTTP 到 HTTPS 的重定向应与应用、反向代理配置一致,避免两端互相跳转。
- 出现 502/504 时检查上游服务监听、反向代理日志和应用耗时;出现 403 时检查访问控制与站点权限。修复后从不同网络验证首页、登录与静态资源,并检查自动续期任务。
检查命令
dig YOUR_DOMAIN A
dig YOUR_DOMAIN AAAA
curl -I https://YOUR_DOMAIN
在对应主机上执行检查命令。YOUR_TEST_IP、YOUR_DOMAIN、YOUR_USER、YOUR_SERVER_IP 需替换为实际地址;先确认已安装相关工具。
运维与安全 / 15网站迁移、DNS 切换与回滚
在可控维护窗口完成数据同步,避免新旧站点同时写入。
操作步骤
- 列出域名、数据库、上传文件、定时任务、邮件、第三方回调和白名单。记录旧服务器的系统与运行时版本,先确认新环境支持应用依赖,避免迁移时同时进行多项大版本升级。
- 提前降低 DNS TTL,并等待原 TTL 周期经过后再安排切换。降低 TTL 不会立即清除已缓存的旧记录;确认 CDN、代理和应用缓存也纳入计划。
- 在新环境恢复初始备份,通过测试域名或本机 hosts 验证页面与后台。阻止测试环境执行正式支付、邮件、队列消费者和重复定时任务,防止产生真实副作用。
- 维护窗口内暂停写入,完成数据库一致性备份与文件最终增量同步。核对关键数据、权限和证书后切换入口;只改变 DNS 而不处理写入,可能产生订单或文件分叉。
- 保留旧环境与备份,观察访问日志、错误率和业务流程。若切换后新站已经写入,回滚前必须处理新增数据,不能直接把 DNS 指回旧站;达到验收条件后再退役旧资源。
GPU 算力 / 16GPU 显存不足与推理性能排查
用可复现的小负载定位显存峰值、并发与数据读取问题。
操作步骤
- 记录模型、精度、上下文长度、batch size、并发数和完整错误。先以单请求、较短上下文复现,再逐步增加一个变量;不要只用模型文件大小估计运行显存。
- 使用 nvidia-smi 核对同卡其他进程和显存占用,结合框架的 allocated、reserved 与峰值统计判断。框架缓存可能保留显存,但释放缓存不能让本来放不下的活跃张量自动变小。
- 推理可先降低并发、batch 或上下文上限,再评估量化与 KV Cache 策略;训练可评估梯度累积和激活检查点。每次调整都应复核输出质量、吞吐及延迟,避免只追求不报错。
- GPU 利用率低时检查 CPU 预处理、磁盘读取、数据加载与主机到设备传输。首次请求可能包含模型加载或编译,应区分冷启动、预热后首 token 延迟和持续生成速度。
- 用代表性输入持续测试并观察 p95 延迟、峰值显存和错误率。多卡场景还需验证任务是否真正分布到各卡,检查拓扑和通信等待;保存配置与软件版本作为稳定基线。
检查命令
nvidia-smi
nvidia-smi topo -m
在对应主机上执行检查命令。YOUR_TEST_IP、YOUR_DOMAIN、YOUR_USER、YOUR_SERVER_IP 需替换为实际地址;先确认已安装相关工具。
云服务器 / 17如何选择服务器地区
按用户所在地、运营商、数据库和第三方接口的位置画出访问路径。网页、API 与数据库跨区往返可能比用户到首页的延迟更影响体验。
操作步骤
- 按用户所在地、运营商、数据库和第三方接口的位置画出访问路径。网页、API 与数据库跨区往返可能比用户到首页的延迟更影响体验。
- 在候选地区使用同类配置、相同请求和相近时段测试,记录 p50/p95 延迟及失败率;同时确认数据存储地域要求、备份位置和实际可购库存。
- 先将非关键服务或部分流量切到目标地区,观察业务指标再扩大。主数据库跨区迁移应单独规划一致性与回滚,不能仅修改网页的 DNS。
云服务器 / 18带宽、流量与下载速度换算
区分端口速率、承诺带宽和月流量额度,核对入站与出站是否分别计费。Mbps 为比特速率,除以 8 才是理论 MB/s,尚未扣除协议开销。
操作步骤
- 区分端口速率、承诺带宽和月流量额度,核对入站与出站是否分别计费。Mbps 为比特速率,除以 8 才是理论 MB/s,尚未扣除协议开销。
- 用平均响应大小乘以请求量估算流量,并单列视频、下载、备份和爬虫。100Mbps 持续跑满一天理论约传输 1.08TB(十进制),实际业务不应假设持续满速。
- 为日流量和月累计设置告警,确认超额后的限速、停机或额外计费规则。下载慢时同时检查单连接限制、源站磁盘、跨境路由和 CDN 缓存命中。
云服务器 / 19Linux 发行版与系统版本选择
先查应用所需的 PHP、Python、数据库、内核和 CPU 架构,再选系统。优先使用仍在安全维护期内的发行版,避免为了旧教程安装已结束支持的版本。
操作步骤
- 先查应用所需的 PHP、Python、数据库、内核和 CPU 架构,再选系统。优先使用仍在安全维护期内的发行版,避免为了旧教程安装已结束支持的版本。
- 记录软件源、包管理器、防火墙和网络配置方式;不同发行版的服务名称与路径可能不同。先在测试实例验证启动、依赖安装、监控和备份代理。
- 主版本升级前确认备份可恢复并安排维护窗口。系统重装通常会影响系统盘数据,须先确认保留范围;不要把重装按钮当作普通更新。
云服务器 / 20Nginx 反向代理与 502 排查
先确认应用在预期本机地址与端口监听,再配置代理。应用无需直接暴露公网时绑定回环或私网地址,TLS 在代理终止后仍需正确传递协议与主机信息。
操作步骤
- 先确认应用在预期本机地址与端口监听,再配置代理。应用无需直接暴露公网时绑定回环或私网地址,TLS 在代理终止后仍需正确传递协议与主机信息。
- 修改配置后运行 nginx -t,通过后再重载。502 先查连接拒绝、Unix socket 权限和上游崩溃;504 则关联应用执行时间,不应只无限提高超时。
- 测试上传、重定向、客户端 IP 与 WebSocket 等实际功能。只信任来自已知代理的转发头,避免应用把任意客户端传入的 IP 当成可信身份。
云服务器 / 21MySQL 部署与慢查询定位
创建业务专用数据库账户并限制来源地址,不让应用使用管理员账户。确认监听范围与防火墙,只在确有需要时开放远程连接,并配置传输保护。
操作步骤
- 创建业务专用数据库账户并限制来源地址,不让应用使用管理员账户。确认监听范围与防火墙,只在确有需要时开放远程连接,并配置传输保护。
- 将请求延迟与慢查询记录关联,再用 EXPLAIN 检查访问路径、索引和扫描行数。不要看到慢查询就直接加索引;索引也增加写入和存储成本。
- 修改连接数、缓存或查询前保存基线,在相同负载下复测。验证一致性备份和恢复,监控连接耗尽、磁盘空间及复制延迟,而不仅是数据库进程存活。
云服务器 / 22Redis 缓存与内存淘汰策略
明确 Redis 存储的是可重建缓存、会话还是关键队列,三类数据不能采用完全相同的持久化与淘汰策略。限制网络访问,按版本支持设置认证与权限。
操作步骤
- 明确 Redis 存储的是可重建缓存、会话还是关键队列,三类数据不能采用完全相同的持久化与淘汰策略。限制网络访问,按版本支持设置认证与权限。
- 设置内存上限时预留持久化、复制缓冲和操作系统开销。根据键是否设置 TTL 选择淘汰策略,确认无可淘汰键时应用如何处理写入失败。
- 观察命中率、淘汰量、慢命令和大键,而不是只提高内存。故障演练应验证缓存清空后的数据库负载,以及需要持久化的数据能否恢复。
云服务器 / 23CDN 接入与源站验证
先在源站完成域名、证书与业务验证,再开启代理。明确 CDN 到源站使用的协议和证书校验方式,避免为了消除错误而长期关闭源站身份验证。
操作步骤
- 先在源站完成域名、证书与业务验证,再开启代理。明确 CDN 到源站使用的协议和证书校验方式,避免为了消除错误而长期关闭源站身份验证。
- 分别设置静态资源、HTML、登录和 API 的缓存规则。带 Cookie、鉴权头或个性化内容的响应需明确处理,防止将用户私有页面缓存给其他用户。
- 比较边缘和源站日志、缓存命中及错误码。若按 CDN 地址限制源站访问,维护官方 IP 列表,并保留受控管理入口与更新失败时的恢复办法。
云服务器 / 24IPv6 配置与双栈检查
先确认套餐分配的 IPv6 地址、前缀长度和网关,不能根据 IPv4 网关自行推算。配置前保存现有网络设置,并确认远程控制台可用。
操作步骤
- 先确认套餐分配的 IPv6 地址、前缀长度和网关,不能根据 IPv4 网关自行推算。配置前保存现有网络设置,并确认远程控制台可用。
- 验证路由、DNS 和应用监听。仅系统有 IPv6 不代表 Web 服务监听 IPv6;检查防火墙的 IPv6 规则,并保留 IPv6 正常运行所需的 ICMPv6 流量。
- 从具备 IPv6 的外部网络访问目标域名,确认 HTTPS 与关键路径正常后才发布 AAAA。双栈故障时分别测试 IPv4 和 IPv6,避免随机成功掩盖一侧故障。
云服务器 / 25定时任务、时区与重复执行
明确任务以系统时区还是业务时区运行,并考虑夏令时。使用完整命令路径和工作目录,定时环境中的 PATH 与交互终端可能不同。
操作步骤
- 明确任务以系统时区还是业务时区运行,并考虑夏令时。使用完整命令路径和工作目录,定时环境中的 PATH 与交互终端可能不同。
- 为长任务设置互斥或租约,避免上一次未结束又启动下一次;多台服务器部署时确认只有预期节点执行,任务逻辑应能安全重试并避免重复扣费。
- 记录开始、结束、退出码与处理数量,为超时和漏跑告警。验证服务重启、断网和失败重试场景,不要把日志文件存在误认为任务已经成功。
独立服务器 / 26RAID 级别与可用容量规划
按磁盘数量、容量和业务读写模式选择阵列。相同容量磁盘下,RAID 1 为镜像,RAID 5 扣除一盘容量、RAID 6 扣除两盘容量;另需预留格式化与热备空间。
操作步骤
- 按磁盘数量、容量和业务读写模式选择阵列。相同容量磁盘下,RAID 1 为镜像,RAID 5 扣除一盘容量、RAID 6 扣除两盘容量;另需预留格式化与热备空间。
- 确认控制器缓存保护、写入策略和掉电行为。RAID 10 的容错取决于故障是否落在同一镜像组,不能简单宣称任意两盘损坏都安全。
- 规划重建期间的性能下降与再次故障风险,监控阵列降级和热备状态。业务备份仍需独立存储,删除、勒索和文件损坏会同时影响阵列成员。
独立服务器 / 27SMART、NVMe 健康与磁盘更换
记录磁盘型号、序列号、槽位和阵列成员关系,再读取 SMART 或 NVMe 健康信息。不同厂商原始值含义不同,应结合官方说明与趋势判断。
操作步骤
- 记录磁盘型号、序列号、槽位和阵列成员关系,再读取 SMART 或 NVMe 健康信息。不同厂商原始值含义不同,应结合官方说明与趋势判断。
- 关联介质错误、温度、寿命消耗和内核 I/O 错误。单个健康状态为通过不保证不会故障;持续增加的错误与业务延迟比一次静态截图更重要。
- 更换前验证备份、正确槽位与阵列容错,并确认热插拔支持。更换后监控重建直至正常,再验证文件系统与业务,不要在重建期间随意拔第二块盘。
独立服务器 / 28CPU 核心、线程与 NUMA
核对物理插槽、每插槽核心、线程数和 NUMA 节点。逻辑线程不等于完整物理核心,频率与缓存也影响单线程任务,不能只比较总线程数。
操作步骤
- 核对物理插槽、每插槽核心、线程数和 NUMA 节点。逻辑线程不等于完整物理核心,频率与缓存也影响单线程任务,不能只比较总线程数。
- 使用业务负载观察 CPU 调度、内存带宽和跨节点访问。内存绑定或 CPU 亲和性可能改善局部性,也可能造成局部资源不足,应先测量再调整。
- 保存默认配置与测试结果,在相同并发下比较吞吐和尾延迟。虚拟化宿主机还需核对 vNUMA 和虚拟 CPU 配置,避免把单台虚拟机分配跨越过多节点。
独立服务器 / 29独立服务器上线验收清单
核对订单、系统识别信息与管理入口,记录网卡、磁盘、内存和序列号。确认维护联系人、故障工单渠道及约定的更换流程,避免故障时才寻找权限。
操作步骤
- 核对订单、系统识别信息与管理入口,记录网卡、磁盘、内存和序列号。确认维护联系人、故障工单渠道及约定的更换流程,避免故障时才寻找权限。
- 在数据导入前安排适当的 CPU、内存、网络和磁盘测试,明确哪些测试会写入磁盘。观察温度、错误日志与降频,不把短时间跑分当作稳定性保证。
- 最后验证重启后自动挂载、应用启动、监控和备份恢复。保存验收基线,后续性能下降时用相同工具与负载复测,以区分硬件变化和业务增长。
独立服务器 / 30救援系统与启动故障恢复
记录最后一次变更及启动报错,通过控制台判断是引导、文件系统还是网络问题。先核对目标磁盘与分区,救援环境中的设备名称可能与原系统不同。
操作步骤
- 记录最后一次变更及启动报错,通过控制台判断是引导、文件系统还是网络问题。先核对目标磁盘与分区,救援环境中的设备名称可能与原系统不同。
- 优先只读检查与复制关键数据;不在未确认备份时直接格式化或强制修复。加密卷需要合法密钥,RAID/LVM 还需正确识别成员与逻辑卷。
- 按已定位原因修复配置或引导,退出救援前恢复正确启动顺序并卸载介质。重启后验证网络、挂载、数据库和定时任务,记录修复与回滚步骤。
虚拟化宿主机 / 31Proxmox 存储类型与虚拟磁盘
区分存放 ISO、备份和虚拟磁盘的存储用途,确认目录、LVM-thin、ZFS 或共享存储支持的内容类型。看到总容量不代表每种内容都可直接写入。
操作步骤
- 区分存放 ISO、备份和虚拟磁盘的存储用途,确认目录、LVM-thin、ZFS 或共享存储支持的内容类型。看到总容量不代表每种内容都可直接写入。
- 薄置备要同时监控物理池空间与元数据,虚拟磁盘标称容量之和可能超过实际容量。为快照、增长和迁移预留空间,避免池满导致多个租户同时停写。
- 在测试虚拟机验证创建、快照、备份和恢复流程。共享存储可见不等于有高可用性,仍需验证网络冗余、权限及故障时的行为。
虚拟化宿主机 / 32VLAN 与租户网络隔离
明确管理、存储和租户网络的边界,记录 VLAN ID、子网、网关及允许经过的端口。VLAN 只是二层分隔,跨网段访问仍需路由和防火墙策略。
操作步骤
- 明确管理、存储和租户网络的边界,记录 VLAN ID、子网、网关及允许经过的端口。VLAN 只是二层分隔,跨网段访问仍需路由和防火墙策略。
- 核对物理交换机、网桥与虚拟机网卡的 tagged/untagged 设置,不能只改一端。管理口调整前保留控制台,先用测试 VLAN 验证,避免切断宿主机访问。
- 从不同租户分别测试允许与禁止的连接,检查 IPv6、DHCP 和伪造源地址是否绕过隔离。保存规则和测试矩阵,新增租户时按同一流程验收。
虚拟化宿主机 / 33虚拟机迁移前的兼容性检查
检查源端和目标端的 CPU 特性、虚拟化版本、存储名称及网桥映射。直通 GPU、USB 或本地设备可能限制在线迁移,需要单独规划停机流程。
操作步骤
- 检查源端和目标端的 CPU 特性、虚拟化版本、存储名称及网桥映射。直通 GPU、USB 或本地设备可能限制在线迁移,需要单独规划停机流程。
- 估算内存与磁盘传输量,确保目标有足够容量及迁移带宽。高脏页速率可能使在线迁移难以收敛,不应承诺所有负载都能无感迁移。
- 先迁移低风险测试机,验证网络、时间、磁盘和应用,再安排正式批次。源端清理前确认目标稳定且备份可恢复,避免同时启动两个相同身份的实例。
虚拟化宿主机 / 34虚拟机快照与备份的区别
快照通常依赖原存储或原磁盘链,主要用于短期回退;备份应能在独立故障域恢复。存储损坏时,同池快照可能与业务数据一起不可用。
操作步骤
- 快照通常依赖原存储或原磁盘链,主要用于短期回退;备份应能在独立故障域恢复。存储损坏时,同池快照可能与业务数据一起不可用。
- 数据库快照需考虑应用一致性,可结合受支持的 guest agent、冻结或数据库备份流程。仅冻结磁盘写入不一定涵盖所有外部依赖与分布式事务。
- 为快照设置过期时间并监控增长,定期在隔离环境从备份还原。回退快照前确认会丢失哪些新写入,以及外部服务是否需要同步回滚。
虚拟化宿主机 / 35宿主机管理面的访问控制
将管理界面和 SSH 与租户网络隔离,优先通过受控管理网络访问。不要将宿主机管理员凭据交给租户,使用独立账户、最小权限和多因素验证。
操作步骤
- 将管理界面和 SSH 与租户网络隔离,优先通过受控管理网络访问。不要将宿主机管理员凭据交给租户,使用独立账户、最小权限和多因素验证。
- 限制 API token 的权限和期限,记录自动化工具使用范围;备份配置中的密钥也需受控保存。审查闲置账户、过期 token 和近期权限变更。
- 更新前验证管理配置备份与控制台恢复,维护后测试租户隔离和审计日志。管理入口故障时保留独立恢复通道,避免依赖同一台已失联虚拟机。
GPU 算力 / 36GPU 容器的设备与运行时检查
先在宿主机确认驱动正常,再安装与容器引擎匹配的 NVIDIA Container Toolkit。容器内通常使用宿主驱动接口,不应把容器当作独立重装内核驱动的主机。
操作步骤
- 先在宿主机确认驱动正常,再安装与容器引擎匹配的 NVIDIA Container Toolkit。容器内通常使用宿主驱动接口,不应把容器当作独立重装内核驱动的主机。
- 使用固定版本的受信镜像测试设备可见性与小型运算,明确分配的 GPU。容器能运行 nvidia-smi 不代表模型依赖和所需 CUDA 算子全部兼容。
- 限制数据卷与凭据暴露,设置内存、CPU 和日志策略。升级镜像后重复模型验证,并保留上一版本;GPU 使用权限不等于可以放开所有宿主设备。
GPU 算力 / 37模型推理服务的上线验收
记录模型许可、版本、精度和输入限制,确认权重来源与校验。先运行固定样本集保存输出,再验证服务接口,避免把模型下载完成等同于可用。
操作步骤
- 记录模型许可、版本、精度和输入限制,确认权重来源与校验。先运行固定样本集保存输出,再验证服务接口,避免把模型下载完成等同于可用。
- 为请求设置鉴权、输入大小、上下文上限、队列和超时。对外 API 需要限制并发与速率,取消的请求应能释放资源,避免无限排队耗尽显存。
- 测量冷启动、首 token 延迟、生成速度和 p95,并加入错误输入和过载测试。新模型通过质量与性能门槛后逐步切流,保留旧模型与配置用于回滚。
GPU 算力 / 38Batch、并发与推理吞吐
区分单请求 batch、动态批处理与同时连接数。增加 batch 可能提高吞吐但增加等待时间;交互式聊天与离线批处理应使用不同延迟目标。
操作步骤
- 区分单请求 batch、动态批处理与同时连接数。增加 batch 可能提高吞吐但增加等待时间;交互式聊天与离线批处理应使用不同延迟目标。
- 以真实输入长度分布测试,并记录显存峰值、排队时间、首 token 和完成时间。不要只用短输入或固定输出长度得到看似理想的吞吐。
- 寻找满足 p95 目标的最大稳定吞吐,设置排队上限和过载响应。保留余量应对长请求及模型切换,量化或多卡策略变更后重新测量。
GPU 算力 / 39训练检查点与断点恢复
检查点除模型权重外,按框架要求保存优化器、学习率调度器、训练步数和随机状态。只保存推理权重通常无法无缝恢复训练轨迹。
操作步骤
- 检查点除模型权重外,按框架要求保存优化器、学习率调度器、训练步数和随机状态。只保存推理权重通常无法无缝恢复训练轨迹。
- 根据可接受重算时间设置保存间隔,估算单次体积、写入耗时和保留份数。采用框架支持的一致写入方式,避免中断时覆盖唯一可用检查点。
- 在短训练中主动停止并恢复,核对步数、损失曲线与数据采样。将可用检查点复制到独立存储,分布式训练还需确认各分片齐全与版本一致。
GPU 算力 / 40LoRA 微调的资源与数据准备
明确基础模型、目标任务、许可与数据授权,分离训练集和验证集。清理重复和敏感样本,保留数据版本,避免只看训练损失判断模型变好。
操作步骤
- 明确基础模型、目标任务、许可与数据授权,分离训练集和验证集。清理重复和敏感样本,保留数据版本,避免只看训练损失判断模型变好。
- LoRA 减少可训练参数但仍需加载基础模型与激活,显存随上下文、batch 和实现变化。先用少量数据试跑,记录峰值与每步时间,再估算总成本。
- 保存 adapter、基础模型标识与完整配置,在独立验证集比较任务指标和退化情况。上线前测试 adapter 加载与回滚,不把微调产物误当独立完整模型。
GPU 算力 / 41多 GPU 拓扑与通信瓶颈
检查 GPU 数量、PCIe 链路、NUMA 位置与 NVLink 支持,核对框架采用数据并行还是模型并行。多卡数量增加不代表显存自动合并或吞吐线性增长。
操作步骤
- 检查 GPU 数量、PCIe 链路、NUMA 位置与 NVLink 支持,核对框架采用数据并行还是模型并行。多卡数量增加不代表显存自动合并或吞吐线性增长。
- 先建立单卡基线,再逐步测试两卡与目标规模,比较计算、数据加载和同步时间。跨节点训练还需测量网络与集合通信,不只看公网端口标称速率。
- 验证每个 rank 的设备分配、日志和错误处理,避免多个进程意外争用同卡。保存可复现的启动配置;通信故障应先定位网络与版本,而非盲目关闭检查。
运维与安全 / 42安全组与主机防火墙协同
列出每个服务的来源、目标、协议和端口,区分公网、私网与管理入口。安全组、主机防火墙和应用权限是不同层,任意一层阻断都可能导致连接失败。
操作步骤
- 列出每个服务的来源、目标、协议和端口,区分公网、私网与管理入口。安全组、主机防火墙和应用权限是不同层,任意一层阻断都可能导致连接失败。
- 修改远程访问规则前保留会话与控制台恢复,先添加明确允许规则再收紧范围。检查 IPv4 和 IPv6,数据库与管理面仅允许必要来源。
- 从允许与禁止来源分别验证,并确认重启后规则仍生效。记录变更人、用途与过期时间,清理临时开放规则,避免逐次排错积累无限制入口。
运维与安全 / 43监控指标与告警分级
以用户体验指标为起点:可用性、请求错误率、延迟和关键业务成功率,再补充 CPU、内存、磁盘和网络。资源正常并不证明支付、登录等流程正常。
操作步骤
- 以用户体验指标为起点:可用性、请求错误率、延迟和关键业务成功率,再补充 CPU、内存、磁盘和网络。资源正常并不证明支付、登录等流程正常。
- 区分需要立即响应的故障与容量趋势,设置持续时间、恢复通知和去重。阈值应来自正常基线与业务目标,避免所有短暂尖峰都触发紧急通知。
- 每条关键告警配负责人、排查入口和升级渠道,模拟一次通知确认能送达。定期检查监控自身和数据缺失,不能把没有数据默认为没有故障。
运维与安全 / 44日志轮转、保留与敏感信息
盘点应用、系统、代理和容器日志位置,记录产生速率与责任进程。日志中不应输出明文密码、token 或完整敏感请求,排错时也应进行脱敏。
操作步骤
- 盘点应用、系统、代理和容器日志位置,记录产生速率与责任进程。日志中不应输出明文密码、token 或完整敏感请求,排错时也应进行脱敏。
- 按大小或时间配置轮转、压缩和保留周期,确认进程能重新打开日志文件。直接删除仍被打开的大文件可能不会释放空间,应使用服务支持的轮转方式。
- 验证轮转后继续写入、权限正常且检索可用,为容量和采集失败告警。集中日志与源站应采用受限访问和传输保护,并按需要管理保留期限。
运维与安全 / 45系统更新与维护窗口
列出操作系统、应用、数据库和驱动版本,区分安全修复与功能升级。阅读兼容说明,确认更新是否需要重启、数据库迁移或客户端同步升级。
操作步骤
- 列出操作系统、应用、数据库和驱动版本,区分安全修复与功能升级。阅读兼容说明,确认更新是否需要重启、数据库迁移或客户端同步升级。
- 先在接近生产的环境更新并验证关键流程,确认备份和回滚方式。维护窗口通知应包含预计影响、联系人和验收条件,不只记录开始时间。
- 更新后检查版本、服务启动、监控和应用错误率,必要时验证实际重启后的状态。保留变更记录并跟踪异常,不能以安装命令退出成功作为唯一验收。
运维与安全 / 46时间同步与时区故障
区分系统时钟、时区和应用显示格式。时区错误可能只影响显示,时钟漂移则可能导致 TLS、登录签名、队列与分布式任务失败。
操作步骤
- 区分系统时钟、时区和应用显示格式。时区错误可能只影响显示,时钟漂移则可能导致 TLS、登录签名、队列与分布式任务失败。
- 检查时间同步服务是否运行、上游是否可达,以及宿主与虚拟机的时间策略。避免多个同步程序互相调整时钟,先定位偏差来源而非手工反复改时间。
- 生产环境大幅时间跳变前评估数据库、日志和任务影响。修复后比较多节点时间、证书验证与定时任务,监控偏差趋势并统一日志时间标准。
运维与安全 / 47对象存储备份与生命周期
选择满足恢复地域和访问要求的存储,区分存储费、请求费、取回费和出站流量。归档层可能有取回等待和最低保留时间,应与 RTO 一起评估。
操作步骤
- 选择满足恢复地域和访问要求的存储,区分存储费、请求费、取回费和出站流量。归档层可能有取回等待和最低保留时间,应与 RTO 一起评估。
- 使用受限凭据上传,配置加密、版本和生命周期,并核对删除权限。生命周期规则可能自动删除旧版本,不能在不理解匹配范围时直接应用到所有备份。
- 从独立恢复环境下载并校验备份,记录取回时间与费用,确认密钥也能获取。对象上传成功只证明存储写入完成,仍需应用级恢复验证。
运维与安全 / 48服务故障定位与工单信息
先确认影响范围:单用户、单地区、单实例还是全部服务,记录准确时间与时区。保存错误码和最近变更,避免在尚未记录证据时连续重启多个组件。
操作步骤
- 先确认影响范围:单用户、单地区、单实例还是全部服务,记录准确时间与时区。保存错误码和最近变更,避免在尚未记录证据时连续重启多个组件。
- 按 DNS、网络、主机、应用和数据库逐层验证,优先恢复关键业务并控制变更数量。使用回滚或降级前评估数据写入,防止恢复服务时造成不一致。
- 工单提供实例编号、目标地址、时间、复现步骤与脱敏日志,不发送密码或私钥。恢复后记录根因、验证结果和防复发措施,区分暂时恢复与彻底解决。
运维与安全 / 49TLS 证书自动续期与到期告警
盘点所有域名、证书部署点与 ACME 账户,区分 CDN 边缘证书和源站证书。证书文件已更新不代表 Web 服务已加载新证书,应检查实际握手结果。
操作步骤
- 盘点所有域名、证书部署点与 ACME 账户,区分 CDN 边缘证书和源站证书。证书文件已更新不代表 Web 服务已加载新证书,应检查实际握手结果。
- 按客户端支持方式测试续期,确认 HTTP 验证路径或 DNS API 权限。自动化凭据应限定范围,DNS 传播与防火墙变更可能影响续期,需保留执行日志。
- 配置续期成功后的安全重载与失败通知,另外从外部监控到期时间。监控应覆盖实际域名和 SNI,而非只读取本地文件,避免遗漏错误虚拟主机。
运维与安全 / 50应用密钥、环境变量与权限
区分公开配置与数据库密码、API key、签名密钥,不将真实密钥提交到代码仓库或写入镜像。环境变量不是自动加密的保险箱,仍需限制进程和管理权限。
操作步骤
- 区分公开配置与数据库密码、API key、签名密钥,不将真实密钥提交到代码仓库或写入镜像。环境变量不是自动加密的保险箱,仍需限制进程和管理权限。
- 按服务分配独立凭据和最小权限,记录所有者、用途与轮换方式。日志、崩溃报告、备份和诊断命令也可能泄漏密钥,需脱敏并限制读取。
- 轮换前确认应用支持双密钥或明确切换顺序,先验证新凭据再撤销旧凭据。疑似泄漏时不仅删除公开文件,还需撤销相关权限并检查异常访问记录。