核心结论
不建议直接物理长按电源强制关机,风险极高;只有带外 HDM/IPMI 也完全无法操作、业务故障必须紧急恢复时,才作为最后兜底手段。
迁移卡在 99% 本质是内存迭代拷贝最后一轮脏页同步,此时底层存储、虚拟化进程、分布式存储 Onestor 都在大量刷写数据,强制断电会连锁引发多层损坏。
一、直接物理断电的四大严重风险(UIS 超融合特有)
虚拟机磁盘损坏、文件系统崩溃
在线迁移 99% 阶段正在同步虚拟机内存、磁盘增量脏数据,突然断电会导致源 / 目标节点虚拟机镜像元数据断裂,开机后虚拟机无法启动、数据库事务丢失、业务文件损坏。
分布式存储 Onestor PG 异常、数据降级 / 丢失
超融合三副本存储正在同步块数据,强制断电极易出现 PG 分裂、数据副本不一致,修复周期极长,严重会丢业务数据,集群健康度直接变红。
CVK 虚拟化 libvirtd、uis-hypervisor 进程锁死
迁移任务残留僵死进程,重启后前台任务卡死无法清理,虚拟机状态悬浮(显示迁移中又无法操作)。
集群脑裂、主机失联
节点非正常下电,集群仲裁、资源锁未释放,恢复后主机无法纳管,需手动清理集群锁。
二、分层处理方案(按优先级从低风险到兜底)
层级 1:先判断是不是真卡死,优先等待(无风险)
迁移 99% 分两种状态:
缓慢走进度、存储 IO 持续有读写:内存变更量大、存储带宽低,属于正常慢,耐心等待,不要操作;
10 分钟以上无任何 IO、页面完全无刷新、管理网 ping 主机丢包 / 不通:判定卡死,进入下一步。
层级 2:优先使用 HDM / 带外管理(最优替代物理按键)
SSH 连不上优先用服务器 HDM 网页 / 控制台,比物理按键安全得多:
HDM 进入主机远程控制台,看系统是否还在运行、有无内核 panic;
HDM 发起软关机(Graceful Shutdown),系统会依次停虚拟机、停 Onestor 存储、正常卸载文件系统;
软关机无响应再用 HDM 强制重启,比机箱物理断电友好。
层级 3:前台平台尝试取消迁移任务(不用进后台)
进入「任务中心」找到这条 99% 迁移任务,点击取消;
等待 3–5 分钟观察虚拟机状态是否恢复正常运行;
取消后虚拟机悬浮:将主机切维护模式,平台下发关机指令,由集群优雅关停虚拟机。
层级 4:SSH 连不上但本地 Console 可接(机房显示器键盘)
接显示器 Console 登录 CVK 系统,执行安全流程:
bash
运行
# 1. 先终止卡死的迁移任务
uiscmd task list
uiscmd task cancel 任务ID
# 2. 关闭本机所有虚拟机(防止缓存脏数据)
virsh list --all
virsh destroy 虚拟机ID
# 3. 优雅关闭分布式存储
supervisorctl stop onestor-peon
# 4. 系统安全关机
shutdown -h now
层级 5:HDM、SSH、Console 全部失效,万不得已才物理关机
仅所有远程 / 本地接入全部卡死、业务大面积故障必须恢复时使用:
长按电源键 5–8 秒强制下电,不要反复短按 Reset;
断电静置 2 分钟再上电,给存储磁盘缓存放电;
开机后第一步检查:
ceph -s 确认存储集群 HEALTH_OK,无降级、PG 异常;
检查故障虚拟机磁盘完整性,必要时回滚快照;
清理前台残留迁移任务,重新发起迁移。
三、为什么迁移会卡 99%(常见根因)
虚拟机内存大、业务 IO 剧烈,内存脏页反复迭代拷贝;
管理网 / 存储网带宽不足、端口协商异常、丢包;
目标节点 CPU / 内存 / 磁盘资源耗尽;
CVK 的 libvirtd、uis-hypervisor 服务僵死;
分布式存储存在慢盘、副本同步延迟过高。
四、事后规避建议
大内存、高 IO 虚拟机迁移安排业务低峰;
迁移前确认源 / 目标节点资源充足,存储集群健康;
优化管理网带宽,隔离业务网与迁移流量;
定期给关键虚拟机打快照,故障后可快速回滚。
精简操作顺序总结
等待观察 → 前台取消任务 → HDM 软关机 → Console 本地登录优雅停机 → 最后才物理长按电源强制断电。
暂无评论
亲~登录后才可以操作哦!
确定你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作
举报
×
侵犯我的权益
×
侵犯了我企业的权益
×
抄袭了我的内容
×
原文链接或出处
诽谤我
×
对根叔社区有害的内容
×
不规范转载
×
举报说明
暂无评论