超融合管理平台高可用性备机故障告警

收到“高可用性备机故障告警”确实会让人紧张，不过别担心，这通常是可修复的软件或硬件问题。核心思路是“先确认、再备份、后修复”。我整理了一个标准的处理流程，希望能帮你一步步解决问题。

 第一步：初步诊断与风险规避

在进行任何操作前，务必先做这几件事，以避免误判或扩大影响：

• 检查备机物理状态：登录被监控的备机硬件管理系统，查看CPU、内存、磁盘等硬件是否有故障告警。

• 验证网络连通性：检查主备节点间的网络是否稳定，是否存在丢包或延迟。

• 确认业务影响：此时“高可用”功能已降级，主节点若再故障将无法自动切换。建议暂停非必要的重大变更，直至修复。

• 检查管理平台版本：登录管理平台，确认当前运行的超融合软件版本号，这对后续的修复至关重要。

 第二步：故障排查与原因定位

2.1 关键信息收集

你需要收集以下信息来定位根本原因：

• 详细告警信息：在管理平台查看告警详情，重点关注“备机心跳丢失”、“主机网络不可达”等关键词。

• 主机与集群状态：在平台界面检查备机的“状态”和“运行时间”，确认其是否为“已断开”或“故障”状态。

• 系统日志分析：使用SSH登录备机后台，排查/var/log/messages日志文件，查找故障时间点前后的“error”、“fail”、“timeout”等关键词。

• 组件健康检查：查看管理平台组件（如监控、数据库）和虚拟化核心组件（如libvirtd）的运行状态。

2.2 常见故障原因对照

 第三步：制定并执行修复方案

根据排查结果，选择最合适的修复方案。

方案A：基础修复（适用于非硬件故障）

• 重启服务：在备机后台，尝试重启监控或集群管理服务（需根据具体服务名操作）。

• 重启主机：在非业务高峰时段，对备机执行优雅重启（reboot）。若无法SSH，可尝试通过BMC/IPMI进行电源重置。

• 检查并释放磁盘空间：清理/var/log等分区下的旧日志，防止因磁盘写满导致服务异常。

方案B：标准替换流程（适用于硬件故障或重启无效）

• 准备替换节点：准备一台硬件配置、硬盘容量与故障备机完全一致的新服务器。

• 安装相同版本系统：在新服务器上安装与现网主节点完全相同的操作系统和超融合软件版本。

• 删除故障备机：参考官方文档，从集群中安全删除故障备节点。

• 添加新备机：将新节点作为备机加入现有集群，系统会自动同步数据。

方案C：寻求官方技术支持

如果以上方法都无法解决，或者操作中遇到意外情况，请务必立即联系新华三技术支持（400-810-0504），并提供以下关键信息：告警截图、详细的故障时间、/var/log/messages等日志文件、已执行的排障步骤。这有助于他们快速定位并解决问题。

一、先在界面确认状态

• 看 “备机状态”：离线 / 异常 / 数据同步异常
• 看 “主备通信状态”：是否断开
• 记录：主节点 IP、备节点 IP、管理虚 IP

二、快速排查（按顺序）

1）网络连通（最常见）

• 不通：检查管理网交换机 / 端口 / VLAN / 防火墙策略（主备必须二层可达、同网段）。
• 通但丢包：检查网口速率 / 双工、是否有广播风暴。

2）备机主机状态

• 备机是否开机、HDM 是否可访问
• 备机是否被改了 root 密码 / 主机名 / IP（会直接断连）
• 备机磁盘是否满、inode 是否耗尽：

3）双机服务与日志（定位根因）

• Connection reset by peer：主备连接被断开（网络 / 服务重启 / 防火墙）
• recv timeout：备机收不到主节点同步数据
• negotiate msg fail：版本不一致或配置被改

4）数据同步状态

• 数据同步进度：是否 100%
• 同步异常：通常是磁盘 IO 差、主备数据不一致、版本不一致

三、常见原因与对应处理

1. 备机断电 / 宕机 / HDM 告警
   • 处理：开机、修复硬件、进系统后重启 cmsd
2. 管理网不通 / 跨 VLAN / 防火墙拦截
   • 处理：主备必须同管理 VLAN、放行 80/443/8080 及双机通信端口
3. root 密码被改（最隐蔽）
   • 处理：在主平台 → 主机 → 找到备机 → 重新输入 root 密码 → 点击 “连接主机”，重建信任
4. 备机磁盘满 /inode 满
   • 处理：清理日志 / 旧包，释放 inode；必要时扩容系统盘
5. 版本不一致（主备升级不同步）
   • 处理：将备机升级到与主节点完全一致的 UIS 版本

四、恢复备机（数据正常后）

1. 确保主备网络通、密码正确、版本一致
2. 在双机热备管理页面：
   • 先 “取消热备”（仅备机异常时）
   • 再 “重新搭建热备”，等待数据同步完成（时间取决于数据量）
3. 同步完成后，备机状态变为 “正常”，告警消除

五、重要提醒

• 备机故障期间，管理功能可用但无高可用，主节点挂了会无法管理集群。
• 不要随意重启主节点；修复备机前，先确认存储集群健康（无降级）。