H3C R4900服务器+异常告警

现象总结：硬盘物理 Fault 橙灯亮起，但整机前面板告警灯、HDM SEL 日志没有同步记录故障；重启 HDM 带外管理模块之后，HDM 立刻识别到硬盘异常，爆出一堆存储告警，RAID 逻辑卷、业务数据仍然可用新华三知了...。

根本原因（按概率排序）

1、阵列卡与 HDM 带外状态同步缓存不同步（最高概率）

阵列卡已经识别硬盘存在预告警 / SMART 异常，驱动点亮硬盘硬件 Fault 橙色指示灯； 但HDM 后台缓存没有实时拉取阵列卡状态，所以整机告警灯不点亮、SEL 无告警记录。

重启 HDM 之后，HDM 重新完整轮询阵列卡全部硬件状态，把之前已经存在的硬盘异常一次性全部读出来，批量生成存储告警；操作系统、RAID 逻辑卷本身还没到离线故障阶段，所以业务、数据还能正常跑H3C。

常见触发条件：HDM 固件版本偏低、SmartPQI/PMC 阵列卡固件版本旧，存在状态同步 bug；硬盘出现 SMART 预告警（Predictive Failure，预测故障），还没有达到硬盘彻底离线。

2、硬盘发生 Predictive‑Failure 预告警（预测故障）

硬盘本身已经出现坏块、介质报错，触发预告警，硬盘板卡直接点亮面板橙色 Fault 灯。 预告警阶段RAID 阵列仍然在线，业务不中断；但是 HDM 老版本无法实时抓取预告警事件，出现状态滞后。

⚠️预告警不等于立刻坏盘，但代表硬盘硬件已经存在缺陷，随时可能彻底离线。

3、背板 / 信号链路瞬态偶发报错

硬盘背板、SAS 信号链路偶发瞬时通信错误，触发硬盘灯告警；瞬时故障没有写入 HDM 持久化 SEL 日志；重启 HDM 重新扫描后读取到历史硬件状态，上报告警。

4、区分 UID 定位灯和 Fault 故障灯

确认：是Fault 故障橙灯，不是 UID 定位蓝灯。误触发 UID 定位灯也会亮橙 / 蓝灯，但不属于硬件故障。

分步排查操作（业务还在运行，优先保存证据）

重要：数据目前可用，先收集全部日志，不要直接热拔硬盘。

1. HDM 侧收集信息 1）导出完整 SEL 系统事件日志、硬件传感器日志； 2）进入【存储】页面，查看这块硬盘状态：是Predictive Failure（预告警） / Unconfigured Bad / 其他状态； 3）查看硬盘 SMART 信息，看是否有介质错误、坏扇区计数增长。
2. 进入阵列卡 BIOS（SmartPQI / PMC）确认物理盘状态 开机按对应快捷键进入阵列卡配置界面，确认该硬盘状态：

• 如果显示Predictive Failure：硬盘本身硬件预告警，需要更换硬盘；
• 如果硬盘状态显示正常，只是 HDM 报告警：属于 HDM‑阵列卡状态同步异常 bug。

3. 操作系统内核查硬盘底层错误 Linux 系统下查看：

重点看Media Error介质错误、Predictive Failure标记。

4. 固件版本核查（高频根因） 核对三件套版本：

• HDM 固件版本（老版本优先升级到 HDM‑3.xx 最新稳定版）
• BIOS 固件版本
• SmartPQI（PMC 阵列卡）固件版本

R4900‑G3 大量此类不同步问题，通过升级 HDM + 阵列卡固件修复状态轮询不同步缺陷H3C。

风险判断

当前业务还正常，但是硬盘已经亮 Fault 橙灯，属于高风险状态：预告警硬盘随时会直接离线。

• 如果硬盘状态为 Predictive Failure 预告警：建议业务窗口热替换该硬盘，不要继续长期带病运行；RAID 会自动重建。
• 如果只是 HDM 误报，阵列卡、SMART 全部无报错：清除告警，升级全套固件观察复现。

处理方案

场景 A：硬盘确认 Predictive Failure 预告警（硬盘本体问题）

1. 备份业务数据；
2. 同规格硬盘热插拔更换，等待 RAID 重建完成；
3. 完成后把 HDM、阵列卡固件升级到官方推荐版本，避免后续状态不同步。

场景 B：硬盘硬件无报错，仅 HDM 同步异常（软件 bug）

1. HDM 页面清除历史告警；
2. 将HDM、BIOS、阵列卡固件升级到 H3C 官网 R4900‑G3 最新配套固件包；
3. 持续观察硬盘 Fault 灯是否复现。

禁止操作

❌不要直接清除告警就置之不理；物理硬盘橙色 Fault 灯亮起是硬件侧发出信号，即使 HDM 没报，也不能忽略。 ❌不要反复重启服务器，避免加速故障盘彻底损坏。

最可能：RAID卡（LSI 9361-8i）与BMC（HDM）之间的通信异常，不是12块盘同时坏。

判断依据：

• 12块盘（F00–F11）在同一秒内同时报 Drive fault，不符合物理故障特征
• 存储页显示"正在获取存储卡信息或存储卡故障"，说明HDM读不到RAID卡信息
• 数据都在、业务正常，说明RAID卡本身仍在工作，只是带外管理通道（SMBus/I2C）读不到
• 重启HDM前一切"正常"，很可能是旧状态缓存；重启后重新采集才暴露问题

那块橙灯盘的情况：橙灯由RAID卡直接控制，说明那块盘确实有问题（Predictive Failure、Foreign、Rebuild等都可能亮橙灯），但HDM没读到。两个问题可能相关也可能独立。

建议排查顺序：

1. 先确认阵列状态（最重要）：用带内工具查看，不重启服务器
   • Linux：storcli64 /c0 show、storcli64 /c0/eall/sall show
   • Windows：StorCLI 或 LSI Storage Authority
   • 看橙灯盘的状态（Failed/UBad/Rbld/Predictive）以及虚拟盘是否Optimal/Degraded
2. 备份重要数据：在确认前，按"阵列可能已降级"处理
3. HDM层面：
   • 再次重启HDM（或断电放电式重启BMC），观察是否恢复
   • 检查HDM、RAID卡固件版本是否匹配，对照H3C兼容性说明
   • 通过HDM"一键收集"导出日志，并收集RAID卡日志（storcli64 /c0 show termlog）
4. 仍不恢复：计划停机窗口，重新插拔RAID卡及背板线缆（SAS线、I2C/Sideband线），Sideband线松动是此现象的常见原因
5. 联系H3C售后，提供一键收集日志和storcli输出，尤其是橙灯盘的型号/序列号，以便准备备件

注意：先别拔橙灯盘，确认阵列冗余状态后再换，否则降级阵列下误拔会丢数据。