UIS硬盘故障

打400吧

联系400协助吧 

这种“UIS报错但HDM（带外管理）显示正常”的情况，通常不是硬盘硬件彻底损坏，而是软件层面的信息不同步或误报。

可以按照下面的步骤，从简到繁逐一排查，多数问题都能解决。

📝 第一步：基础排查与状态刷新

先进行一些基础检查和操作，很多时候能直接解决问题。

1. 检查网络连通性：在UIS节点上执行 ping <服务器带外IP>，确保UIS能与服务器的HDM管理口正常通信。这是信息同步的基础。

2. 重启UIS存储代理服务：这个服务负责管理存储，重启它可能刷新状态。

   bash

   # 尝试重启服务 service uis-storage-agent restart # 或使用systemctl命令（视版本而定） systemctl restart uis-storage-agent

   重启后，可以再用 status 命令检查服务是否正常运行。

3. 在UIS界面重新扫描存储：登录UIS管理平台，在存储管理相关页面找到“重新扫描”或类似功能的按钮并执行，强制UIS重新发现和同步硬盘信息。

4. 在前台尝试“修复”：在UIS前台找到报错硬盘，看是否有“修复”或“一键检测”按钮。先执行检测，如果发现异常再尝试修复。

🔍 第二步：深入检查存储底层状态

如果基础刷新无效，需要登录UIS节点的后台，查看更底层的存储状态。

1. 检查Ceph集群状态：UIS底层使用Ceph，执行以下命令查看集群整体健康状况。

   bash

   ceph -s

   重点关注 health 状态是否为 HEALTH_OK。如果显示 HEALTH_WARN 或 HEALTH_ERR，说明确实存在问题。

2. 查看所有OSD状态：执行以下命令，确认所有OSD（对象存储设备，即硬盘）是否都处于 up 和 in 状态。

   bash

   ceph osd tree

   如果所有OSD都是 up，但UIS前台显示异常，那基本可以确定是软件层面的信息同步问题。

3. 检查硬盘在操作系统层面的识别：

   bash

   lsblk # 或 fdisk -l

   确认出问题的硬盘设备（如 /dev/sdb）在系统底层能否被正常识别。

⚙️ 第三步：排查常见配置与兼容性问题

如果底层状态都正常，问题可能出在配置或兼容性上。

• 确认RAID卡工作模式：超融合要求数据盘的RAID卡必须设置为 HBA（直通）模式 或 JBOD模式，而不是普通的RAID模式。请登录HDM或BIOS检查并确认设置正确。

• 检查硬盘固件与UIS版本兼容性：不兼容的固件可能导致状态误报。可以到H3C官网，根据你的UIS版本和服务器型号，查询硬盘的固件兼容性列表。

• 排查是否为“慢盘”误报：如果告警提示“IO延时大”或“疑似慢盘”，可能是存储网络瞬时拥塞导致系统误判。可以观察一段时间，看告警是否会自动恢复。

🛠️ 第四步：最终解决方案

如果以上步骤都无法解决问题，可以尝试以下方法。

1. 尝试重新拔插硬盘：在机房将故障硬盘拔出后等待几十秒再重新插入，然后观察UIS前台状态是否更新。

2. 通过后台命令手动刷新：作为应急手段，可以尝试重启节点的存储服务（如 systemctl restart cvm-storaged）来强制刷新状态。

3. 联系官方技术支持：如果所有方法都无效，或伴随多块磁盘同时离线，最稳妥的做法是联系H3C官方技术支持（400-810-0504）。他们可以通过分析日志进行深度定位。如果设备在保，也可直接报修进行硬件更换。

一、现象总结
Ceph 存储视图：osd.54 状态 down，第一列权重 0，集群触发数据重平衡；
服务器 HDM（带外管理）查看 Front7 槽位 8T HGST 硬盘：硬件状态 Online，无硬件离线、报错告警；
核心矛盾：硬件层面硬盘识别正常，但 Ceph OSD 进程无法启动 / 上报 down，不属于硬盘物理损坏，为上层存储服务 / 分区 / 挂载 / 权限故障。
二、第一步：定位 osd.54 归属主机与硬盘槽位
1. 查询 osd.54 所在节点主机名
bash
运行
ceph osd find 54
# 或UIS简化命令
uis-storage osd-info 54

输出会显示host=YYZWY3-UIS11（匹配截图 host 行 YYZWY3-UIS11.diskpool_hdd），登录这台服务器操作。
2. 匹配 osd 对应物理磁盘设备名
bash
运行
# 查看54号OSD绑定磁盘
ls /var/lib/ceph/osd/ceph-54/
cat /var/lib/ceph/osd/ceph-54/dev
# 查看服务器所有磁盘分区、挂载
lsblk
df -h

HDM 里 Front7 为 8T SATA 盘，确认 /dev/sdX 对应该硬盘，检查是否存在 OSD 数据分区、日志分区。
三、分层故障排查（从简单到复杂）
层级 1：OSD 进程异常（最常见，硬盘硬件完好仅进程挂死）
1. 查看 osd.54 进程状态
bash
运行
systemctl status ceph-osd@54
# 看报错日志
journalctl -u ceph-osd@54 -f

高频报错：
无法挂载 OSD 数据分区；
磁盘分区文件系统损坏、journal 日志损坏；
OSD 数据目录权限丢失、ceph 用户无读写权限；
磁盘 IO 超时、软坏道（HDM 只检测硬件在位，不检测文件系统逻辑坏块）。
2. 重启 OSD 进程临时验证
bash
运行
systemctl restart ceph-osd@54
# 等待3分钟查看状态
ceph osd tree

重启后 up：临时进程卡死，持续观察 24 小时；
重启仍 down：进入下一层磁盘分区检测。
层级 2：磁盘分区 / 文件系统逻辑损坏（HDM 只会识别硬盘是否通电，不校验文件系统）
卸载 OSD 分区，执行磁盘校验
bash
运行
# 先停止OSD
systemctl stop ceph-osd@54
# 检查对应磁盘分区（替换为你的osd分区/dev/sdX1）
xfs_repair /dev/sdX1

校验完成后重新挂载，启动 OSD
bash
运行
systemctl start ceph-osd@54
ceph osd tree

层级 3：磁盘软坏道、IO 延迟过高（硬件在线但 IO 异常）
HDM 仅做在位检测，无法识别读写坏块，执行磁盘坏道扫描：
bash
运行
# 扫描Front7对应整块硬盘（替换/dev/sdX）
badblocks -v /dev/sdX

扫描出现大量坏块：硬盘存在隐性故障，建议更换同型号 8T HDD；
无坏块：排除硬件介质问题，修复 OSD 元数据。
层级 4：OSD 元数据 / 日志分区损坏、UUID 匹配异常
查看 OSD 分区 UUID 是否和配置文件一致
bash
运行
blkid
cat /var/lib/ceph/osd/ceph-54/fsid
cat /var/lib/ceph/osd/ceph-54/volume_uuid

UUID 不匹配代表分区被误格式化、元数据丢失，无法修复，需要重做 OSD。
层级 5：磁盘挂载丢失、fstab 自动挂载失效
UIS 系统 OSD 磁盘开机自动挂载，若挂载失效，OSD 直接 down：
bash
运行
# 查看是否挂载
mount | grep ceph
# 查看自动挂载配置
cat /etc/fstab

缺失对应磁盘挂载条目，手动写入挂载配置后重启 OSD。
四、两种处理方案（修复 / 重建 OSD）
方案 A：修复原有 osd.54（无数据丢失，优先执行）
停止故障 OSD
bash
运行
systemctl stop ceph-osd@54
ceph osd out 54
ceph osd crush remove osd.54

修复磁盘 XFS 文件系统、修复坏道；
修复目录权限：
bash
运行
chown -R ceph:ceph /var/lib/ceph/osd/ceph-54

重新加入 crush、启动 OSD
bash
运行
ceph osd crush add osd.54 7.27679 host=YYZWY3-UIS11 root=diskpool_hdd
systemctl start ceph-osd@54
# 验证状态up
ceph osd tree

方案 B：重建 OSD（分区元数据彻底损坏，硬盘硬件完好复用）
前提：磁盘无物理坏道，仅 OSD 分区逻辑损坏，复用 Front7 这块 8T 硬盘
下线删除故障 OSD
bash
运行
ceph osd out 54
systemctl stop ceph-osd@54
ceph osd rm 54
ceph auth del osd.54
ceph osd crush remove osd.54

UIS 平台操作：存储池→磁盘管理，移除该磁盘；
重新扫描磁盘，将 Front7 8T 硬盘重新添加进 diskpool_hdd，系统自动生成新 OSD；
等待集群数据自动恢复，观察 OSD 状态为 up。
五、HDM 硬盘 Online 但 OSD down 核心原理说明
HDM（带外）检测维度：硬盘供电、背板链路、硬盘固件是否响应，仅硬件在位状态；
Ceph OSD 检测维度：磁盘分区读写、文件系统完整性、元数据、IO 响应延迟、进程可用性；
场景区分：
硬盘彻底离线：HDM 显示 Missing/Error，OSD down；
硬盘通电正常但文件系统 / IO 损坏：HDM Online，OSD down（当前故障）。
六、预防与校验命令汇总
集群状态查看
bash
运行
ceph -s
ceph osd tree
ceph osd status

单 OSD 日志排查
bash
运行
journalctl -u ceph-osd@54 --no-pager

磁盘硬件校验
bash
运行
lsblk
blkid
badblocks -v /dev/sd对应Front7硬盘

UIS 平台快捷操作
登录 UIS Manager → 存储 → 磁盘池 → diskpool_hdd，找到 osd.54 对应磁盘；
执行「磁盘诊断」，平台自动检测磁盘 IO、文件系统状态；
若诊断提示文件系统损坏，可平台一键重建 OSD。
七、紧急业务风险提示
当前 osd.54 down，集群副本数下降，不要同时操作第二块故障硬盘；
数据重建期间业务性能下降，避开业务高峰修复；
若坏道扫描检出坏块，即使 HDM 显示 Online，也必须更换硬盘，避免数据丢失。