CAS主机异常重启后无法挂载共享存储

无

CAS平台出现主机重启，使用戴尔FC存储的共享文件系统无法启动。

查看主机后天只有一个共享存储卷onestore处于挂载状态：

root@cvkqzq01:~# df -h

Filesystem      Size  Used Avail Use% Mounted on

/dev/sda2        74G  2.0G   68G   3% /

udev            189G   12K  189G   1% /dev

tmpfs            76G  760K   76G   1% /run

none            5.0M     0  5.0M   0% /run/lock

none            189G     0  189G   0% /run/shm

cgroup          189G     0  189G   0% /sys/fs/cgroup

/dev/sda1        95M  118K   95M   1% /boot/efi

/dev/sda5       980G   24G  906G   3% /vms

/dev/sda3        19G  186M   18G   2% /var/log

/dev/dm-0        20T   18T  2.9T  86% /vms/onestore

root@cvkqzq01:

主机挂载的共享有两个，一个是onestor的存储卷，一个是戴尔的FC存储卷（storage2）：

root@cvkqzq01:~# virsh pool-list --all

Name                 State      Autostart

-----------------------------------------

defaultpool          active     yes      

isopool              active     yes       

onestore             active     yes      

storage2             inactive   yes       //Storage2存储卷处于不活动状态

root@cvkqzq01:~#

ocfs2_fence_restart.log日志中记录主机由于访问存储心跳超时导致fence重启：

Restarted at 2020-08-25 21:10:34 (1598389834.523319). dm-1, D6328D3125604CFE844DE026821A1369, o2quo_disk_timeout: Disk heartbeat timeout.

通过多路径命令查看，只有onestor的存储卷：

root@cvkqzq01:~# multipath -ll

360000000000000000e000000c1690cc4 dm-0 IET,VIRTUAL-DISK

size=20T features='1 queue_if_no_path' hwhandler='0' wp=rw

`-+- policy='round-robin 0' prio=1 status=active

  |- 5:0:0:1 sdb 8:16 active ready running

  |- 6:0:0:1 sdc 8:32 active ready running

  `- 7:0:0:1 sdd 8:48 active ready running

root@cvkqzq01:~#

查看dev设备也没有戴尔存储的信息：

root@cvkqzq06:~# ll /dev/disk/by-path/

total 0

drwxr-xr-x 2 root root 220 Aug 25 21:14 ./

drwxr-xr-x 7 root root 140 Aug 25 21:14 ../

lrwxrwxrwx 1 root root   9 Aug 25 21:14 ip-172.19.1.100:***.***.h3c.onestor.10t-lun-1 -> ../../sdc

lrwxrwxrwx 1 root root   9 Aug 25 21:14 ip-172.19.1.101:***.***.h3c.onestor.10t-lun-1 -> ../../sdd

lrwxrwxrwx 1 root root   9 Aug 25 21:14 ip-172.19.1.102:***.***.h3c.onestor.10t-lun-1 -> ../../sdb

lrwxrwxrwx 1 root root   9 Aug 25 21:13 pci-0000:01:00.0-scsi-0:2:0:0 -> ../../sda

lrwxrwxrwx 1 root root  10 Aug 25 21:13 pci-0000:01:00.0-scsi-0:2:0:0-part1 -> ../../sda1

lrwxrwxrwx 1 root root  10 Aug 25 21:13 pci-0000:01:00.0-scsi-0:2:0:0-part2 -> ../../sda2

lrwxrwxrwx 1 root root  10 Aug 25 21:13 pci-0000:01:00.0-scsi-0:2:0:0-part3 -> ../../sda3

lrwxrwxrwx 1 root root  10 Aug 25 21:13 pci-0000:01:00.0-scsi-0:2:0:0-part4 -> ../../sda4

lrwxrwxrwx 1 root root  10 Aug 25 21:13 pci-0000:01:00.0-scsi-0:2:0:0-part5 -> ../../sda5

root@cvkqzq06:~#

因此可以确认此时，主机未识别到存储，原因有可能是存储链路断开或者存储自身异常导致；

经排查为戴尔存储挂死，重启存储后环境恢复。

根据上述分析，可以确认问题原因是，存储故障导致主机访问存储超时，触发主机fence机制，导致主机重启。

主机重启后，戴尔存储故障依旧，主机识别不到存储，导致戴尔存储共享文件系统一直处于不活动状态，其上虚拟机无法启动，影响业务。