存储故障导致MongoDB容器未运行

无

后台查看CloudOS 容器状态，发现缺少MongoDB ，如下图所示：

使用df –h命令查看，发现MongoDB存储卷在其中一个节点上处于挂载状态：

使用docker ps命令查看没有MongoDB服务进程，使用findmnt命令查看发现MongoDB存储卷为只读状态；

查看messages日志，存储iscsi连接断开过：

可以确认问题原因为访问存储异常，导致存储卷变只读。

确认存储此时已恢复正常状态后，需要重建MongoDB容器。

1、此时存储卷还处于挂载状态，所以需要先umount存储卷，直接使用命令umount存储卷会不生效，因为openstack容器会调用MongoDB，需要先delete openstackrc容器/opt/bin/kubectl -s 127.0.0.1:8888 delete rc openstackrc；

2、使用lsof命令确认MongoDB存储卷没有被调用后，使用命令umount /var/lib/kubelet/pods/c6baf8a5-d662-11e7-a560-0cda411d7d01/volumes/kubernetes.io-iscsi/mongodb

3、重建MongoDB 命令如下：/opt/bin/kubectl -s 127.0.0.1:8888  create -f  /opt/bin/conffile-cluster/mongodb-rc.yaml

4、再重建openstack容器。