UIS 超融合集群一个mon节点异常

UIS E0721p03 6节点集群，告警维护建议：监控节点状态异常。登录监控节点后台查看进程是否存在，若不存在则通过下面的方式启动该进程。启动2分钟后，再次查看进程是否存在，若进程不存在请联系技术支持寻求帮助。 Ubuntu系统：start ceph-mon-all，CentOS系统：systemctl start ceph-mon.target

1、ceph -s查看集群状态

2、监控节点状态异常。根据告警维护建议登录监控节点后台查看进程是否存在，若不存在则通过下面的方式启动该进程。启动2分钟后，再次查看进程是否存在

systemctl status ceph-mon.target

观察时间发现，这个进程一直在反复的重启

3、查看该节点下/var/log/ceph下ceph-mon.CVK05.log日志，搜索报错发现如下报错：

0 bytes IO error: No space left on device/var/lib/ceph/mon/ceph-CVK05/store.db/3547693.sst: No space left on device

提示没有空间

4、检查环境空间

df -h查看分区状态正常，剩余空间足够，df -i查看是inode占满

发现该节点inode的根分区占满

5、进入根分区一层一层查看，发现是/var/spool/postfix/maildrop路径下文件过多导致inode占满

命令：for i in /*; do echo $i; find $i | wc -l; done

使用 ls | xargs -n 1 rm-rf删除此路径下的文件，此删除过程较久，需等待inode分区释放