Print

CVM双机热备环境drbd0数据库空间满了

组网及说明

CVM双机热备环境,CAS版本E0225。

问题描述

客户CVM双机热备环境,CAS版本E0225。客户发现CVM页面操作时有报错“数据库访问错误”。/dev/drbd0mysql分区写满了。

  


过程分析

CVM双机热备双机热备时会有/dev/drbd0/dev/drbd1这两个分区,Drbd0是同步数据库的,drbd1是同步/vms分区的。所以就分别对应做双机的时候设置的数据库大小和安装CAS的时候对应/vms分区大小。

现场版本比较老,是E0225版本,该版本安装的时候已经在后台代码里面写成了固定数值是20G,所以数据库分区写满了,可以先手动清理些部分性能数据文件,然后升级版本后备份CVM后重新安装CVM双机设置数据库大小。

解决方法

1、清理数据库部分性能数据

和客户确认性能数据保留时长,客户可接受监控数据保留时长是3天。

通过crm status确认当前master状态的主机,然后ssh到该CVM

cd到数据库性能数据保存路径/var/lib/mysql-share/vservice


Ls下可以查看到该路径下有很多性能数据。


执行rm –rf *2018061*删除610-19号的性能监控数据。


再查看已经没有该数据了


继续删除620日和621


重要:由于是数据库文件,所以删除的时候一定要确认是在指定CVMmaster CVM)目录/var/lib/mysql-share/vservice的指定文件,一定要慎重不要删错别的文件了!!!

2、重启双机热备服务


重新sshCVM主机然后将双机热备服务启动


此时可以查看到空间已经释放了,现在drbd0利用率已经降到31%了。



3、小结:

现场版本比较老,是E0225版本,该版本安装的时候已经在后台代码里面写成了固定数值是20G,而不是写在配置文件里面的,所以没办法去修改。而在CAS3.0/5.0的新版本CVM双机热备安装的时候可以手动去设置mysql分区大小,同时可以在CVM系统参数里面设置性能监控数据保留天数。所以现场如果想要彻底解决问题,需要进行硬件扩容和版本升级。版本升级后关闭集群HA,备份CVM数据,重新安装CVM双机环境再导入就可以。注意提前准备好之前的License激活文件并要主备切换都要激活。