Print

部署在CAS集群的Ucenter虚拟机定时出现认证失败告警

1天前 发表

组网及说明

Ucenter部署在CAS虚拟机中,ucenter进行认证服务

问题描述

客户定时出现Ucenter认证失败的告警,抓包查看Ucenter的包发出了网卡,但是连续三次没有回应收到认证回应,所以认证失败产生告警;

过程分析

1. 故障时间点系统日志没有异常打印,在虚拟机内部抓包,包发出去了没有回应;

2. 由于认证失败告警有规律性,定时发生,所以基本排除中间链路问题和硬件故障;

3. 观察虚拟机监控信息,故障发生时间点虚拟机内存使用率很大,但是虚拟机内部业务没有增加;

4. 后面排查发现故障时间点虚拟机有定时快照任务,由于定时快照会暂停虚拟机,导致内部业务有短暂暂停,所以定时快照时间点出现认证失败的问题。

解决方法

取消客户的定时快照,可以在没有业务的时候手动快照避免业务暂停