Ucenter部署在CAS虚拟机中,ucenter进行认证服务
客户定时出现Ucenter认证失败的告警,抓包查看Ucenter的包发出了网卡,但是连续三次没有回应收到认证回应,所以认证失败产生告警;
1. 故障时间点系统日志没有异常打印,在虚拟机内部抓包,包发出去了没有回应;
2. 由于认证失败告警有规律性,定时发生,所以基本排除中间链路问题和硬件故障;
3. 观察虚拟机监控信息,故障发生时间点虚拟机内存使用率很大,但是虚拟机内部业务没有增加;
4. 后面排查发现故障时间点虚拟机有定时快照任务,由于定时快照会暂停虚拟机,导致内部业务有短暂暂停,所以定时快照时间点出现认证失败的问题。
取消客户的定时快照,可以在没有业务的时候手动快照避免业务暂停