APM监控CAS频繁出现应用不可用

无特殊组网。

某局点，在vnm组件与apm组件中均纳管了CAS应用。告警中频繁出现cas不可用告警，持续一段时间后，又能自行恢复。

1、首先检查apm中配置的cas参数、vnm中配置的cas参数是否正确，重新测试一遍参数。

 APM：在监控页面点击修改应用，勾选上“是否探测应用”后点击确定；

 VNM：在资源中进入cas设备的详细信息页面，点击右侧【配置】中的“修改SOAP/HTTP参数”，在弹出页面检查参数配置后点击“测试”。

两处参数测试都通过。

2、收集现场的apmserver debug、imcapmedm debug、imcvnmdm debug日志以及故障时iMC服务器侧抓包进行分析。

查看vnm日志，并无明显异常记。

查看apm日志，发现对应告警时间，日志中有大量的等待连接超时异常

2021-12-15 17:09:37 [ERROR] [pool-3-thread-71] [com.imc.apm.application.newcas.NewCASServiceMgrImpl::connectTest] connectTest failed, caused by:org.apache.http.conn.ConnectionPoolTimeoutException: Timeout waiting for connection

org.apache.http.conn.ConnectionPoolTimeoutException: Timeout waiting for connection

        at org.apache.http.impl.conn.tsccm.ConnPoolByRoute.getEntryBlocking(ConnPoolByRoute.java:417) ~[httpclient.jar:4.1.2]

        at org.apache.http.impl.conn.tsccm.ConnPoolByRoute$1.getPoolEntry(ConnPoolByRoute.java:300) ~[httpclient.jar:4.1.2]

       ......

2021-12-15 17:09:37 [INFO ] [pool-3-thread-71] [com.imc.apm.message.AppMessageHandlerMgrImpl::handleRequestReceiver] tpye:newcas  unit:available appid:1086        Process time(seconds):20.001

分析对应时间的抓包，发现故障时间并无发送探测cas可用性的请求报文记录，与日志中记录的等待连接超时现象一致

进一步分析发现，故障前，apm向cas请求的部分接口，cas响应的都特别慢，比如：

Line 1284600: 2021-12-15 17:00:51 [INFO ] [pool-3-thread-16] [com.imc.apm.message.AppMessageHandlerMgrImpl::handleRequestReceiver] tpye:newcas  unit:clusterStorageConsistency appid:1086 Process time(seconds):24.481

         Line 1326751: 2021-12-15 17:16:33 [INFO ] [pool-3-thread-84] [com.imc.apm.message.AppMessageHandlerMgrImpl::handleRequestReceiver] tpye:newcas  unit:clusterStorageConsistency appid:1086 Process time(seconds):120.007

CAS侧响应慢。就会长时间占用这http连接，而CAS现场VNM组件监控的该CAS也是通过HTTP采集数据，综上分析，结论如下：

APM出现等待连接超时报错导致应用不可用告警原因为：apm从http连接池获取连接的时候，无空闲连接，一直到超时都没能获取到可用连接导致出现应用不可用告警。（为了避免重复认证建立连接的消耗，目前apm的cas监控是连接复用的，有共享的连接池）。某一段时间cas接口响应慢把连接全部耗尽，无空闲连接就出现不可用告警；然后过一段时间，又有空闲连接，cas就又可用了。

1、主要排查下故障时间段，CAS侧响应接口慢的原因

2、apm可以设置下cas指标分级采集，减少一些采集，一定程度上缓解这种某一时间段内http连接被占满导致不可用的现象

3、取消vnm的cas监控，apm的监控一般都能满足客户需求，取消vnm监控，可以一定程度上减轻cas响应请求的性能压力。