某局点U-CENTER监控ORACLE RAC应用不可用问题排查

U-CENTER版本：7.3E0508H14

被监控ORACLE版本：11gR2

U-CENTER OS：RedHat Linux7.4

U-CENTER DB: Oracle 12cR1

某局点使用U-CENTER监控ORACLE RAC应用后，出现应用不可用告警。

一、收集apmserver的debug级别日志，收集方法如下所示：

   修改 iMC\apmserver\conf\log4j.properties 文件，下面两行中的INFO改为 DEBUG

        log4j.rootLogger=INFO, APMLOG, CONSOLE

        ***.***.imc.apm=INFO

    修改完需要重启 apmserver 进程，在监控代理操作。

    日志路径： iMC\apmserver\log\apmserver.log

二、从日志分析，有如下信息提示：

2019-06-17 08:18:03,426 [pool-2-thread-89] WARN com.imc.apm.application.oracle.OracleServiceMgrImpl.connect() - Get connection error! user: jiankong, url: jdbc:oracle:oci:@mlnsdb. The error message: ORA-12516: TNS: 监听程序找不到符合协议 堆栈要求的可用处理程序

java.sql.SQLException: ORA-12516: TNS: 监听程序找不到符合协议堆栈要求的可用处理程序

at oracle.jdbc.driver.T2CConnection.checkError(T2CConnection.java:996) 

at oracle.jdbc.driver.T2CConnection.logon(T2CConnection.java:530)

at oracle.jdbc.driver.PhysicalConnection.connect(PhysicalConnection.java:662) 

at oracle.jdbc.driver.T2CDriverExtension.getConnection(T2CDriverExtension.java:54) 

at oracle.jdbc.driver.OracleDriver.connect(OracleDriver.java:560) 

at com.imc.apm.application.Tools.getOracleDbConnection(Tools.java:1003) 

at com.imc.apm.application.oracle.OracleServiceMgrImpl.connect(OracleServiceMgrImpl.java:448) 

at com.imc.apm.application.oracle.OracleServiceMgrImpl.lookForApplicationItem(OracleServiceMgrImpl.java:797) 

at com.imc.apm.message.AppMessageHandlerMgrImpl.handleRequestReceiver(AppMessageHandlerMgrImpl.java:739) 

at com.imc.apm.message.AppMessageHandlerMgrImpl.preHandleMessage(AppMessageHandlerMgrImpl.java:494) 

at com.imc.apm.message.AppMessageHandlerMgrImpl.run(AppMessageHandlerMgrImpl.java:1142) 

at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 

at java.lang.Thread.run(Thread.java:745)

从日志可以看出有ORA-12516的报错，该报错多由于ORACLE数据库连接数不足导致客户端无法正常连接。由于U-CENTER需要使用客户端去连接被监控ORACLE数据库采集指标数据。

三、在U-CENTER服务器上使用sqlplus username/password@servicename去尝试进行连接，发现无法正常连接到数据库。

四、查看被监控Oracle数据库的连接数，使用show parameter sessions;发现数据库连接数确实已经达到上限。

增加被监控ORACLE数据库连接数确保Client可以正常连接到数据库即可