深圳智慧城市40G无线插卡周期性的CPU利用率告警，CPU使用率到达100%，其中AGNT进程偏高，会达到70%。
Warning:CPU usage overload!
===== CPU usage info (no: 0 idx: 49) =====
CPU Usage Stat. Cycle: 60 (Second)
CPU Usage : 100%
CPU Usage Stat. Time : 2015-08-28 09:52:09
CPU Usage Stat. Tick : 0xd5c1(CPU Tick High) 0x6102d0e9(CPU Tick Low)
Actual Stat. Cycle : 0x1(CPU Tick High) 0xfee9b942(CPU Tick Low)
TaskName CPU Runtime(CPU Tick High/CPU Tick Low)
MCIN 0% 0/ 19496
TICK 0% 0/ 12b87bb
STMR 0% 0/ 1d437e7
IPCT 0% 0/ 4efc4f
DrTC 0% 0/ 46b473
CTLT 0% 0/ 63b110
CKPT 0% 0/ 851b
VP 0% 0/ 5a5
IPCB 0% 0/ 1f2b3e
RPCQ 0% 0/ 51b744
ADJ6 0% 0/ 13373
IPCM 0% 0/ 23b8c
INFO 2% 0/ e071d86
WPMS 0% 0/ 207e5
DEV 0% 0/ 143dc8
SOCK 0% 0/ 823a4d
ADJ4 0% 0/ 1bcea
SFLW 0% 0/ 58a89
ACL 0% 0/ 3da06
mac 0% 0/ 89f12
LAGG 0% 0/ 2b18d
MSTP 0% 0/ 243be
LLDP 0% 0/ 1f45e
PTMT 0% 0/ 181b4f6
PTTP 3% 0/10e18fce
ARP 6% 0/21c25161
IP 0% 0/ 49d89d
NQA 0% 0/ 4afaaa
FSLH 0% 0/ 2eb38
FSLR 0% 0/ 138801
NTPT 0% 0/ 25bf0
VTYD 0% 0/ 124b80
DHCP 0% 0/ 328ee
ND 0% 0/ 274f47
AGNT 73% 1/770b1a10
TRAP 0% 0/ 22326c
DT1X 0% 0/ 17141a6
ACM 0% 0/ abc1c0
LS 0% 0/ df00c
RDSO 0% 0/ 10adf4
RDS 0% 0/ 4e0668
SC 0% 0/ 5d4f2e
IKE 0% 0/ 5f0673
MACA 0% 0/ 21f9581
WAPI 0% 0/ 202f45
PSEC 0% 0/ 1db05a
ULOG 0% 0/ 111ccc
IGSP 0% 0/ ee438
STND 0% 0/ 71613
ROUT 0% 0/ 628b69
WMAC 4% 0/1989f198
WIDS 0% 0/ 10d9ae
WRRM 0% 0/ 1e76fdb
CWMS 0% 0/ 43cac
LWPS 5% 0/1c81e268
WVB 0% 0/ 212ed
WBKP 0% 0/ f8586
IACT 0% 0/ 1e10f
WBNJ 0% 0/ ebb5a
IFNT 0% 0/ 2f44d
FTMT 0% 0/ e3ca09
FTMC 0% 0/ 26ca16
DNS 0% 0/ 10c278
vt2 0% 0/ ca779
Warning:CPU usage overload!
[luohu-ac-hidecmd]dis cpu task
===== Current CPU usage info =====
CPU Usage Stat. Cycle: 56 (Second)
CPU Usage : 100%
CPU Usage Stat. Time : 2015-08-26 09:30:45
CPU Usage Stat. Tick : 0xc0a5(CPU Tick High) 0x180538bd(CPU Tick Low)
Actual Stat. Cycle : 0x1(CPU Tick High) 0xde8a3509(CPU Tick Low)
TaskName CPU Runtime(CPU Tick High/CPU Tick Low)
MCIN 0% 0/ 7e11c
FSHE 0% 0/ 238d7
VIDL 0% 0/ 99b498
TICK 0% 0/ 14512dc
STMR 0% 0/ 1bd10e2
IPCT 0% 0/ 5a500a
DrTC 0% 0/ 5c430c
CTLT 0% 0/ 6ca49b
CKPT 0% 0/ a3b0
VP 0% 0/ 577
IPCB 0% 0/ 1ecdad
RPCQ 0% 0/ 5ad8eb
MACF 0% 0/ 12d0fb
ADJ6 0% 0/ 11060
IPCM 0% 0/ 223d2
INFO 4% 0/148c9ba2
vt0 0% 0/ 10a885c
WIPS 1% 0/ 56283c3
WCFG 0% 0/ 656
WPMS 0% 0/ 22fe3
WPEE 0% 0/ 61b
CCST 0% 0/ ea5
DEV 0% 0/ 13d581
SOCK 0% 0/ 9b9df5
ADJ4 0% 0/ 1ab45
SFLW 0% 0/ 5507b
ACL 0% 0/ 3a69a
mac 0% 0/ 74799
LAGG 0% 0/ 28105
MSTP 0% 0/ 226ad
LLDP 0% 0/ 1db3b
PTMT 0% 0/ 14109d1
PTTP 4% 0/141500ad
qos 0% 0/ f48
ARP 9% 0/2c3ae79f
IP 0% 0/ 5bc308
NQA 0% 0/ 54fb6a
FSLH 0% 0/ 2cf34
FSLR 0% 0/ 1333e9
NTPT 0% 0/ 22061
VTYD 0% 0/ 18d87e
DHCP 0% 0/ 31c2c
ND 0% 0/ 276e09
AGNT 61% 1/270fce93
TRAP 3% 0/ f0c5dbb
DT1X 0% 0/ 16dd135
ACM 0% 0/ a3c3af
LS 0% 0/ da3b8
RDSO 0% 0/ edad1
RDS 0% 0/ 4245fc
SC 0% 0/ 5a3d04
IKE 0% 0/ 5571af
MACA 0% 0/ 205eb28
WAPI 0% 0/ 1fe859
PSEC 0% 0/ 19c516
ULOG 0% 0/ 106887
IGSP 0% 0/ e13de
STND 0% 0/ 6d052
ROUT 0% 0/ 763bcb
WMAC 5% 0/1c4a7de5
WIDS 0% 0/ 1089bd
WRRM 0% 0/ 26390b5
CWMS 0% 0/ 44222
LWPS 6% 0/1dbf09f9
WVB 0% 0/ 1faa4
WBKP 0% 0/ f49ec
IACT 0% 0/ 1d15d
WBNJ 0% 0/ e98f9
IFNT 0% 0/ 6bd7c
FTMT 0% 0/ ec4d76
FTMC 0% 0/ 30b32f
vt1 0% 0/ e00e36
DNS 0% 0/ 10e7d9
[luohu-ac-hidecmd]fpl-diag showcplog 9,26,8,0,120
idx proto date rx drop delta
--------------------------------------------------------------------------
6119 snmp 08:00:18 08/26/2015 63968672 45658 2830
6120 snmp 08:01:19 08/26/2015 63972965 45672 4293
6121 snmp 08:02:20 08/26/2015 63977802 45672 4837
6122 snmp 08:03:20 08/26/2015 63982851 45672 5049
6123 snmp 08:04:20 08/26/2015 63987511 45672 4660
6124 snmp 08:05:20 08/26/2015 63991313 45672 3802
6125 snmp 08:06:21 08/26/2015 63995245 45672 3932
6126 snmp 08:07:22 08/26/2015 64000215 45674 4970
6127 snmp 08:08:23 08/26/2015 64005829 45674 5614
6128 snmp 08:09:23 08/26/2015 64016344 45674 10515
6129 snmp 08:10:23 08/26/2015 64019825 45674 3481
6130 snmp 08:11:23 08/26/2015 64020215 45674 390
6131 snmp 08:12:23 08/26/2015 64020748 45674 533
6132 snmp 08:13:24 08/26/2015 64020957 45674 209
6133 snmp 08:14:24 08/26/2015 64021678 45674 721
6134 snmp 08:15:25 08/26/2015 64026558 45709 4880
6135 snmp 08:16:26 08/26/2015 64032301 45725 5743
6136 snmp 08:17:26 08/26/2015 64044276 45725 11975
6137 snmp 08:18:26 08/26/2015 64046062 45725 1786
6138 snmp 08:19:26 08/26/2015 64046269 45725 207
6139 snmp 08:20:27 08/26/2015 64046542 45725 273
6140 snmp 08:21:27 08/26/2015 64049117 45725 2575
6141 snmp 08:22:28 08/26/2015 64054136 45733 5019
6142 snmp 08:23:29 08/26/2015 64064486 45736 10350
6143 snmp 08:24:29 08/26/2015 64069313 45736 4827
6144 snmp 08:25:29 08/26/2015 64069625 45736 312
6145 snmp 08:26:29 08/26/2015 64070011 45736 386
6146 snmp 08:27:30 08/26/2015 64072513 45736 2502
6147 snmp 08:28:30 08/26/2015 64072725 45736 212
6148 snmp 08:29:30 08/26/2015 64073968 45736 1243
6149 snmp 08:30:31 08/26/2015 64078729 45745 4761
6150 snmp 08:31:32 08/26/2015 64083181 45755 4452
6151 snmp 08:32:32 08/26/2015 64088437 45755 5256
6152 snmp 08:33:32 08/26/2015 64093300 45755 4863
6153 snmp 08:34:33 08/26/2015 64097306 45755 4006
6154 snmp 08:35:33 08/26/2015 64101275 45755 3969
6155 snmp 08:36:33 08/26/2015 64104483 45755 3208
6156 snmp 08:37:34 08/26/2015 64109106 45767 4623
6157 snmp 08:38:35 08/26/2015 64114697 45774 5591
6158 snmp 08:39:35 08/26/2015 64118650 45774 3953
6159 snmp 08:40:35 08/26/2015 64126776 45774 8126
6160 snmp 08:41:35 08/26/2015 64128551 45774 1775
6161 snmp 08:42:36 08/26/2015 64129042 45774 491
6162 snmp 08:43:36 08/26/2015 64129256 45774 214
6163 snmp 08:44:36 08/26/2015 64131006 45774 1750
6164 snmp 08:45:37 08/26/2015 64135905 45780 4899
6165 snmp 08:46:38 08/26/2015 64142748 45793 6843
6166 snmp 08:47:38 08/26/2015 64152357 45793 9609
6167 snmp 08:48:39 08/26/2015 64154626 45793 2269
6168 snmp 08:49:39 08/26/2015 64154774 45793 148
6169 snmp 08:50:39 08/26/2015 64155047 45793 273
6170 snmp 08:51:39 08/26/2015 64158573 45793 3526
6171 snmp 08:52:40 08/26/2015 64163475 45793 4902
6172 snmp 08:53:41 08/26/2015 64177065 45793 13590
6173 snmp 08:54:41 08/26/2015 64177867 45793 802
6174 snmp 08:55:41 08/26/2015 64178147 45793 280
6175 snmp 08:56:41 08/26/2015 64178672 45793 525
6176 snmp 08:57:41 08/26/2015 64181052 45793 2380
6177 snmp 08:58:41 08/26/2015 64181260 45793 208
6178 snmp 08:59:42 08/26/2015 64183517 45793 2257
6179 snmp 09:00:43 08/26/2015 64188654 45793 5137
6180 snmp 09:01:44 08/26/2015 64193206 45793 4552
6181 snmp 09:02:44 08/26/2015 64197943 45793 4737
6182 snmp 09:03:44 08/26/2015 64202410 45793 4467
6183 snmp 09:04:44 08/26/2015 64206527 45793 4117
6184 snmp 09:05:44 08/26/2015 64209964 45793 3437
6185 snmp 09:06:45 08/26/2015 64214364 45793 4400
6186 snmp 09:07:47 08/26/2015 64219437 45793 5073
6187 snmp 09:08:47 08/26/2015 64224903 45793 5466
6188 snmp 09:09:47 08/26/2015 64236050 45793 11147
6189 snmp 09:10:48 08/26/2015 64236341 45793 291
6190 snmp 09:11:48 08/26/2015 64236914 45793 573
6191 snmp 09:12:48 08/26/2015 64237331 45793 417
6192 snmp 09:13:48 08/26/2015 64237515 45793 184
6193 snmp 09:14:49 08/26/2015 64240246 45793 2731
6194 snmp 09:15:50 08/26/2015 64246013 45793 5767
6195 snmp 09:16:50 08/26/2015 64257384 45793 11371
6196 snmp 09:17:51 08/26/2015 64262551 45793 5167
6197 snmp 09:18:51 08/26/2015 64262818 45793 267
6198 snmp 09:19:51 08/26/2015 64262966 45793 148
6199 snmp 09:20:51 08/26/2015 64263243 45793 277
6200 snmp 09:21:52 08/26/2015 64268275 45793 5032
6201 snmp 09:22:53 08/26/2015 64274947 45826 6672
6202 snmp 09:23:53 08/26/2015 64285677 45826 10730
6203 snmp 09:24:53 08/26/2015 64286049 45826 372
6204 snmp 09:25:53 08/26/2015 64286330 45826 281
6205 snmp 09:26:53 08/26/2015 64286893 45826 563
6206 snmp 09:27:54 08/26/2015 64289300 45826 2407
6207 snmp 09:28:54 08/26/2015 64289452 45826 152
6208 snmp 09:29:54 08/26/2015 64292831 45826 3379
6209 snmp 09:30:56 08/26/2015 64298285 45847 5454
[luohu-ac-hidecmd]fpl-diag showcplog 9,25,12,0,120
idx proto date rx drop delta
--------------------------------------------------------------------------
4927 snmp 12:00:28 08/25/2015 59070175 38691 5390
4928 snmp 12:01:29 08/25/2015 59075259 38691 5084
4929 snmp 12:02:29 08/25/2015 59080537 38691 5278
4930 snmp 12:03:30 08/25/2015 59085157 38691 4620
4931 snmp 12:04:30 08/25/2015 59088850 38691 3693
4932 snmp 12:05:30 08/25/2015 59091807 38691 2957
4933 snmp 12:06:31 08/25/2015 59095292 38691 3485
4934 snmp 12:07:32 08/25/2015 59100481 38730 5189
4935 snmp 12:08:32 08/25/2015 59114309 38730 13828
4936 snmp 12:09:32 08/25/2015 59117148 38730 2839
4937 snmp 12:10:33 08/25/2015 59117459 38730 311
4938 snmp 12:11:33 08/25/2015 59117844 38730 385
4939 snmp 12:12:33 08/25/2015 59118378 38730 534
4940 snmp 12:13:33 08/25/2015 59118587 38730 209
4941 snmp 12:14:33 08/25/2015 59120005 38730 1418
4942 snmp 12:15:34 08/25/2015 59125337 38766 5332
4943 snmp 12:16:35 08/25/2015 59136055 38766 10718
4944 snmp 12:17:35 08/25/2015 59143441 38766 7386
4945 snmp 12:18:35 08/25/2015 59143770 38766 329
4946 snmp 12:19:35 08/25/2015 59143918 38766 148
4947 snmp 12:20:35 08/25/2015 59144191 38766 273
4948 snmp 12:21:36 08/25/2015 59147785 38766 3594
4949 snmp 12:22:37 08/25/2015 59153320 38766 5535
4950 snmp 12:23:37 08/25/2015 59166457 38766 13137
4951 snmp 12:24:37 08/25/2015 59166853 38766 396
4952 snmp 12:25:38 08/25/2015 59167164 38766 311
4953 snmp 12:26:38 08/25/2015 59167609 38766 445
4954 snmp 12:27:38 08/25/2015 59170076 38766 2467
4955 snmp 12:28:38 08/25/2015 59170285 38766 209
4956 snmp 12:29:39 08/25/2015 59172233 38766 1948
4957 snmp 12:30:40 08/25/2015 59177713 38766 5480
4958 snmp 12:31:41 08/25/2015 59182753 38766 5040
4959 snmp 12:32:41 08/25/2015 59188273 38766 5520
4960 snmp 12:33:41 08/25/2015 59193132 38766 4859
4961 snmp 12:34:41 08/25/2015 59196634 38766 3502
4962 snmp 12:35:41 08/25/2015 59198925 38766 2291
4963 snmp 12:36:42 08/25/2015 59202902 38766 3977
4964 snmp 12:37:43 08/25/2015 59208097 38766 5195
4965 snmp 12:38:43 08/25/2015 59223184 38766 15087
4966 snmp 12:39:43 08/25/2015 59223622 38766 438
4967 snmp 12:40:43 08/25/2015 59223921 38766 299
4968 snmp 12:41:45 08/25/2015 59224484 38766 563
4969 snmp 12:42:45 08/25/2015 59224840 38766 356
4970 snmp 12:43:45 08/25/2015 59225049 38766 209
4971 snmp 12:44:46 08/25/2015 59227643 38766 2594
4972 snmp 12:45:47 08/25/2015 59233308 38766 5665
4973 snmp 12:46:47 08/25/2015 59246599 38766 13291
4974 snmp 12:47:47 08/25/2015 59249941 38766 3342
4975 snmp 12:48:47 08/25/2015 59250238 38766 297
4976 snmp 12:49:47 08/25/2015 59250386 38766 148
4977 snmp 12:50:47 08/25/2015 59250660 38766 274
4978 snmp 12:51:48 08/25/2015 59255243 38766 4583
4979 snmp 12:52:49 08/25/2015 59262685 38766 7442
4980 snmp 12:53:50 08/25/2015 59273005 38766 10320
4981 snmp 12:54:50 08/25/2015 59273373 38766 368
4982 snmp 12:55:50 08/25/2015 59273654 38766 281
4983 snmp 12:56:50 08/25/2015 59274216 38766 562
4984 snmp 12:57:50 08/25/2015 59276625 38766 2409
4985 snmp 12:58:50 08/25/2015 59276774 38766 149
4986 snmp 12:59:51 08/25/2015 59279633 38766 2859
4987 snmp 13:00:52 08/25/2015 59285492 38766 5859
4988 snmp 13:01:53 08/25/2015 59290062 38766 4570
4989 snmp 13:02:53 08/25/2015 59295000 38766 4938
4990 snmp 13:03:53 08/25/2015 59299273 38766 4273
4991 snmp 13:04:53 08/25/2015 59302293 38766 3020
4992 snmp 13:05:53 08/25/2015 59304788 38766 2495
4993 snmp 13:06:55 08/25/2015 59310142 38766 5354
4994 snmp 13:07:56 08/25/2015 59320196 38809 10054
4995 snmp 13:08:56 08/25/2015 59329105 38809 8909
4996 snmp 13:09:56 08/25/2015 59329473 38809 368
4997 snmp 13:10:56 08/25/2015 59329758 38809 285
4998 snmp 13:11:56 08/25/2015 59330324 38809 566
4999 snmp 13:12:57 08/25/2015 59330743 38809 419
5000 snmp 13:13:57 08/25/2015 59330892 38809 149
5001 snmp 13:14:57 08/25/2015 59334366 38809 3474
5002 snmp 13:15:59 08/25/2015 59340041 38809 5675
5003 snmp 13:16:59 08/25/2015 59353516 38809 13475
5004 snmp 13:17:59 08/25/2015 59355808 38809 2292
5005 snmp 13:18:59 08/25/2015 59356075 38809 267
5006 snmp 13:19:59 08/25/2015 59356223 38809 148
5007 snmp 13:20:59 08/25/2015 59356688 38809 465
5008 snmp 13:22:00 08/25/2015 59362345 38809 5657
5009 snmp 13:23:01 08/25/2015 59373482 38809 11137
5010 snmp 13:24:01 08/25/2015 59379010 38809 5528
5011 snmp 13:25:01 08/25/2015 59379193 38809 183
5012 snmp 13:26:01 08/25/2015 59379474 38809 281
5013 snmp 13:27:02 08/25/2015 59380126 38809 652
5014 snmp 13:28:02 08/25/2015 59382449 38809 2323
5015 snmp 13:29:02 08/25/2015 59382657 38809 208
5016 snmp 13:30:03 08/25/2015 59386573 38809 3916
5017 snmp 13:31:04 08/25/2015 59391996 38809 5423
5018 snmp 13:32:04 08/25/2015 59397437 38809 5441
5019 snmp 13:33:05 08/25/2015 59402835 38809 5398
5020 snmp 13:34:05 08/25/2015 59406677 38809 3842
5021 snmp 13:35:05 08/25/2015 59410300 38809 3623
5022 snmp 13:36:05 08/25/2015 59411072 38809 772
5023 snmp 13:37:06 08/25/2015 59416706 38809 5634
5024 snmp 13:38:07 08/25/2015 59429805 38809 13099
5025 snmp 13:39:07 08/25/2015 59435026 38809 5221
5026 snmp 13:40:07 08/25/2015 59435205 38809 179
5027 snmp 13:41:07 08/25/2015 59435486 38809 281
5028 snmp 13:42:08 08/25/2015 59436142 38809 656
5029 snmp 13:43:08 08/25/2015 59436468 38809 326
5030 snmp 13:44:08 08/25/2015 59436753 38809 285
5031 snmp 13:45:09 08/25/2015 59441061 38809 4308
5032 snmp 13:46:10 08/25/2015 59447018 38830 5957
5033 snmp 13:47:10 08/25/2015 59461016 38830 13998
5034 snmp 13:48:10 08/25/2015 59461606 38830 590
5035 snmp 13:49:10 08/25/2015 59461814 38830 208
5036 snmp 13:50:11 08/25/2015 59462031 38830 217
5037 snmp 13:51:11 08/25/2015 59463399 38830 1368
5038 snmp 13:52:12 08/25/2015 59468913 38833 5514
5039 snmp 13:53:13 08/25/2015 59474052 38833 5139
5040 snmp 13:54:13 08/25/2015 59479566 38833 5514
5041 snmp 13:55:13 08/25/2015 59484411 38833 4845
5042 snmp 13:56:13 08/25/2015 59488401 38833 3990
5043 snmp 13:57:14 08/25/2015 59492414 38833 4013
5044 snmp 13:58:14 08/25/2015 59495049 38833 2635
5045 snmp 13:59:14 08/25/2015 59496820 38833 1771
5046 snmp 14:00:15 08/25/2015 59501776 38833 4956
[luohu-ac-hidecmd]
[luohu-ac-hidecmd]dis cpu hi
100%| # # # # #
95%| # # # # ## # #
90%| # # # # # ## # #
85%| # # # # # ## # #
80%| # # # # # ## # #
75%| # # # # # ## # #
70%| # # # # # # ## ## # #
65%| ## ## # ### ## ## ## ##### ## ##
60%| ## ## ## #### #### ## ## ########## ###
55%|### ## ### ######### ### ################## ###
50%|#### # ## ### ########### ###### ########################
45%|###### #### ################################################
40%|############################################################
35%|############################################################
30%|############################################################
25%|############################################################
20%|############################################################
15%|############################################################
10%|############################################################
5%|############################################################
------------------------------------------------------------
10 20 30 40 50 60 (minutes)
cpu-usage last 60 minutes(SYSTEM)
[luohu-ac-hidecmd]
周期性的出现cpu利用率达到100%，其中AGNT进程偏高，从fpl-daig showcplog 来看snmp报文量和cpu利用率关系紧密。
从分析来看 ，CPU高的主要原因在agent，网管在5到10分钟左右每周期会向ac读取信息，从snmp报文量峰值和cpu history中记录cpu高比较匹配。
1. 首先要清楚网管主要在干嘛 ？
2. IMC上几乎取消了所有的无线性能监控指标
3 设备轮询时间设置为最大。
4 AC上取消了trap信息上传到IMC上。
5.IMC上无线终端轮询周期设置为30分钟
方法：在iMC服务器的安装目录下，找到imc/server/conf/qvdm_wlan.conf，先备份“qvdm_wlan.conf”文件，查看原文件中“StaPollIntv”字段。
优化之后观察一段时间后，采取以上措施均没有改善 ，还是周期性出现CPU利用率高，依然是AGNT进程引起 。
其后在WSM服务器上抓包，收集包含该无线插卡CPU高的过程的抓包；和iMC/server/conf/log下imcwlandm、imcwipsdm、imcwlanperfdm的日志，然后在资源中把这个AC取消管理，观察是不是还会高。
经分析 ：
使用相关工具 ，在IMC上关一下浙江移动定制的采集指标，确认下是不是这个原因引起的。
这个开关功能，已经合入最新的补丁WSM组件版本。
关闭后，运行完脚本后观察了CPU使用率正常。
关于IMC WSM，浙江移动定制有十多个监视指标，15分钟采集一次，但个别节点处理时，一次性获取次数会比较多，这是当时抓包里显示出来的现象，有可能会导致CPU高。这个问题已经在最新的WSM版本中进行优化修改，并且这些指标默认是关闭的。
该案例暂时没有网友评论
编辑评论
✖
案例意见反馈
亲~登录后才可以操作哦!
确定你的邮箱还未认证，请认证邮箱或绑定手机后进行当前操作