某局点 S10512 CPU进程占用高经验案例

无

某局点Slot 5 CPU利用率异常高，查看框1和框2 Slot5的CPU利用率

  ===============display cpu=============== 

Chassis 1 Slot 5 CPU 0 CPU usage:

      45% in last 5 seconds

       5% in last 1 minute

      19% in last 5 minutes

Chassis 2 Slot 5 CPU 0 CPU usage:

      50% in last 5 seconds

       5% in last 1 minute

      17% in last 5 minutes

===============display device verbose=============== 

Slot   Type                  State    Subslot  Soft Ver            Patch Ver

1/0    LSUM1TGS48SG0         Normal   0        S10500-7186P01      None     

1/1    LSUM2GP44TSSE0        Normal   0        S10500-7186P01      None     

……  

1/5    LSQ1FWBSC0            Normal   0        S10500-7186P01      None   //两个框都是防火墙板卡

寻找占用CPU高的进程，发现两个框都是KMAC进程异常高。

===============display process cpu slot 1===============

CPU utilization in 5 secs: 13.9%; 1 min: 14.1%; 5 mins: 14.5%

JID 5Sec 1Min 5Min Name

107     37.8%      8.1%      6.8%    [kmac/1]

===============display process cpu slot 2===============

CPU utilization in 5 secs: 13.9%; 1 min: 14.1%; 5 mins: 14.5%

JID 5Sec 1Min 5Min Name

107     42.7%     12.2%      8.4%    [kmac/1]

查看logbuffer日志，大量打印

%Nov  8 12:22:52:202 2018 SLH-Server-S10512-IRF STP/6/STP_NOTIFIED_TC: Instance 0's port Bridge-Aggregation10 was notified a topology change.

%Nov  8 12:22:54:715 2018 SLH-Server-S10512-IRF STP/6/STP_NOTIFIED_TC: Instance 0's port Bridge-Aggregation10 was notified a topology change.

%Nov  8 12:22:57:076 2018 SLH-Server-S10512-IRF STP/6/STP_NOTIFIED_TC: Instance 0's port Bridge-Aggregation10 was notified a topology change.

%Nov  8 12:22:58:656 2018 SLH-Server-S10512-IRF STP/6/STP_NOTIFIED_TC: Instance 0's port Bridge-Aggregation10 was notified a topology change.

kmac也是mac地址学习的进程，每个槽位的mac地址学习能力不一样，因此体现在cpu的利用率上。

查看日志聚合10接口下一直在收发tc

-------------- STP chassis 1 slot 6 TC or TCN count -------------

MST ID   Port                                Receive  Send

0        Bridge-Aggregation10                1723002  7593 

每次收到tc，会刷新mac表项，进行mac重新学习，因此KMAC进程利用率高，建议排查聚合10互联设备产生tc的原因。

1、根据核心12516日志查询发现有台接入设备一直在发TC报文

2：进入楼层接入设备查看：

发现这个端口一直在拓扑改变:

3：通过命令查询发现TC 每隔多少秒就会增长，随着接口TC报文增长，核心日志会增加和楼层聚合301  STP拓扑造成震动，汇聚日志会增加与核心相连的聚合口10  STP拓扑造成震动 .

4：做了测试，在楼层设备全局增加stp bpdu-protection 保护 和接口g1/0/47 增加成STP边缘端口，发现由于全局开启了BPDU保护，使g1/0/47 直接DOWN，再次查看10512汇聚交换机CPU占用率发现正常。

5：接入设备g1/0/47下联连接的一台down-link 设备，建议相关人员去排查。