某局点大量AP 掉线问题处理经验案例

AC 旁挂核心交换机，核心交换机作为网关，网关开启了ARP代理功能。核心交换机下接入15台汇聚交换机，汇聚交换机下接接入交换机，接入交换机下接入大量AP，AP二层注册到AC 上，AP 网关在核心交换机上。无线用户有一万多用户，同一vlan，分配一个B类网段。无线终端网关在核心交换机上。

AC-----核心交换机（网关）-----汇聚交换机-----接入交换机------AP- - - -无线终端

某局点反馈该局点有两千多AP，最近频繁出现大量AP 掉线，每次都会掉线超过1500+台以上，每次无线网络中断时长超过半个小时。

AP 掉线可能有几种原因：AC问题，AP 问题、汇聚交换机问题、接入交换机问题、核心交换机问题。解决问题第一步是确定问题点在哪儿。

分析过程：

1.     首先从AP 上查看掉线原因为：Failed to retransmit message重传超时。直接原因就是故障时AP 和AP 不通了。那么问题肯定在AP 和AC之间这一段。

2.     因为不是个别AP 掉线，而是大量AP 掉线，排除AP 自身问题，问题点不在AP 上

3.     对于这种AP 同时大量掉线的情况，常见的原因有：AC 原因或者有线链路问题。但是出现问题时并非AC 下所有AP掉线，只是大部分AP 掉线，还是有一些AP 正在在线，且收集故障时AC 的接口流量统计，并未有明显地单播或者广播流量突发的情况，排查异常流量冲击AC CPU的可能。此外出现问题时，AC 是可以从核心侧Ping通并登陆管理的，所以大概率排除AC 本身相关进程异常的问题。

4.     大概率怀疑有线链路传输异常。在问题出现后有排查过接入交换机，汇聚交换机，核心交换机，未发现大量的接口up down，stp震荡的记录。只是平时核心交换机的CPU较高。

5.     考虑是否是AP和AC之间的通信的capwap报文，因为核心交换机CPU过高而被丢弃，但是从交换侧研发确认，AP 和AC 之间的capwap报文是走的硬件转发，不上送CPU处理，不存在核心交换机丢弃capwap报文的情况。

梳理疑点，寻找规律

疑点一：出现问题时核心交换机CPU较高，ARP报文已经超限速阈值。软件限速100pps，实际最高可达667pps。

疑点二：有线侧抓包显示有部分终端在发送ARP遍历请求，后经确认一些终端在打开爱奇艺、腾讯等APP时确实会出现这种行为。

疑点三：通过回溯发现，每次无线网络大量掉线时都伴随着某一台汇聚交换机断电。这一台汇聚交换机由于最近供电房电压不稳而经常掉电重启。尝试复现现象，重启这台汇聚交换机后确实其他汇聚交换机下大量AP 开始掉线。

疑点四：AC上通过命令display wlan ap statistics online-record查看AP 掉线记录发现，虽然每次掉线1000多台AP ，但不是在同一分钟掉线，而是每分钟次掉线几十台AP，持续半个小时，最后一分钟AP恢复上线

基于以上的疑点，梳理出以下结果：

1.     这个无线网络的广播域非常大，一万多用户在一个同vlan里，划分了一个B类地址段，且网络中有部分终端在发送ARP遍历请求，网络中充斥着比较多的ARP报文，这些ARP报文最终要上送网关处理，所以平时网关的CPU压力就比较大。

2.     当一台汇聚交换机由于外界原因出现重启时，大量无线终端会同时上线，并发送ARP报文，建立ARP表项。此时部分终端会发送ARP遍历报文，由于是一个B类地址段，ARP遍历报文特别多，大量的ARP报文上送到核心，冲击核心的CPU。核心交换机原本CPU就比较高，此时某台汇聚交换机重启成为压死骆驼的最后一根稻草。由于网关开启了ARP代理功能，CPU过高，ARP报文超限速，大量的ARP报文由于处理不过来被丢弃。

3.     原核心交换机上是有AP的ARP表项的，但是表项的老化时长是20分钟。当AP的ARP表项陆陆续续老化时，此时新的ARP表项无法建立， AP 和AC 无法正常通信，AP 掉线。这也能解释为什么AP 是陆陆续续掉线，每分钟掉线几十台。

4.     当大量AP掉线后，AP下无线终端也跟着掉线，网络中接入终端数大量减少，终端发的ARP报文也会减少，核心交换机的CPU 降到正常水平，AP的ARP表项正常建立，AP和AC 恢复通信，AP 上线，无线业务恢复。

导致AP 大量掉线的诱因有以下几个：

1.     前期组网规划不合理：无线广播域过大。且分配的是一个B类地址段。

2.     部分终端存在ARP遍历行为。

3.     汇聚交换机断电重启。

    4. 核心交换机选型不合适，为中低端款型，性能太弱，规格和性能都已经达到瓶颈，不足以承载这么大规模网络的网关功能   

对于这种问题不能粗暴地在网关上进行ARP限速解决，网关开启ARP限速后也会丢弃掉终端正常的ARP请求，导致终端出现连着wifi无法上网的情况。

由于诱因2行为不可控，只能从其他几个因素着手整改。整改内容如下：

1.     将一万多无线用户重新划分为20个vlan，每个vlan分配一个22位掩码的地址段，减小ARP遍历的规模。

2.     客户自行修复某台汇聚交换机的供电问题，保证不再频繁掉线重启。

3.     更换核心交换机的型号，选择更为高端的款型承载网关功能。