• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 全部
  • 全部
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
高级搜索

某局点大量AP 掉线问题处理经验案例

2020-02-26 发表
  • 2关注
  • 3收藏,1212浏览
粉丝:18人 关注:0人

组网及说明

AC 旁挂核心交换机,核心交换机作为网关,网关开启了ARP代理功能。核心交换机下接入15台汇聚交换机,汇聚交换机下接接入交换机,接入交换机下接入大量APAP二层注册到AC 上,AP 网关在核心交换机上。无线用户有一万多用户,同一vlan,分配一个B类网段。无线终端网关在核心交换机上。

AC-----核心交换机(网关)-----汇聚交换机-----接入交换机------AP- - - -无线终端

问题描述

某局点反馈该局点有两千多AP,最近频繁出现大量AP 掉线,每次都会掉线超过1500+台以上,每次无线网络中断时长超过半个小时。

过程分析

AP 掉线可能有几种原因:AC问题,AP 问题、汇聚交换机问题、接入交换机问题、核心交换机问题。解决问题第一步是确定问题点在哪儿。

分析过程:

1.     首先从AP 上查看掉线原因为:Failed to retransmit message重传超时。直接原因就是故障时AP AP 不通了。那么问题肯定在AP AC之间这一段。

2.     因为不是个别AP 掉线,而是大量AP 掉线,排除AP 自身问题,问题点不在AP

3.     对于这种AP 同时大量掉线的情况,常见的原因有:AC 原因或者有线链路问题。但是出现问题时并非AC 下所有AP掉线,只是大部分AP 掉线,还是有一些AP 正在在线,且收集故障时AC 的接口流量统计,并未有明显地单播或者广播流量突发的情况,排查异常流量冲击AC CPU的可能。此外出现问题时,AC 是可以从核心侧Ping通并登陆管理的,所以大概率排除AC 本身相关进程异常的问题。

4.     大概率怀疑有线链路传输异常。在问题出现后有排查过接入交换机,汇聚交换机,核心交换机,未发现大量的接口up downstp震荡的记录。只是平时核心交换机的CPU较高。

5.     考虑是否是APAC之间的通信的capwap报文,因为核心交换机CPU过高而被丢弃,但是从交换侧研发确认,AP AC 之间的capwap报文是走的硬件转发,不上送CPU处理,不存在核心交换机丢弃capwap报文的情况。

梳理疑点,寻找规律

疑点一:出现问题时核心交换机CPU较高,ARP报文已经超限速阈值。软件限速100pps,实际最高可达667pps

疑点二:有线侧抓包显示有部分终端在发送ARP遍历请求,后经确认一些终端在打开爱奇艺、腾讯等APP时确实会出现这种行为。

疑点三:通过回溯发现,每次无线网络大量掉线时都伴随着某一台汇聚交换机断电。这一台汇聚交换机由于最近供电房电压不稳而经常掉电重启。尝试复现现象,重启这台汇聚交换机后确实其他汇聚交换机下大量AP 开始掉线。

疑点四:AC上通过命令display wlan ap statistics online-record查看AP 掉线记录发现,虽然每次掉线1000多台AP ,但不是在同一分钟掉线,而是每分钟次掉线几十台AP,持续半个小时,最后一分钟AP恢复上线

基于以上的疑点,梳理出以下结果:

1.     这个无线网络的广播域非常大,一万多用户在一个同vlan里,划分了一个B类地址段,且网络中有部分终端在发送ARP遍历请求,网络中充斥着比较多的ARP报文,这些ARP报文最终要上送网关处理,所以平时网关的CPU压力就比较大。

2.     当一台汇聚交换机由于外界原因出现重启时,大量无线终端会同时上线,并发送ARP报文,建立ARP表项。此时部分终端会发送ARP遍历报文,由于是一个B类地址段,ARP遍历报文特别多,大量的ARP报文上送到核心,冲击核心的CPU。核心交换机原本CPU就比较高,此时某台汇聚交换机重启成为压死骆驼的最后一根稻草。由于网关开启了ARP代理功能,CPU过高,ARP报文超限速,大量的ARP报文由于处理不过来被丢弃。

3.     原核心交换机上是有APARP表项的,但是表项的老化时长是20分钟。当APARP表项陆陆续续老化时,此时新的ARP表项无法建立, AP AC 无法正常通信,AP 掉线。这也能解释为什么AP 是陆陆续续掉线,每分钟掉线几十台。

4.     当大量AP掉线后,AP下无线终端也跟着掉线,网络中接入终端数大量减少,终端发的ARP报文也会减少,核心交换机的CPU 降到正常水平,APARP表项正常建立,APAC 恢复通信,AP 上线,无线业务恢复。

导致AP 大量掉线的诱因有以下几个:

1.     前期组网规划不合理:无线广播域过大。且分配的是一个B类地址段。

2.     部分终端存在ARP遍历行为。

3.     汇聚交换机断电重启。

    4. 核心交换机选型不合适,为中低端款型,性能太弱,规格和性能都已经达到瓶颈,不足以承载这么大规模网络的网关功能   

解决方法

对于这种问题不能粗暴地在网关上进行ARP限速解决,网关开启ARP限速后也会丢弃掉终端正常的ARP请求,导致终端出现连着wifi无法上网的情况。

由于诱因2行为不可控,只能从其他几个因素着手整改。整改内容如下:

1.     将一万多无线用户重新划分为20vlan,每个vlan分配一个22位掩码的地址段,减小ARP遍历的规模。

2.     客户自行修复某台汇聚交换机的供电问题,保证不再频繁掉线重启。

3.     更换核心交换机的型号,选择更为高端的款型承载网关功能。

0 个评论

该案例暂时没有网友评论

编辑评论

举报

×

侵犯我的权益 >
对根叔知了社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔知了社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明

提出建议

    +
<

亲~登录后才可以操作哦!

确定

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作