设备型号:S5560X-30C-EI
通过 dis qos queue-statistics interface outbound查看到接口存在Dropped增长,队列二丢包,用户想要确认为什么会出现队列丢包,是否是带宽或者性能不足导致,如果是则如何判断是性能不足还是带宽超限,判断依据是什么?
现场已经排查了以下步骤:
1.查看异常接口是否放行了全部VLAN(后续查看只放行了相应VLAN,无异常)
2.查看是否做了镜像,异常丢包口是否为观察口(后续查看无做镜像)
3. [H3C]burst-mode enable //开启动态缓冲区(客户已拒绝,怕对其他正常端口造成影响)
4.客户交换机版本较老,和客户提出升级推荐版本(客户怕影响服务器已拒绝)
5.在设备上抓包,并无异常和广播报文
接着需要作以下排查:
1、dis qos queue-statistics interface outbound , 显示只有队列2和队列5有流量转发,只有队列2在丢包,队列5没有丢包。
2、查看诊断日志,dis diagnostic-information
3、查看CPU、内容使用情况
Slot 1:
Total Used Free Shared Buffers Cached FreeRatio
Mem: 2036432 783168 1253264 0 1476 282480 62.7%
-/+ Buffers/Cache: 499212 1537220
Swap: 0 0 0
LowMem: 1651408 398764 1252644 -- -- -- 75.9%
HighMem: 385024 384404 620 -- -- -- 0.2%
此处highmem只剩0.2%可用,进一步验证缓冲区溢出导致的低优先级流量丢包。
4、查看接口的物理带宽
对于队列丢包的排查总结:
1)先弄清哪个队列丢包,要查看队列和dot1p、dscp的映射关系,确定是什么业务丢包。
2)队列有丢包说明队列拥塞了,确认端口上拥塞管理的机制
3)明确端口拥塞的场景,看是否是端口多打一;高打低;出方向限速或整形;瞬发大流量等等。
4)确认具体拥塞的原因,比如tc刷表短时泛洪流量导致的丢包,比如镜像时多打一了,比如很多端口出方向队列丢包,比如少量或单个口出方向队列丢包,比如物理带宽直接打满了。
5)对4)中的问题1,排查tc报文的来源;对问题2,增加镜像目的口或反射口的带宽,做聚合;对问题3,找这些端口的共性,怀疑放行的某个vlan有流量异常;对问题4也怀疑端口上特有的vlan流量异常,dis interface看的是300s平均值,可以配置flow-interval 5查看5s内的端口带宽,如果还是看不到,认为是微突发,微突发技术指导-6W100-新华三集团-H3C;对于问题5,大概率存在环路或泛洪攻击,可以在丢包的端口做出方向的端口镜像,检查对应端口出方向的异常报文来源。