• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 全部
  • 全部
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
高级搜索

S6800 批量OSPF震荡案例

2020-02-24发表
  • 0关注
  • 0收藏,173浏览
程飞 九段
粉丝:10人 关注:0人

组网及说明

    无

问题描述

多台S6800突然与下联服务器建立OSPF邻居,突然出现OSPF邻居震荡,然后后自动恢复。

%Aug 27 10:41:52:326 2019 SH-LG-0203-J16-H6800QTH1-XGWW-01 OSPF/5/OSPF_NBR_CHG: OSPF 4 Neighbor 9.18.77.172(Vlan-interface203) changed from FULL
to EXSTART.

%Aug 27 10:41:52:327 2019 SH-LG-0203-J16-H6800QTH1-XGWW-01 OSPF/5/OSPF_NBR_CHG: OSPF 4 Neighbor 9.18.77.164(Vlan-interface203) changed from FULL
to EXSTART.

%Aug 27 10:41:52:328 2019 SH-LG-0203-J16-H6800QTH1-XGWW-01 OSPF/5/OSPF_NBR_CHG: OSPF 4 Neighbor 9.18.77.144(Vlan-interface203) changed from FULL
to EXSTART.

%Aug 27 10:41:52:329 2019 SH-LG-0203-J16-H6800QTH1-XGWW-01 OSPF/5/OSPF_NBR_CHG: OSPF 4 Neighbor 9.18.77.181(Vlan-interface203) changed from FULL
to EXSTART.

%Aug 27 10:41:55:809 2019 SH-LG-0203-J16-H6800QTH1-XGWW-01 OSPF/5/OSPF_NBR_CHG: OSPF 4 Neighbor 9.18.77.168(Vlan-interface203) changed from LOADING
to FULL.

%Aug 27 10:41:55:835 2019 SH-LG-0203-J16-H6800QTH1-XGWW-01 OSPF/5/OSPF_NBR_CHG: OSPF 4 Neighbor 9.18.77.139(Vlan-interface203) changed from LOADING
to FULL.

%Aug 27 10:41:55:835 2019 SH-LG-0203-J16-H6800QTH1-XGWW-01 OSPF/5/OSPF_NBR_CHG: OSPF 4 Neighbor 9.18.77.156(Vlan-interface203) changed from LOADING
to FULL.


过程分析

 

  1. 查看OSPF DOWN的原因是由于ospf hello报文超时,因此首先看softcar,发现OSPF报文上CPU的较多,但是并没有ospf报文超限速丢弃的情况。

%Jul 27 21:48:51:104 2019 SH-LG-0203-K14-H6800QTH1-XGWW-01 OSPF/6/OSPF_LAST_NBR_DOWN: OSPF 4 Last neighbor down event: Router ID: 9.18.80.172 Local address: 9.18.77.129 Remote address: 9.18.77.172 Reason: DeadInterval timer expired.

%Jul 27 21:48:51:104 2019 SH-LG-0203-K14-H6800QTH1-XGWW-01 OSPF/6/OSPF_LAST_NBR_DOWN: OSPF 4 Last neighbor down event: Router ID: 9.18.80.172 Local address: 9.18.77.129 Remote address: 9.18.77.172 Reason: DeadInterval timer expired.

%Jul 27 21:48:51:104 2019 SH-LG-0203-K14-H6800QTH1-XGWW-01 OSPF/6/OSPF_LAST_NBR_DOWN: OSPF 4 Last neighbor down event: Router ID: 9.18.80.172 Local address: 9.18.77.129 Remote address: 9.18.77.172 Reason: DeadInterval timer expired.

 

11  IPV4_MC_OSPF_5      871    -690389413 0          2000 S   On  SMAC 8

12  IPV4_MC_OSPF_6      48     35222692   0          2000 S   On  SMAC 8

 

 

2、查看show/c发现有上CPU 硬件35队列丢包的情况。 通过如下命令确定系统ACL是将  OSPF报文 通过 CPU队列35 上送的。 如下show/cpw里都能看到35 队列在丢包。

 

[SH-LG-0203-J16-H6800QTH1-XGWW-01-probe]debug qacl show slot 1 chip 0 verbose 0 sysidx 11

 

========

Acl-Type RX IPv4 Middle High, Stage IFP, Pipe 0, Global, Installed, Active

Prio Mjr/Sub 523/23, Group 16 [16], Slice/Idx 10/20, Entry 79, Double: 14356/15380

Rule Match --------

        Ports:

                0x0000000000000000000000000000000000000000000001fffffffffffffffffe

                0x0000000000000000000000000000000000000200000001ffffffffffffffffff

        Lookup: VLAN ID valid[y], STP forwarding, 0x1c, 0x1c

        Dest IP: 224.0.0.5, 255.255.255.255

        IP protocol: ospf

        Vlan Class id: 0x0    Mask: 0x20

Actions --------

        CAR cir 0x7d0, cbs 0x800, pir 0x7d0, pbs 0x800, mode srTCM color blind,Packets

        Account mode  packets,  green and non-green

        Copy_to_cpu : Yes

        Change CPU pkt COS 35  //将该OSPF报文送到35队列上传CPU

        Permit

        Red Deny

        Red_Copy_to_cpu : No

        Yel Deny

        Yel_Copy_to_cpu : No

MatchedName:11, IPV4_MC_OSPF_5

        Remark COS 5, pri 5

RateValue: 0

Accounting: Hi 1083, LO 0

 

MCQ_DROP_PKT(35).cpu0:               918,978             +16,507              98/s

MCQ_DROP_BYTE(35).cpu0:           105,162,904          +1,787,742          10,035/s

 

 

3、设备上有如下四个协议共用硬件队列3535队列的的限速也是2000PPS 其他几项类型的报文也有收包计数,这几项上来的报文一起有瞬间超2000PPS的情况。

 

11  IPV4_MC_OSPF_5      871    -690389413 0          2000 S   On  SMAC 8

12  IPV4_MC_OSPF_6      48     35222692   0          2000 S   On  SMAC 8

13  IPV4_UC_OSPF        0      0          0          2000 S   On  SMAC 8

73  IPV4_UCOSPF_TTL     0      428919     0          2000 S   On  SMAC 8

 

===============bcm slot 1 chip 0 pw=============== 

  Queue 35: PPS 2000. CurPkts 0. TotPkts -644864102. Disc rate 731, qlen 0.

 

因此从如上信息来看是收到大量的的OSPF协议报文,超过硬件队列35 限速导致OSPF协议down

%Aug 27 11:19:07:350 2019 SH-LG-0203-J16-H6800QTH1-XGWW-01 OSPF/5/OSPF_NBR_CHG: OSPF 4 Neighbor 9.18.77.171(Vlan-interface203) changed from FULL to DOWN.

%Aug 27 11:19:27:287 2019 SH-LG-0203-J16-H6800QTH1-XGWW-01 OSPF/5/OSPF_NBR_CHG: OSPF 4 Neighbor 9.18.77.171(Vlan-interface203) changed from LOADING to FULL.


解决方法

经过排查是LD服务器OSPF中配置了大量的network业务网段,没有过滤业务网段的ospf hello报文,导致大量的ospf hello报文发给S6800,导致设备超过硬件35队列阈值导致丢包,把有用的协议ospf hello报文丢弃,出现交换机到LDospf 震荡,目前在LD上已经进行限制。

 

注:交换机有三个地方的协议限速,第一,硬件CAR限速,对于每个协议的单独限速情况,第二,硬件到CPU的队列限速,(由于6800硬件到CPU的队列只有48个,而协议不止48个,因此存在多个协议共用一个队列的情况),第三,软件softcar限速,对于报文上送到CPU后的限速。


0 个评论

该案例暂时没有网友评论

编辑评论

举报

×

侵犯我的权益 >
对根叔知了社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔知了社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明

提出建议

    +
<

亲~登录后才可以操作哦!

确定

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作