• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

某局点S9500 收到大量CRC错包问题案例

2020-02-28 发表
  • 0关注
  • 2收藏 2906浏览
粉丝:29人 关注:3人

组网及说明

拓扑:如下图所示,DS03DS04起了vrrp主备,分别于接入设备AS05AS06互联.接入设备下接的是服务器.

问题描述

现场发现DS03的两个成员口inbound方向有大量的crc错包增长.通过替换光纤光模块配线架故障依旧.



过程分析

CRC问题,首先怀疑的是链路问题,替换测试过程如下:

1.DS03AS05互联的4个光模块全部更换,故障依旧。

2.DS03AS05的光纤全部更换,故障依旧。

3.DS03AS06互联的0/1/4整条线路(含光模块及配线架),挪到DS030/1/3 AS050/1/24端口测试,故障依旧。

   AS05 0/1/24端口换到11/1/24端口测试,故障依旧。

   DS030/1/3端口更换到0/1/11端口测试,故障依旧。

    时间窗口到,恢复链路拓扑的连接情况。以下为第二次测试:

4.更换AS05DS03上读取错误的故障光模块,观察端口CRC增长依旧。 

5.DS03G0/1/3端口线路换到0/1/15端口,发现CRC增长依旧。

 

从上述替换测试充分证明了非链路问题,但是下述情况未能完全确认:

 

(1)前面的测试无法彻底排除以下已知问题的可能性:

S9500-CMW310-R1652P09版本解决问题列表:HYII007966(已知问题)

问题现象:GP24单板最后8个端口的光模块不发光、端口状态为Down

问题产生条件:GP24单板上安装了故障光模块,概率性出现问题现象。

 

(2)前面的测试无法锁定故障点在DS03还是AS05上。

 

再次进行替换测试如下:

----------------------------------------------

排除上述已知问题测试方法:

----------------------------------------------

1. AS-05 0/1/24 挪到前面端口,规避后8端口存在已知问题进行测试:

如果0槽位无空闲口,则更换到空闲槽位11/1/12端口测试。查看CRC增长情况。

        如果不增长,说明与上述版本已知问题强相关。

        如果仍增长,说明与上述版本已知问题无关。

----------------------------------------------

锁定故障设备测试方法:

----------------------------------------------

方法1.直接shutdown DS-03AS05的两根互联端口(0/1/31/1/3),让业务自动切换到DS-04上。查看CRC增长情况。

              如果不增长,说明问题锁定在DS-03上。重新审视DS-03 0槽和1槽板卡是否有相关可能软硬件问题。

              如果继续增长,说明问题锁定在AS-05上。

 

如果测试最终锁定在AS-05上,用冷备的S9512替换,如果恢复,证实S9512整机问题.

 

替换测试结论:最终测试结论是问题锁定在AS-05整机,进行AS-05整机替换后问题已解决。

 

将下架后的AS05进行硬件巡检,发现SLOT 00FA转发芯片有硬件故障报错:

 

test lpu fa boardinterlpbk 0 1 1500 50 00000000

@

 Slot 0 PP 0 and slot 1 PP 0 test fail, due to

 23 normal 0 error 27 lost in 50 packets

 Slot 0 PP 0 and slot 1 PP 1 forwarding path is OK

 Slot 0 PP 1 and slot 1 PP 0 test fail, due to

 20 normal 0 error 30 lost in 50 packets

 Slot 0 PP 1 and slot 1 PP 1 forwarding path is OK

$$

 

test lpu fa boardinterlpbk 1 2 1500 50 00000000

@

 Slot 1 PP 0 and slot 2 PP 0 test fail, due to

 19 normal 0 error 31 lost in 50 packets

 Slot 1 PP 0 and slot 2 PP 1 test fail, due to

 23 normal 0 error 27 lost in 50 packets

 Slot 1 PP 1 and slot 2 PP 0 forwarding path is OK

 Slot 1 PP 1 and slot 2 PP 1 forwarding path is OK

$$

 

test lpu fa boardinterlpbk 1 3 1500 50 5a5a5a5a

@

 Slot 1 PP 0 and slot 3 PP 0 test fail, due to

 22 normal 0 error 28 lost in 50 packets

 Slot 1 PP 0 and slot 3 PP 1 test fail, due to

 20 normal 0 error 30 lost in 50 packets

 Slot 1 PP 1 and slot 3 PP 0 forwarding path is OK

 Slot 1 PP 1 and slot 3 PP 1 forwarding path is OK

$$

 

test lpu fa intloopback 1 1500 50 ffffffff

@

===== NetID 0 =====

 The lpu FA internal loopback is abnormal!

===== NetID 1 =====

 The lpu FA internal loopback is OK!

$$

 

FA芯片故障会导致报文错包或者报文直接被丢弃。因此当前1槽位的0FA芯片有问题,会导致1槽位0号芯片端口下挂设备转发的报文有问题。

为了排除背板的问题,将SLOT 0SLOT1互换,结果显示跟着单板走,说明了非背板问题.

 

为了进一步说明此次问题是故障单板0FA芯片有问题,进行模拟测试观察CRC情况:

 


结果发现在g0/1/1未内环之前,可以看到大量的报文在1/1/141/1/16的外环作用下通过0/1/16转发给55001/0/49,但是并没有错包, 如果将上行口0/1/16口挪到0/1/12口和1/1/5,观察也是没有crc增长; 如果将0/1/1打环,构造故障芯片有入方向流量,立刻发现有大量错包; 再将上行口挪到2/1/5上,发现同样还是会增长.

 

综上,所有从故障单板前12口进来的流量(0FA芯片所属端口)再转发出去,报文会有错误,跟上行口在哪个单板无关。

定位结论:

SLOT 0硬件故障


解决方法

解决方法:

返修该故障slot 0单板

该案例对您是否有帮助:

您的评价:1

若您有关于案例的建议,请反馈:

0 个评论

该案例暂时没有网友评论

编辑评论

举报

×

侵犯我的权益 >
对根叔知了社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔知了社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作