• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

某局点S7600 VRRP双主1秒业务中断20分钟问题案例(11752-陆世叶)

  • 0关注
  • 1收藏 2281浏览
粉丝:32人 关注:5人

组网及说明

S7610侧与S12508F-AF都作为三层转发设备承载用户业务,其中S7610侧为两台做VRRP12508F-AF上静态路由下一跳指向VRRP虚地址。

问题描述

S7610交换机出现两VLAN VRRP双主,双主时间1秒不到,但实际业务中断近20分钟,后自动恢复   

过程分析

问题一:VRRP双主

1.       首先分析S7610 VRRP侧双主原因。通过对设备的日志分析,故障开始时间,16:26:37备侧出现VRRP心跳报文超时,S7610两台交换机interface vlan 1020出现VRRP双主,后在1秒内恢复VRRP状态


2.       通过设备上记录信息来看,S7610 VRRP备侧3秒内无法收到主的VRRP心跳报文从而超时。而具体的原因是备S7610slot 0槽位板卡CPU收到大量VRRP报文(主S7610slot 0也有记录),报文超过slot 0板卡的CPUsoftcar限速,导致正常的VRRP主发来的心跳报文也被丢弃,丢弃3个报文后VRRP出现双主


通过debug port map确认slot 0槽位TG0/0/8口的IfIndex0x8


后从现场监控软件发现,备S7610TG0/0/8故障时间点有异常流量进来,所以基本确认为网络攻击。

3.       从主备S7610侧业务监控记录来看,故障时间备S7610 VLAN30中的TG0/0/8口入方向有一股未知流量进来,最终从主侧S7610TG0/0/8出去:

所以综合123可以确认VLAN 1020 VRRP双主的原因是备S7610 slot 0CPU收到VRRP超限速攻击导致。

问题二:为何业务中断近20分钟

4.       S7610因超时成为VRRP主,所以其会发送虚IP的免费ARP到下行EOR-S12508F-AF,原本EOR-S12508F-AF上路由出口指向VRRP主,会因为收到VRRP备的免费ARP,从而EOR-S12508F-AF上路由出口会切换指向VRRP备。从监控流量上看,流量确实也都切向了VRRP备侧TG0/0/3TG0/0/4

5.       流量发到VRRP备侧后,因为备侧VRRP状态在1秒内恢复正常,收到EOR-S12508F-AF发过来的流量需要二层转发给VRRP主。又因为心跳链路只经过EOR-S12508F-AFVRRP备收到过来的流量无法沿原入接口再转发回去(交换机二层转发基本原理),因此导致丢包。所以只要EOR-S12508F-AF上对应S7610VRRPIPARP老化时间内,流量会一直发给VRRP备导致被丢弃,这也是流量为什么会中断这么长时间的原因

解决方法

VRRP侧可配置周期发送免费ARP,这样使得VRRP状态恢复也能快速恢复业务   

该案例对您是否有帮助:

您的评价:1

若您有关于案例的建议,请反馈:

0 个评论

该案例暂时没有网友评论

编辑评论

举报

×

侵犯我的权益 >
对根叔知了社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔知了社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作