• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 全部
  • 全部
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
高级搜索

H3C VCFC网络存在异常可能导致控制器集群震荡业务受影响的技术公告

2020-02-25发表
  • 0关注
  • 0收藏,283浏览
粉丝:9人 关注:8人

问题描述

【产品型号】
H3C VCFC控制器
【涉及版本】
强控OpenFlow 组网中,E2180P16及之前版本
弱控EVPN组网中,E2503及之前版本
【问题描述】
当控制器集群发生震荡时,可能无法打开VCFC 登陆页面或打开时有明显卡顿;登陆后在如下控制器信息页面可以看到集群状态异常,在“active”和“down”两个状态之间不停切换,或者配置恢复状态为“false”。

在系统日志中设置高级搜索条件,发现短时间内频繁有控制器断连重连的日志:

[2020-02-18 14:24:48:714]   INFO         region      REGION_CONTROLLER_STATUS_UP    
The connection between the current controller and controller 10.47.156.2 in the region is normal.
[2020-02-18 14:24:21:854]   SERIOUS     region      REGION_CONTROLLER_STATUS_DOWN  
The connection between the current controller and controller 10.47.156.4 in the region is abnormal.
[2020-02-18 14:24:33:919]   INFO         region      REGION_CONTROLLER_STATUS_UP  
The connection between the current controller and controller 10.47.156.4 in the region is normal.
[2020-02-18 14:24:57:800]   INFO         region      REGION_CONTROLLER_STATUS_UP    
The connection between the current controller and controller 10.47.156.4 in the region is normal.
[2020-02-18 14:24:57:801]   SERIOUS     region      REGION_CONTROLLER_STATUS_DOWN
The connection between the current controller and controller 10.47.156.4 in the region is abnormal.
[2020-02-18 14:24:57:803]   INFO         region      REGION_CONTROLLER_STATUS_UP 
The connection between the current controller and controller 10.47.156.4 in the region is normal.
[2020-02-18 14:27:55:732]   SERIOUS      region     REGION_CONTROLLER_STATUS_DOWN
The connection between the current controller and controller 10.47.156.3 in the region is abnormal.
[2020-02-18 14:27:12:364]   SERIOUS      region    REGION_CONTROLLER_STATUS_DOWN
The connection between the current controller and controller 10.47.156.1 in the region is abnormal.
由网络不稳定引起的集群震荡是随机的,但持续且频繁的集群震荡将对控制器的稳定运行产生不良影响。强控主机Overlay的组网下可能导致现网业务出现大量虚机丢包或不通的严重故障;强控网络Overlay和弱控组网下可能出现物理网元状态为“inactive”的现象,影响新增业务的下发。

原因分析

虚机发送ARP报文上送控制器处理,控制器使用计数器记录收到的ARP Packet-in消息,每次获取一定数量的消息在各软件模块之间同步。计数器的计数值由正值反转为负值后,当网络存在异常如ARP攻击或虚机异常迁移,短时间内大量ARP上送控制器时,由于代码考虑不周,控制器后台每次获取的待同步消息都会包含已经同步处理过的消息,造成大量消息在软件模块间同步,内存占用过高,引发集群震荡。

规避措施/解决方案

【规避措施】
如果局点使用的控制器为本技术公告涉及的版本,在升级控制器版本彻底解决之前,建议各代表处工程师按照每星期一次的频率主动进行检查。
检查方法:
1、导出控制器最近一天的诊断日志,解压并查看以下文件内容。\BusKeystore\ BusUsersInfo.txt.zip,如下图所示:

2、查找所有Last process id字段,如下图所示;若该字段为除-1以外的负数代表已经反转,若已达10亿量级,说明该值有反转为负的风险。ARP计数反转为负并不会直接引起控制器故障,但计数反转后网络中出现短时间内大量ARP上送控制器的异常情况,则可能会引发控制器集群震荡。
恢复方法:
如果Last process id字段为除-1以外的负数或已达10亿量级,需要联系解决方案支持部L3,尽快重启控制器整集群,重启前请提交网络变更电子流,并提前申请操作窗口。
【解决方案】
1、强控OpenFlow 组网中,请升级到E2180P17(含)之后版本解决。
2、弱控EVPN组网中,请升级到E2504(含)之后版本解决。

0 个评论

该案例暂时没有网友评论

编辑评论

举报

×

侵犯我的权益 >
对根叔知了社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔知了社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明

提出建议

    +
<

亲~登录后才可以操作哦!

确定

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作