• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 全部
  • 全部
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
高级搜索

X10536 G3 三个节点的osd陆续down并且1min内自动拉起

2020-12-11 发表
  • -1关注
  • 0收藏,288浏览
李昂 五段
粉丝:4人 关注:0人

组网及说明

R1232P09

问题描述

北京电视台21节点集群,软件版本为UniStor-R1232P091202日陆续有3个节点的硬盘downnode9osd down现象出现在17:46:1318:07:21node12osd down现象出现在17:38:48node14osd down现象出现在18:14:2121:31:24,大约30s这些downosd自动拉起。

过程分析

1.       分析downosd的日志

分析osd down时间点的对应osd的日志,发现downosd有相似打印,与其他osd心跳失联,被mondown,以osd.421node14)为例,

2.       分析mon日志

分析mon中对应时间点日志打印,发现node14由于存储网前端网原因被标down,所以初步怀疑为存储网异常原因导致osd down

 

3.       分析NM日志

三个节点在osd down的时间点均有存储网与其他节点存储网无法连通,

4.       分析messages日志

node9中有堆栈打印,如下图,通过定位该打印与网卡开启流控有关。

同时,node9node14osd down的时间段均有以下打印,存在网卡crashtx-timeout,参考重燃集团定位结论该网口开启了流控所致。

5.       分析交换机日志

交换机侧绝大多数是协议down,少部分是物理down

node12node9node14时间点分别为12217:3817:4621:31”对应的交换机端口都是协议down122号只有一次物理down17:04

协议down的原因是lacp握手报文超时,会导致聚合协议down

物理down的部分,目前看到的都是发生在slot1上,但是这些端口与slot2上的端口是跨板聚合。

关于错包,部分端口有错包,但是都不多,最多的是在2/0/17上是313个,但是这个端口没有发生过up/down,所以跟UP/DOWN问题应该没关系。

6.       查看客户业务情况

客户的业务在节点异常时基本在2GB/s左右。


解决方法

根据以上分析,造成osd down的原因为服务端节点网卡开启了流控,导致存储网卡网络拥塞,出现网络异常,进而导致osd之间通信受阻。

关闭服务端所有节点的网卡流控配置。

1 个评论
粉丝:0人 关注:21人

如何查看是否开启了流控?如何关闭流控

编辑评论

举报

×

侵犯我的权益 >
对根叔知了社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔知了社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明

提出建议

    +

亲~登录后才可以操作哦!

确定

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作