• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

某局点R6900 G3服务器操作系统内核崩溃问题

  • 0关注
  • 0收藏 235浏览
粉丝:2人 关注:0人

组网及说明

【硬件信息】

H3C R6900 G3服务器

【系统信息】

BigCloud Enterprise Linux For LDK release 7.6.1906 (Core)

【系统内核版本】

3.10.0-957.el7.x86_64

告警信息

操作系统内核崩溃

问题描述

某局点操作系统内核崩溃

过程分析

 

1.1      服务器硬件SDS日志分析

硬件SDS日志在操作系统崩溃前没有异常日志打印,在68日下午15409分,服务器意外重启,重启前硬件日志没有异常打印。提示操作系统重启。日志截图如下:

 

 

1.2      操作系统日志分析

操作系统日志中有crash-dump产生

产生了Crash dump日志,crash dump日志分析情况如下:

[60177228.265793] NETDEV WATCHDOG: ens14f1 (ixgbe): transmit queue 32 timed out  

[60177228.265910] Call Trace:

[60177228.265912]  <IRQ>  [<ffffffff98361dc1>] dump_stack+0x19/0x1b

[60177228.265926]  [<ffffffff97c97648>] __warn+0xd8/0x100

[60177228.265928]  [<ffffffff97c976cf>] warn_slowpath_fmt+0x5f/0x80     //以上call trace的打印,查找到一篇Redhat文章:https://access.redhat.com/solutions/43168

[60177228.265933]  [<ffffffff98265bb8>] dev_watchdog+0x248/0x260

[60177228.265935]  [<ffffffff98265970>] ? dev_deactivate_queue.constprop.26+0x60/0x60

[60177228.265940]  [<ffffffff97ca7f58>] call_timer_fn+0x38/0x110

***

[60177228.266061] ---[ end trace af8d17196e82a6df ]---

[60177228.266067] ixgbe 0000:99:00.1 ens14f1: initiating reset due to tx timeout  //0000:99:00.1卡都因为tx tomeout,卡重置复位

[60177228.266087] ixgbe 0000:99:00.1 ens14f1: Reset adapter

[60177228.679830] ixgbe 0000:99:00.1 ens14f1: detected SFP+: 6

[60177228.912358] ixgbe 0000:99:00.1 ens14f1: NIC Link is Up 10 Gbps, Flow Control: RX/TX

[60177233.118627] ixgbe 0000:9a:00.1 ens15f1: initiating reset due to tx timeout

[60177233.118694] ixgbe 0000:9a:00.1 ens15f1: Reset adapter

[60177238.115145] ixgbe 0000:9a:00.1 ens15f1: initiating reset due to tx timeout  //0000:9a:00.a卡都因为tx tomeout,卡重置复位,即两张网卡都有被ixgbe重置复位的打印。

[60177243.111664] ixgbe 0000:9a:00.1 ens15f1: initiating reset due to tx timeout

[60177243.943851] NMI watchdog: Watchdog detected hard LOCKUP on cpu 50

参照Redhat文章https://access.redhat.com/solutions/43168,结合两张网卡都被ixgbe驱动重置。怀疑网卡驱动异常导致内核崩溃

 

查看当前服务器生效的ixgbe网卡驱动版本v5.1.0

filename:       /lib/modules/3.10.0-957.el7.x86_64/kernel/drivers/net/ethernet/intel/ixgbe/ixgbe.ko.xz

version:        5.1.0-k-rh7.6

license:        GPL

description:    Intel(R) 10 Gigabit PCI Express Network Driver

author:         Intel Corporation, <linux.nics@***.***>

retpoline:      Y

rhelversion:    7.6

该网卡的v5.5.5驱动才在Redhat 7.6上面适配即操作系统自带的v5.1.0驱动,intel厂商没有在Redhat 7.6上面适配过intel官网链接***.***/content/www/cn/zh/download/14302/28945/intel-network-adapter-driver-for-pcie-intel-10-gigabit-ethernet-network-connections-under-linux.html

 

基于以上日志、intel厂商的分析,该服务器内核崩溃是操作系统自带的v5.1.0驱动发生异常导致

 

解决方法

针对该台发生操作系统内核崩溃的服务器在业务允许应用安全数据安全的基础上,建议升级560F-B2网卡定制化驱动v5.12.5以上版本配套升级网卡固件

该案例对您是否有帮助:

您的评价:1

若您有关于案例的建议,请反馈:

0 个评论

该案例暂时没有网友评论

编辑评论

举报

×

侵犯我的权益 >
对根叔知了社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔知了社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作