• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

DL380 Gen10+服务器搭配QL41000系列网卡时,k8s集群只能通过ip+端口的方式访问主机,无法通过ip+端口的方式访问pod容器

  • 0关注
  • 0收藏 327浏览
徐鑫 九段
粉丝:27人 关注:25人

组网及说明

DL380 Gen10+服务器

Marvell QL41000系列网卡

问题描述

k8s集群内节点端口只能通过机器的ip+端口访问,无法通过节点ip+端口进行访问

换句话说就是只能通过ip+端口的方式访问主机,但是无法通过ip+端口的方式访问pod容器

过程分析

k8s内部使用IPIP隧道数据包的方式进行内部DNS解析,这种特定的数据包不支持硬件tx校验和协助,所以QLogical 网卡的驱动对数据包进行校验会导致数据包损坏,进而导致影响k8s内部DNS解析的访问,而宿主机使用的DNS是外部,常规的DNS不使用IPIP数据包类型。

只针对Marvell QLogic的这个网卡。

https://support.hpe.com/hpesc/public/docDisplay?docLocale=en_US&docId=a00114668en_us 
CA文档解决方案需要禁用 tx-checksum offload(ethtool -K <interface> tx off),以便 DNS 解析正常运行,现场操作也确实如此。但用户并不想做这种动作。


根据CA文档提供的bug网站(***.***/ubuntu/+source/linux/+bug/1909062),表示Marvell has developed a fix for the qede driver, which checks the packet type, and if it is IPPROTO_IPIP, then csum offloads are disabled for socket buffers of type IPIP. 厂商其实提供了新的qede驱动,可以解决问题,封装到了新的内核驱动中。(补丁网站:qede: fix offload for IPIP tunnel packets · torvalds/linux@5d5647d · GitHub

https://support.hpe.com/connect/s/softwaredetails?language=en_US&softwareId=MTX_db0757dac9da41c2b256760033&tab=revisionHistory
最新版本驱动解决了DNS解析的问题:
This product addresses an issue where the 10GbE Adapters having an DNS resolution issue on Kubernetes container-orchestration system

524SFP+的底层是QL41132HLCU网卡(***.***/products/hpe/products.html),使用同一个驱动模块,升级后解决。

解决方法

临时解决: 使用ethtool禁用硬件的tx数据包解析 // ethtool -K <interface> tx off

永久解决:升级驱动至8.55.14.0-2 及以上

该案例对您是否有帮助:

您的评价:1

若您有关于案例的建议,请反馈:

0 个评论

该案例暂时没有网友评论

编辑评论

举报

×

侵犯我的权益 >
对根叔知了社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔知了社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作