• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 是
  • 否
  • 全部
  • 是
  • 否
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索
问

交换机S6850对接服务器分片报文问题

1天前提问
  • 0关注
  • 0收藏,78浏览
粉丝:0人 关注:0人

问题描述:

设备S6850-56HF-G       Version 7.1.070, Release 8307P72

M-lag组网

下联服务器ping打包分片报文,目的地址是网关ping不通,目的地址为其他网段的终端设备,能ping通

。想咨询一下S6850-56HF-G收到目的地址为自己的分片报文,是不是不做处理,另外如果是m-lag的问题 我把2机的下联口shutdown掉 为什么他还是不行啊

 

2 个回答
已采纳
粉丝:48人 关注:2人

S6850 收到目的为本机(网关 Vlan‑if)分片报文是不是完全不处理?

不是直接丢弃,是要上送到 CPU 做 IP 分片重组H3C。

  • 转发流量(目的不是交换机本机):硬件直接透传分片报文,交换机不做重组,分片交给对端终端重组,所以跨网段访问终端 ping 大包正常。
  • 目的是交换机本机网关 IP 的分片报文:必须上送 CPU 进行分片重组;Comware V7 默认ip reassemble local enable关闭,分片统一上送到整机主主控板完成重组。

故障根源:服务器 bond 如果使用layer3+4哈希(源目 IP + 四层端口),IP 分片除第一个分片以外,后续分片没有四层端口字段,服务器 bond 驱动会把同一个 IP 报文的不同分片 hash 到服务器不同物理网口发出,分片分别进入 M‑LAG 两台交换机;两台机器各自收到一部分分片,任何一台都收集不到完整分片,重组失败,报文丢弃,无 ICMP 应答。

2、为什么 shutdown 掉其中一台 M‑LAG 设备的下联口,故障依旧不能恢复?(非常关键)

很多人会以为:shutdown 一台下联口,流量就全部走另外一台交换机,问题就消失,实际测试仍然失败,原因分 2 点:

  1. shutdown 交换机侧 M‑LAG 下联成员口 ≠ 服务器侧 bond 就停止往该网口发包 交换机端口 shutdown,LACP 报文中断;但 Linux/Windows 服务器 bond 的LACP 协商收敛存在时延,服务器不会立刻把该网口从聚合组剔除;短时间内服务器依旧会继续向已经 shutdown 的网口发出部分分片报文,报文直接在服务器网卡就丢弃,完整分片依旧无法全部发出,ping 大包依旧失败。
  2. 即使交换机端口已经 shutdown,服务器 bond 还停留在 layer3+4 哈希逻辑。哪怕后续 LACP 收敛完成只剩单条链路,操作系统内核对于 ICMP ping 大包产生的分片,部分 Linux 内核版本依旧会异常把分片散到已经 “standby” 备用网口,分片直接在服务器侧丢失,不是交换机问题。

✅验证方法:不要在交换机 shutdown 端口;直接在服务器操作系统把其中一张网卡直接 ifdown 禁用,让 bond 只剩单一条物理网口,再 ping 大包网关,如果此时恢复正常,就 100% 确认是服务器 bond 哈希策略问题。

❗注意:在交换机侧 shutdown M‑LAG 下联口,不等于服务器不再往该口输出报文,LACP 收敛存在滞后,这个是现场经常踩坑。

排查 & 解决方案

方案 A:根治,修改服务器 bond 哈希策略(生产优先推荐)

不要使用layer3+4(包含四层端口),改为layer2+3,仅基于源 IP、目的 IP 计算哈希,同一个 IP 报文的所有分片全部从服务器同一个物理网口发出,分片不会打散。

  • Linux bond mode=4(802.3ad):xmit_hash_policy=layer2+3;禁止 layer3+4。
  • Windows 网卡组合:哈希策略选择源‑目的 IP,关闭传输层端口参与哈希。

原理:IP 后续分片报文没有 TCP/UDP 端口号,layer3+4 哈希会把同一条 IP 报文分片分发到不同服务器物理出口。

方案 B:交换机配置缓解,两台 M‑LAG 设备同时配置

system‑view ip reassemble local enable

作用:分片在入单板本地进行重组,不需要全部上送主主控;但是如果分片还是被服务器散到两台 M‑LAG 设备,该命令依旧无效,仅缓解,不能根治,优先改服务器侧哈希。

辅助定位命令

#查看分片重组失败统计 display ip reassemble statistics #查看是否开启本地重组 display current‑configuration | include reassemble

抓包确认手段

服务器上 tcpdump 同时抓取 bond 下面两张物理网卡:

tcpdump -i eth0 icmp tcpdump -i eth1 icmp

如果同一个 ping 大包的各个分片,eth0、eth1 交替出现,确认就是服务器侧哈希打散分片,是根因。


暂无评论

粉丝:19人 关注:9人

针对S6850 M-LAG组网下,服务器ping网关(目的地址为交换机自身)分片报文不通,但ping其他网段终端正常的问题,分析如下:
核心原因:S6850收到目的IP为自己的分片报文时,需要上送CPU进行重组处理。如果分片报文不完整或重组超时,就会被丢弃。ping其他网段时,交换机只做三层转发,分片报文直接硬件转发,不涉及CPU重组,所以能通。
排查步骤:
1. 确认分片报文是否到达交换机CPU
在服务器侧ping网关时,使用大包(如 ping -s 5000 网关IP)
在交换机上开启debug或抓包:

debug ip packet acl 3000

或使用 packet-capture 抓取上送CPU的报文
2. 检查M-LAG配置
确认网关是否配置在M-LAG虚接口上:

display mlag interface
display interface vlan-interface

检查M-LAG双活网关的ARP/ND表项是否正常:

display arp | include <服务器IP>

3. 验证分片重组参数
查看分片重组超时时间:

display ip reassemble

如果超时时间过短,可调整:

ip reassemble timeout 30

4. 测试单机场景
将M-LAG成员口shutdown后,确认流量是否切换到单机
在单机状态下测试分片ping,如果仍不通,排除M-LAG因素
检查是否配置了防止分片攻击的策略:

display attack-defense statistics

关键配置建议:
1. 确保M-LAG双活网关配置正确:

interface Vlan-interface
ip address <网关IP> <掩码>
mac-address 0000-5e00-0101 # 使用虚拟MAC

2. 如果确认是CPU处理分片能力问题,可考虑:
调整服务器MTU,避免分片
在交换机上配置TCP MSS调整(如适用)
验证命令:
display cpu-usage # 观察ping大包时CPU是否飙升
display ip statistics # 查看分片相关统计

暂无评论

编辑答案

你正在编辑答案

如果你要对问题或其他回答进行点评或询问,请使用评论功能。

✖

分享扩散:

➤

提出建议

✖

    +
✖

亲~登录后才可以操作哦!

确定
✖

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub
✖

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作

✖

举报

×

侵犯我的权益 >
对根叔社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明