不是直接丢弃,是要上送到 CPU 做 IP 分片重组H3C。
ip reassemble local enable关闭,分片统一上送到整机主主控板完成重组。故障根源:服务器 bond 如果使用
layer3+4哈希(源目 IP + 四层端口),IP 分片除第一个分片以外,后续分片没有四层端口字段,服务器 bond 驱动会把同一个 IP 报文的不同分片 hash 到服务器不同物理网口发出,分片分别进入 M‑LAG 两台交换机;两台机器各自收到一部分分片,任何一台都收集不到完整分片,重组失败,报文丢弃,无 ICMP 应答。
很多人会以为:shutdown 一台下联口,流量就全部走另外一台交换机,问题就消失,实际测试仍然失败,原因分 2 点:
✅验证方法:不要在交换机 shutdown 端口;直接在服务器操作系统把其中一张网卡直接 ifdown 禁用,让 bond 只剩单一条物理网口,再 ping 大包网关,如果此时恢复正常,就 100% 确认是服务器 bond 哈希策略问题。
❗注意:在交换机侧 shutdown M‑LAG 下联口,不等于服务器不再往该口输出报文,LACP 收敛存在滞后,这个是现场经常踩坑。
不要使用layer3+4(包含四层端口),改为layer2+3,仅基于源 IP、目的 IP 计算哈希,同一个 IP 报文的所有分片全部从服务器同一个物理网口发出,分片不会打散。
xmit_hash_policy=layer2+3;禁止 layer3+4。原理:IP 后续分片报文没有 TCP/UDP 端口号,layer3+4 哈希会把同一条 IP 报文分片分发到不同服务器物理出口。
system‑view
ip reassemble local enable
作用:分片在入单板本地进行重组,不需要全部上送主主控;但是如果分片还是被服务器散到两台 M‑LAG 设备,该命令依旧无效,仅缓解,不能根治,优先改服务器侧哈希。
#查看分片重组失败统计
display ip reassemble statistics
#查看是否开启本地重组
display current‑configuration | include reassemble
服务器上 tcpdump 同时抓取 bond 下面两张物理网卡:
tcpdump -i eth0 icmp
tcpdump -i eth1 icmp
如果同一个 ping 大包的各个分片,eth0、eth1 交替出现,确认就是服务器侧哈希打散分片,是根因。
暂无评论
亲~登录后才可以操作哦!
确定你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作
举报
×
侵犯我的权益
×
侵犯了我企业的权益
×
抄袭了我的内容
×
原文链接或出处
诽谤我
×
对根叔社区有害的内容
×
不规范转载
×
举报说明
暂无评论