%Jun 2 09:17:12:763 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=1-Slot=0; PktType= IPV4_TTL , recieve pps=2, Interface=Ten-GigabitEthernet1/0/0/44
%Jun 2 09:17:12:766 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=1-Slot=0; Cos=16
%Jun 2 09:17:12:472 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=2-Slot=0; PktType= IPV4_TTL , recieve pps=0, Interface=Ten-GigabitEthernet2/0/0/44
%Jun 2 09:17:12:475 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=2-Slot=0; Cos=16
%Jun 2 09:27:40:912 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=1-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet1/0/0/44 at Stage=0, StageCnt=51241, TotalCnt=51241
%Jun 2 09:27:40:653 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=2-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet2/0/0/44 at Stage=0, StageCnt=49903, TotalCnt=49903
%Jun 2 09:57:47:018 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=1-Slot=0; PktType= IPV4_TTL , recieve pps=0, Interface=Ten-GigabitEthernet1/0/0/44
%Jun 2 09:57:46:741 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=2-Slot=0; PktType= IPV4_TTL , recieve pps=0, Interface=Ten-GigabitEthernet2/0/0/44
%Jun 3 11:12:48:180 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=1-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet1/0/0/44 at Stage=0, StageCnt=57765, TotalCnt=57765
%Jun 3 11:12:48:722 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=2-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet2/0/0/44 at Stage=0, StageCnt=58611, TotalCnt=58611
%Jun 3 11:42:54:389 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=1-Slot=0; PktType= IPV4_TTL , recieve pps=0, Interface=Ten-GigabitEthernet1/0/0/44
%Jun 3 11:42:54:765 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=2-Slot=0; PktType= IPV4_TTL , recieve pps=0, Interface=Ten-GigabitEthernet2/0/0/44
%Jun 9 10:50:52:337 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=2-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet2/0/0/44 at Stage=0, StageCnt=58203, TotalCnt=58203
%Jun 9 10:50:52:517 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=1-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet1/0/0/44 at Stage=0, StageCnt=58341, TotalCnt=58341
%Jun 9 11:20:58:446 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=2-Slot=0; PktType= IPV4_TTL , recieve pps=0, Interface=Ten-GigabitEthernet2/0/0/44
%Jun 9 11:20:58:699 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=1-Slot=0; PktType= IPV4_TTL , recieve pps=0, Interface=Ten-GigabitEthernet1/0/0/44
%Jun 10 16:04:12:376 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=1-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet1/0/0/44 at Stage=0, StageCnt=51718, TotalCnt=51718
%Jun 10 16:04:12:514 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=2-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet2/0/0/44 at Stage=0, StageCnt=51696, TotalCnt=51696
%Jun 10 16:14:14:444 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=1-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet1/0/0/44 at Stage=0, StageCnt=1496, TotalCnt=53214
%Jun 10 16:24:16:580 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=2-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet2/0/0/44 at Stage=0, StageCnt=10307, TotalCnt=62003
%Jun 10 16:24:16:511 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=1-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet1/0/0/44 at Stage=0, StageCnt=9260, TotalCnt=62474
%Jun 10 16:34:18:563 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=2-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet2/0/0/44 at Stage=0, StageCnt=1889, TotalCnt=63892
%Jun 10 16:34:18:586 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=1-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet1/0/0/44 at Stage=0, StageCnt=1958, TotalCnt=64432
%Jun 10 17:04:24:599 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=2-Slot=0; PktType= IPV4_TTL , recieve pps=1, Interface=Ten-GigabitEthernet2/0/0/44
%Jun 10 19:34:55:578 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=1-Slot=0; PktType= IPV4_TTL , recieve pps=1, Interface=Ten-GigabitEthernet1/0/0/44
%Jun 12 14:14:27:737 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=2-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet2/0/0/44 at Stage=0, StageCnt=2082, TotalCnt=2082
%Jun 12 14:14:27:253 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=1-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet1/0/0/44 at Stage=0, StageCnt=1969, TotalCnt=1969
%Jun 12 14:24:29:731 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=2-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet2/0/0/44 at Stage=0, StageCnt=9776, TotalCnt=11858
%Jun 12 14:24:29:385 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=1-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet1/0/0/44 at Stage=0, StageCnt=9613, TotalCnt=11582
%Jun 12 14:34:31:682 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=2-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet2/0/0/44 at Stage=0, StageCnt=1006, TotalCnt=12864
%Jun 12 14:34:31:397 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR DROP: -Chassis=1-Slot=0;
PktType= IPV4_TTL , srcMAC=58b3-8fd3-4f51, Drop From Interface=Ten-GigabitEthernet1/0/0/44 at Stage=0, StageCnt=1661, TotalCnt=13243
%Jun 12 15:04:37:733 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=2-Slot=0; PktType= IPV4_TTL , recieve pps=2, Interface=Ten-GigabitEthernet2/0/0/44
%Jun 12 15:04:37:602 2026 N-2-Core-SW12504-1 DRVPLAT/4/SOFTCAR RECOVER: -Chassis=1-Slot=0; PktType= IPV4_TTL , recieve pps=0, Interface=Ten-GigabitEthernet1/0/0/44
最近巡检发现大量的TTL报文丢弃报文,该Ten1/0/0/44和Ten2/0/0/44都是连接互联网出口方向的,ospf,大致拓扑就是这台核心交换机→ACG行管(网桥)→傻瓜交换机→2台双击热备防火墙→华三负载均衡LB→ISP
IPV4_TTL 报文超限速丢弃告警,结合您提供的日志和组网拓扑,为您做如下详细分析与排查建议:58b3-8fd3-4f51,且集中在互联网出口方向的两个万兆接口 Ten-GigabitEthernet1/0/0/44 和 Ten-GigabitEthernet2/0/0/44。这说明问题并非全网泛洪,而是有明确的流量源头。display mac-address 58b3-8fd3-4f51,确认该 MAC 地址是从哪个端口学习到的。display mac-address mac-move,如果看到大量关于该端口的 MAC 漂移记录,这是存在二层环路的铁证。display stp brief,检查对应接口的 STP 状态是否正常。如果傻瓜交换机下联形成了环路,核心侧端口可能会频繁经历 Discarding 到 Forwarding 的状态切换。display loopback-detection,确认是否有环路告警产生。<Device> system-view
[Device] undo ip ttl-expires enable暂无评论
S12504 大量 IPV4_TTL 报文 SOFTCAR 限速丢弃完整分析 & 排障方案
一、日志含义拆解
1. 关键字段解释
DRVPLAT/4/SOFTCAR DROP
SOFTCAR = 芯片上送 CPU 报文限速通道(软 CAR);所有 TTL=1/TTL 超时报文、路由不可达、ICMP 差错报文、组播控制报文都需要上送 CPU 处理,芯片会对这类报文做限速保护,超出阈值直接丢弃。
PktType=IPV4_TTL
特指IPv4 TTL 超时报文(设备转发时 TTL 减到 0,生成 ICMP Time Exceeded 差错报文,必须上送 CPU 封装 ICMP 回复源端)。
srcMAC=58b3-8fd3-4f51
所有丢弃报文源 MAC 固定,说明出口链路侧固定一台设备持续大量产生 TTL 超时报文。
出接口 Ten1/0/0/44、Ten2/0/0/44:上联互联网出口 ACG 网桥口,IRF 两台主控对应同一条上联链路。
日志循环规律:持续打 DROP 日志后,出现SOFTCAR RECOVER代表流量回落、限速解除,是典型周期性 TTL 风暴。
2. 根本成因
内网访问互联网跨多跳设备,长路径 traceroute / 业务探测、路由环路、异常扫描流量,导致海量 TTL=0 报文上送 CPU;S1250 芯片 SOFTCAR 针对 TTL 类型报文限速阈值偏低,流量打满后触发丢弃。
丢弃带来两个负面影响:
traceroute 追踪路由路径不全、丢跳,运维排障看不到完整路径;
CPU 长期被 TTL 报文冲击,极端情况挤占 STP/OSPF/LLDP 等控制平面报文带宽,引发邻居震荡、环路检测误报。
二、结合你的组网定位风暴源(拓扑:S1250 → ACG 网桥 → 傻瓜交换机 → 双机防火墙 → LB → ISP)
源 MAC 固定58b3-8fd3-4f51,分层定位步骤:
步骤 1:定位 MAC 所属设备
bash
运行
# 查看MAC对应的出接口/网段
display mac-address 58b3-8fd3-4f51
display arp | include 58b3-8fd3-4f51
若 MAC 在 Ten1/0/0/44 口:风暴源来自ACG、防火墙、LB、ISP 链路这一段外网设备;
90% 场景根因:
出口 LB / 防火墙开启大量健康探测(频繁 traceroute、多端口存活检测),持续生成 TTL 超时 ICMP;
互联网侧扫描器、恶意流量对内网做路由追踪;
出口设备存在微小路由环路,数据包循环转发快速耗尽 TTL。
步骤 2:排查出口侧环路(你提到 LLDP 环路检测)
检查 ACG 网桥、防火墙、LB 之间是否双向链路未做环路防护:
傻瓜交换机无 STP,防火墙 / LB 双机热备互联链路极易二层环路;
OSPF 区域间路由重分发错误,产生三层路由环路,数据包循环转发,瞬间产生海量 TTL 超时报文;
bash
运行
# 交换机查看OSPF路由环路标记
display ospf routing-table loop
# 出口防火墙/LB检查静态路由、缺省路由是否双向回灌
环路验证:断开其中一台防火墙,观察 S1250 是否停止打印 IPV4_TTL 丢弃日志,停止则确认环路在防火墙 / 傻瓜交换机区域。
三、4 套落地解决方案(优先级从治标到根治)
方案 1:临时调大 SOFTCAR TTL 报文上送限速阈值(S1250 V7 核心交换机推荐,不影响业务)
芯片默认 IPv4_TTL 报文上送限速 pps 很低,直接扩容带宽,消除 DROP 日志:
bash
运行
system-view
# 提升IPv4 TTL超时报文上送CPU限速值,单位pps,根据业务调至2000~10000
car type ipv4-ttl rate 5000
# 保存配置
save
验证命令:
bash
运行
display car type
修改后海量 TTL 报文不再被丢弃,traceroute 完整,CPU 冲击缓解。
方案 2:出口设备侧抑制 TTL 风暴(根治,推荐长期部署)
在 ACG、防火墙、LB 上配置 ACL,拦截外网发起的 traceroute 探测流量,从源头减少 TTL 报文生成:
防火墙 / LB 外网口 inbound ACL 拒绝外网 ICMP TTL 探测:
bash
运行
acl advanced 3999
rule 10 deny icmp any any ttl-exceeded
rule 20 deny icmp any any port-unreachable
# 外网接口调用packet-filter inbound
关闭出口设备不必要的高频健康检测:
LB 降低服务器 / ISP 链路 traceroute 探测频率;
ACG / 防火墙关闭全局自动路由追踪功能。
方案 3:二层隔离,消除傻瓜交换机环路风险
中间串联的傻瓜交换机无 STP,是环路高发点:
防火墙双机、LB 上联傻瓜交换机仅保留单条上行链路,移除冗余二层互联;
若必须双上行,更换带 STP 的管理交换机,启用全局 STP,阻断二层环路;
傻瓜交换机上划分独立 VLAN 隔离防火墙、LB 业务口,避免跨设备广播环路。
方案 4:三层路由优化,消除 OSPF 路由环路
OSPF 重分发时加路由标记,防止内外网路由互相回灌;
出口防火墙 / LB 缺省路由仅单向下发,禁止回指内网网段;
定期核查所有静态路由,删除指向核心交换机的无效回程路由。
四、关联 LLDP 环路检测报错补充说明
大量 TTL 报文挤占 CPU 带宽时,交换机 CPU 处理 LLDP 报文延迟,会出现LLDP 环路检测误告警,属于次生现象:
优先处理 IPV4_TTL 丢弃风暴,风暴消失后 LLDP 环路告警大概率同步消除;
若仍持续报环路,单独检查傻瓜交换机双上行链路、防火墙热备互联链路的二层环路。
五、快速验证命令合集
bash
运行
# 1. 查看SOFTCAR各类型报文限速配置与统计
display car type
display car statistics
# 2. 定位风暴源MAC归属
display mac-address 58b3-8fd3-4f51
display interface Ten-GigabitEthernet 1/0/0/44 packet statistics
# 3. 查看OSPF路由环路
display ospf routing-table loop
# 4. 查看接口ICMP流量占比
display interface Ten-GigabitEthernet 1/0/0/44 verbose
极简总结
日志本质:外网侧海量 TTL 超时 ICMP 报文上送 CPU,触发 S1250 芯片软 CAR 限速丢弃;
短期解决:car type ipv4-ttl rate 5000 调大交换机上送限速;
长期根治:找到 MAC 对应的出口防火墙 / LB,拦截外网 ICMP 探测 + 消除二层 / 三层环路;
LLDP 环路告警是 CPU 拥塞次生问题,风暴处理完成后自动恢复。
暂无评论
亲~登录后才可以操作哦!
确定你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作
举报
×
侵犯我的权益
×
侵犯了我企业的权益
×
抄袭了我的内容
×
原文链接或出处
诽谤我
×
对根叔社区有害的内容
×
不规范转载
×
举报说明
暂无评论