• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

交换机利用率高处理

19小时前提问
  • 0关注
  • 0收藏,68浏览
粉丝:0人 关注:0人

问题描述:

现场用户今日反馈网络经常掉线,经常需要重新认证才能上线,但是没过多久就掉线。查看用户所在的交换机,发现交换机cpu利用率高达73%,并且远程很卡。但是现场又没有环路,交换机也没有mac漂移。debug也关了。查看进程发现是这三个进程的利用率高,有什么排查思路吗?

2 个回答
粉丝:13人 关注:1人

交换机 CPU 利用率达到 73% 且出现网络掉线,虽然排除了环路和 MAC 漂移,但 forwardsyslogddrvsdkd 这三个进程的高负载指向了问题的关键。forward 负责数据转发,syslogd 管理日志,drvsdkd 通常与特定业务驱动相关,它们的异常升高通常意味着设备正在被海量“必须由 CPU 处理”的报文冲击,或是内部任务异常。

核心排查思路是:从“转发面”和“控制面”双管齐下,定位并隔离异常流量来源,同时检查设备内部任务与配置。


第一步:精准定位异常流量来源(针对 forward 和 syslogd

由于 73% 的 CPU 利用率中 forward (22.7%) 和 syslogd (15%) 占比突出,可以优先从这两个进程入手,重点排查是否存在网络攻击协议震荡

💡 1. 深入排查 forward 进程

forward 进程高,说明有大量本应硬件转发的报文被“上送”到了 CPU 进行处理。这通常是网络中存在异常流量的表现。

排查方法

  • 检查 ACL 与策略路由命中情况:错误的 ACL 或策略路由配置可能导致大量流量被重定向到 CPU。

    # 查看 ACL 的匹配计数,找出匹配次数异常高的 ACL 规则
    <H3C> display acl all # 查看策略路由的统计信息 <H3C> display ip policy-based-route statistics
  • 检查是否有 ARP 攻击:如果大量 ARP 报文被送往 CPU 处理,会导致 ARP 相关进程和 forward 进程升高。

    # 查看 ARP 表项数量是否正常,有无大量不完整或重复的 ARP 条目 <H3C> display arp all | count
  • 检查物理端口流量与错误:定位接收异常报文的具体端口。

    # 查看所有端口的流量统计和错误计数,重点关注广播、组播和错误报文
    <H3C> display interface
  • 使用 debug 功能:定位到可疑端口后,开启 ACL 匹配的 debug 功能,抓取并分析上送 CPU 的报文类型。
    # 1. 开启调试信息输出

    <H3C> terminal monitor <H3C> terminal debugging # 2. 配置 ACL 匹配可疑流量(假设源IP为 1.1.1.1,目的IP为 2.2.2.2) <H3C> acl advanced 3999 <H3C-acl-ipv4-adv-3999> rule permit ip source 1.1.1.1 0 destination 2.2.2.2 0 <H3C-acl-ipv4-adv-3999> quit # 3. 开启 ACL 的硬件转发调试 <H3C> debugging ip hardware-forward acl 3999

📄 2. 深入排查 syslogd 进程

syslogd 进程高,通常是因为设备正在生成并处理海量日志,或者日志输出通道存在阻塞。

排查方法

  • 查看日志缓存:快速查看最近一段时间内,是否有某种日志在持续、大量地刷屏。

    # 查看日志缓存区的最后100条记录
    <H3C> display logbuffer last 100
  • 检查日志输出配置:确认日志信息是否被正确发送到了日志服务器。如果日志服务器不可达,syslogd 可能会因为不断尝试发送而占用 CPU。

    # 查看当前的日志主机配置
    <H3C> display info-center
  • 关闭不必要的日志:如果日志服务器不可用,可以考虑暂时关闭向该服务器发送日志的功能。

    <H3C> system-view
    [H3C] undo info-center loghost <loghost-ip>



  • 第二步:检查内部任务与配置(针对 
  • drvsdkd

drvsdkd 进程通常与特定的硬件驱动或业务模块相关,如端口安全策略(MACsec)等。可以检查交换机上是否开启了相关高级功能。

排查方法

  • 检查端口安全配置:查看是否在接口下开启了 macsecdot1x 等安全功能,这些功能在处理大量认证请求时可能导致 drvsdkd 负载升高。

    # 查看端口安全配置
    <H3C> display port-security interface # 查看 MACsec 配置 <H3C> display macsec interface
  • 检查设备运行时间与日志:查看设备日志中是否有与 drvsdkd 相关的异常记录。

    # 查看设备运行时间,判断是否是长期运行后出现的问题
    <H3C> display version # 查看日志缓冲区中与 drvsdkd 相关的日志 <H3C> display logbuffer | include drvsdkd

暂无评论

粉丝:9人 关注:2人

一、先搞懂这三个进程分别是什么
表格
进程名 核心作用 高 CPU 的典型原因
forward 报文转发核心进程(L2/L3 转发、ACL、QoS) 突发大流量、异常报文攻击、硬件转发异常导致软转发激增
syslogd 系统日志进程 日志量暴增(频繁日志 /debug)、日志主机不可达导致队列堆积
drvsdkd 设备驱动 SDK 进程(与硬件芯片交互) 芯片 / 接口异常、大量硬件中断、驱动异常
你现场的掉线 / 重认证问题,和这三个进程的高 CPU 直接相关:CPU 高会导致 ARP / 认证报文处理超时、BPDU/keepalive 丢包,进而引发重认证、业务中断。
二、第一步:紧急降负载(先恢复业务)
1. 立刻停掉 syslog 日志转发
syslogd 高 CPU,大概率是日志主机不可达,导致大量日志堆积在设备队列里反复重试。
plaintext
# 关闭所有日志主机配置(先停掉转发)
undo info-center loghost all
# 降低日志级别,只保留warning及以上
info-center source default channel loghost level warning
info-center source default channel console level error
# 关闭不必要的debug(你说debug关了,再确认一次)
undo terminal debugging
undo debugging all
执行后,syslogd 占用会立刻下降,远程管理卡顿会缓解。
2. 关闭不必要的功能,减轻 forward 进程压力
plaintext
# 关闭未使用的QoS策略
undo qos apply policy all global
# 关闭未使用的ACL统计
undo traffic-statistic all
# 关闭不必要的流量统计
undo port-security traffic-statistic
三、第二步:按进程逐个排查根因
1. 排查 forward 进程(23%+,最高)
(1)确认是否有异常流量 / 攻击
plaintext
# 看接口流量,找异常高的接口
display interface brief
display interface traffic
# 看是否有大量未知单播/广播
display mac-address
display cpu-defend statistics
若某接口流量异常大,或 CPU-defend 里有大量 ARP/ND/ICMP 报文,说明存在ARP 欺骗 / 泛洪攻击。
处理:在该接口配置 anti-arp-spoofing enable,或临时 shutdown 排查。
(2)确认是否硬件转发异常,被迫走软转发
plaintext
display ip forwarding hardware
display ip routing-table hardware
display acl hardware
若提示 “部分表项未下发硬件”,说明 ACL / 路由表项过多,导致 CPU 参与转发,forward 进程暴增。
处理:优化 ACL,删除无用规则,减少表项数量。
(3)排查是否有环路(你说没有,但再确认)
plaintext
display stp brief
display stp abnormal
display mac-address flapping
重点看是否有端口频繁学习 MAC,或 STP 状态频繁变化,这会导致 forward 进程反复处理 BPDU 和 MAC 地址表。
2. 排查 syslogd 进程(15%)
(1)看日志量是否暴增
plaintext
display info-center statistics
display info-center rate-limit
若日志速率远超设备上限(如 > 100 条 / 秒),说明存在频繁触发的日志(如端口 up/down、认证失败)。
处理:找到频繁 up/down 的接口,排查线缆 / PoE 供电问题。
(2)确认日志主机状态
plaintext
ping 日志主机IP
display info-center loghost all
若日志主机不可达,设备会不断重试发送,导致队列堆积,CPU 占用飙升。
处理:要么修复日志主机,要么先删掉日志主机配置。
3. 排查 drvsdkd 进程(18%)
(1)看硬件接口 / 芯片状态
plaintext
display device
display interface transceiver
display fan
display power
看是否有接口报错、光模块异常、风扇 / 电源告警,这些都会导致驱动进程反复处理硬件中断。
(2)看芯片错误统计
plaintext
display interface error
display cpu-defend hardware
若接口有大量 CRC 错误、帧错误,说明物理链路异常,导致驱动进程反复处理错误报文。
处理:更换线缆 / 光模块,排查对端设备。
四、第三步:常见组合场景判断
表格
进程组合 最可能的根因 优先处理动作
forward + syslogd 双高 接口频繁 up/down,同时产生大量日志 先修复链路,再清理日志
forward + drvsdkd 双高 硬件转发异常 / 接口错误报文过多 排查接口错误、光模块,重启芯片 / 接口
三个进程同时高 设备整体资源耗尽(表项过多 + 日志堆积 + 硬件异常) 先停日志转发,再优化表项,最后排查硬件
五、第四步:根治与预防
日志优化:日志主机必须可达,日志级别设为 warning 及以上,避免 debug 日志长期开启。
硬件转发优化:ACL/QoS 策略尽量简化,避免大量表项导致无法下发硬件。
安全加固:开启 ARP 防欺骗、端口安全,防止泛洪攻击。
固件升级:如果是老版本,优先升级到官方推荐稳定版,修复驱动 / 转发进程的已知 CPU 占用 bug

暂无评论

编辑答案

你正在编辑答案

如果你要对问题或其他回答进行点评或询问,请使用评论功能。

分享扩散:

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作

举报

×

侵犯我的权益 >
对根叔社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明