• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

9820交换机roce

7小时前提问
  • 0关注
  • 0收藏,44浏览
粉丝:0人 关注:14人

问题描述:

9820-8C-G

PFC的通道是0-7吗?

要是要用到0-7
在接口下配置
priority-flow-control no-drop dot1p 0
priority-flow-control no-drop dot1p 2
priority-flow-control no-drop dot1p 3
priority-flow-control no-drop dot1p 4
顺着下去么

5 个回答
粉丝:15人 关注:9人

1. 9820-8C-GPFC端口队列:
默认情况下通常使用队列 0-7。
2. PFC配置关键命令:
不用逐条配置,可以在一条命令中连续配置,仅需确保最后一行敲 commit 提交配置。
system-view
interface HundredGigE1/0/1 // 进入对应接口
priority-flow-control enable
priority-flow-control no-drop dot1p 0,2,3,4 // 一条命令配置多个
commit
3. 注意事项:
配置前确认对端(如RoCE网卡或交换机)PFC参数一致。
通常保留队列0为传统TCP流量,不建议同时把队列0和队列7都设为No-drop。

粉丝:23人 关注:0人

在 S9820/9820-8C-G 做 RoCE,PFC 的 802.1p 通道技术范围是 0–7,但“能不能配”和“该不该全开”是两回事。结论先给:不要顺着 0、2、3、4…一直配到 7,只给你真正跑 RoCE 数据的那个/几个 802.1p 开 no-drop

一、0–7 是什么概念

  • 802.1p 一共 8 个优先级,编号 0–7,PFC 按这 8 个虚拟通道做反压。
  • H3C 命令里 priority-flow-control no-drop dot1p dot1p-list 的 list 支持单值、逗号、连段,例如:
    • 单优先级:no-drop dot1p 3
    • 多个:no-drop dot1p 3,4
    • 连续:no-drop dot1p 3-5
    • 全开可写:no-drop dot1p 0,1,2,3,4,5,6,7(但不推荐)
  • 各阈值命令(headroom / ingress-buffer / reserved-buffer)的 dot1p 参数也都是 0–7。

二、RoCE 不建议全开 0–7 的原因

  • PFC 是“拥塞就发 PAUSE 暂停整类优先级”,开得越多,暂停面越大,容易:
    • PFC 风暴 / 死锁(尤其多跳、多优先级互相反压)
    • 把管理、存储、普通 TCP、IRF 保活也暂停,反而出问题
  • H3C 通用限制:IRF 或其他协议场景不建议给 0、6、7 开 PFC,避免影响 IRF 和其他协议;非 IRF 也尽量别把 0 当 RoCE 用。
  • CNP(拥塞通知包)所在优先级不要开 no-drop,否则 CNP 自己被暂停会让 ECN 闭环失效(行业通识,H3C RoCE 参考也把 RoCE 数据和无损、CNP 严格优先分开)。

三、S9820 RoCE 常规做法(按 dot1p 信任举例)

如果你服务器打 802.1p 优先级、交换机按 dot1p 分类:
# 全局/系统视图,按需开死锁检测(可选) priority-flow-control deadlock enable # 部分版本在接口或全局,按机型版本写 # 接口下 interface HundredGigE1/0/1 qos trust dot1p # 信任报文自带802.1p;用DSCP就写 qos trust dscp priority-flow-control enable # 或 enable send receive / auto,按对端协商 priority-flow-control no-drop dot1p 3 # 只给RoCE数据优先级开;多优先级写 3,4 或 3-5 # 下面按需调阈值,短距可不改 priority-flow-control dot1p 3 headroom 2000 priority-flow-control dot1p 3 ingress-buffer dynamic 6 priority-flow-control dot1p 3 ingress-threshold-offset 12 priority-flow-control dot1p 3 reserved-buffer 300
要点:
  • 只开 RoCE 数据优先级。比如规划 RoCE 用 dot1p 3,就只 no-drop dot1p 3;用 3 和 4 两套业务再写 3,4,不用把 0/1/2/5/6/7 都写上去。
  • 如果你原来想“0、2、3、4 顺着开”,要先问:0 是默认Best-effort,2/3/4 分别是哪类流量?把非 RDMA、管理、VXLAN/存储控制面剔除。
  • 用 DSCP 而不是 dot1p 时,接口 qos trust dscp,再做 qos map-table dscp-dot1p 把 RoCE DSCP 映射到目标 dot1p,然后在该 dot1p 开 no-drop;别直接在 dot1p 0–7 全开。

四、S9820 距离/headroom 补充

  • 100GE、距离 ≤300m:接口上 priority-flow-control no-drop dot1p X 用默认 headroom 通常就够了。
  • 长距(参考手册举例到 10km 这类)或 400G 大 buffer 场景:用 priority-flow-control dot1p X headroom <cells> 单独调;具体数值按版本、端口速率、线缆距离找 H3C RDMA 技术参考,不要套别的系列数值。
  • 400G 默认 PFC 阈值参考:headroom 约 1000 cells、dynamic XOFF 5%、offset 12、reserved 20;100G 默认 headroom 491。仅作“缺省大概量”,生产按实测 PFC 计数调。

五、全栈一致性检查

  • 服务器网口 PFC 优先级、交换机 trust 模式、dscp/dot1p 映射、no-drop 优先级、对端/上行/下行口必须一致;任一口漏开,该优先级在这台设备拥塞就直接丢而不是 PAUSE。
  • IRF 的话 IRF 物理口也要按相同 dot1p 开 PFC,且避开 0/6/7。
  • 验证:display priority-flow-controldisplay priority-flow-control interfacedisplay buffer usage interface verbose 看 XOFF/XON/headroom/reserved;看 PFC pause 收发计数判断是否误触发。

AI哥你好

8个零走天下 发表时间:7小时前 更多>>

AI哥你好

8个零走天下 发表时间:7小时前
粉丝:35人 关注:2人

S9820‑8C‑G 硬件 PFC 就是8 个独立虚拟通道,对应 dot1p 0‑7H3C。 ⚠️不要逐条敲多条priority‑flow‑control no‑drop dot1p x;接口视图下多次执行这条命令,最后一次执行会覆盖前面所有配置,不是累加!逐条敲 0、2、3、4 只会保留最后一条生效,前面全部丢失H3C。

正确写法(接口下一次性写完整列表,逗号分隔)

interface HundredGigE 1/0/1 priority‑flow‑control enable #打开接口PFC功能,不要用auto,RoCE建议强制enable priority‑flow‑control no‑drop dot1p 0‑7 #一次性开启0‑7全部8个优先级PFC无损通道 qos trust dot1p #必须信任dot1p,否则PFC不生效 quit

语法支持区间0‑7,也可以写0,1,2,3,4,5,6,7,效果完全一样H3C。

❌错误写法(会覆盖,仅最后一条生效)

priority‑flow‑control no‑drop dot1p 0 priority‑flow‑control no‑drop dot1p 2 priority‑flow‑control no‑drop dot1p 3 priority‑flow‑control no‑drop dot1p 4 #上面执行完实际只有dot1p4开启,0/2/3被覆盖失效!

RoCE 配套必做(S9820‑8C‑G 无损关键)

  1. 接口 PFC 模式:RoCE 环境优先priority‑flow‑control enable强制开启;auto是 LLDP DCBX 协商,主机网卡不支持 DCBX 时容易协商失败,不推荐生产使用H3C。
  2. qos trust dot1p必须配置,否则报文内部优先级映射错乱,PFC 反压不触发H3C。
  3. 检查 PFC 门限:S9820‑8C‑G 的 400G/100G 端口有出厂默认 Headroom 门限,一般直接用缺省值,不建议随便修改,乱改 headroom 会造成 PFC 死锁、丢包H3C。
  4. 网卡侧(Mellanox)要同步开启同样的 PFC 优先级:mlnx_qos -i xxx --pfc 1,1,1,1,1,1,1,1,交换机与网卡 PFC 开启的 dot1p 必须完全对齐H3C。

查看验证命令

display priority‑flow‑control interface HundredGigE 1/0/1

输出可以看到哪些 dot1p 已经开启 no‑drop。

重要补充提醒

  1. 全局视图priority‑flow‑control no‑drop dot1p整机所有端口生效;接口视图仅本端口;接口配置优先级高于全局,会覆盖全局配置H3C。
  2. RoCEv2 走 DSCP,务必保证dscp‑dot1p映射正确:RoCEv2 的 DSCP 正确映射到你开启 PFC 的 dot1p 优先级,否则 RDMA 报文不会进入无损队列。
  3. 生产 RoCE 不建议把全部 0‑7 都开 PFC,推荐只给 RDMA 业务对应的 1‑2 个 CoS 开启 PFC;全部 8 个都开 PFC 会极大提升 PFC 死锁风险。

AI哥你好

8个零走天下 发表时间:7小时前 更多>>

AI哥你好

8个零走天下 发表时间:7小时前
粉丝:12人 关注:7人

✅ S9820-8C-G PFC 说明

  1. PFC 对应的就是 dot1p 优先级 0~7,共 8 个无损队列,没错,PFC 就是基于 802.1p 的 8 个优先级分别做流控,每个优先级独立 pause。
  2. 重点:不用一条一条分开敲!支持逗号 / 连字符批量写

如果你要一次性把 0,1,2,3,4,5,6,7 全部开启 PFC no-drop:

priority-flow-control no-drop dot1p 0-7

等价于 0、1、2、3、4、5、6、7 全部打开无损 PFCH3C

如果你只需要 0,2,3,4,写:

priority-flow-control no-drop dot1p 0,2,3,4

⚠️ 坑点:多次输入这条命令会覆盖,不是追加 比如你先敲:

priority-flow-control no-drop dot1p 0

再敲

priority-flow-control no-drop dot1p 2

最后生效的只有 dot1p 2,0 会被删掉,不是叠加!! 这是 H3C S9820 系列最容易踩的坑,不要分行逐条配置H3C

完整接口最小配置模板(RDMA / 无损)

interface HundredGigE 1/0/1 priority-flow-control enable priority-flow-control no-drop dot1p 0-7 qos trust dot1p
  • priority-flow-control enable:端口全局打开 PFC 收发
  • qos trust dot1p必须配,端口识别报文里的 802.1p 标记,否则 PFC 不生效H3C

验证命令

display priority-flow-control interface HundredGigE 1/0/1

看输出里的No-drop dot1p priorities字段,确认哪些优先级开启无损。

佚名 九段
粉丝:25人 关注:0人

PFC一般一个roce网络里都是统一的队列,基本上都是用队列5,所以开启pfc也只需要开启队列5的pfc即可,根据你的实际需求来,至少要是3及3以上,因为默认流量是走队列2的,因此开无损的队列不能比2小。

编辑答案

你正在编辑答案

如果你要对问题或其他回答进行点评或询问,请使用评论功能。

分享扩散:

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作

举报

×

侵犯我的权益 >
对根叔社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明