400G RoCEv2 端口满带宽验证方案（H3C 官方标准测试流程）
一、判定标准
400G 光口理论带宽 = 400Gbps，无损 RoCE 组网达标要求：
- 单向实测带宽 ≥ 380Gbps（理论 95% 以上）
- 全程交换机端口零丢包、无 PFC 反压风暴、ECN 轻微标记无拥塞
- 双向并发均可跑到 380G+，才算端口跑满 400G 线速。
二、前置校验（正式打流前必做）
1. 确认服务器 400G 网卡协商速率
bash
# 查看网卡实际协商速率，必须显示 400000 Mb/s
ethtool ens4f0 | grep Speed
cat /sys/class/net/ens4f0/speed
# RoCE网卡IB层速率核验
ibstat mlx5_0
协商不为 400G 先排查光模块、交换机端口速率配置、线缆。
2. 交换机无损配置确认（H3C S9825/S12500G 等 AI 交换机）
plaintext
# 互联接口开启DCBX、PFC、ECN（RoCE必备）
interface FortyGigE 1/0/1
dcb enable
dcb pfc enable
dcb pfc priority 3 enable
dcb ecn enable
port link-mode route
三、官方标准打流工具：perftest（ib_write_bw，行业通用 RoCE 验收工具）
H3C、ODCC 无损网络验收均采用这套工具验证 RoCE 带宽。
安装
bash
# CentOS/RHEL
yum install perftest -y
# Ubuntu
apt install perftest -y
单向 400G 满速打流命令（最常用验收脚本）
服务端（被测试服务器 A）
bash
ib_write_bw -d mlx5_0 -F --report_gbits -s 16777216 -q 64 -D 60 -x 3
客户端（服务器 B，发起流量）
bash
ib_write_bw -d mlx5_0 -F --report_gbits -s 16777216 -q 64 -D 60 -x 3 服务端RoCE_IP
参数说明：
-q 64：64 组 QP 队列，打满 400G 带宽必备（单 QP 最多跑到 120G 左右，多 QP 聚合才能跑满 400G）-s 16M：大包消除小包开销干扰，贴近 AI 训练真实流量--report_gbits：结果直接输出 Gbps 单位
双向并发测试（模拟真实业务上下行同时跑满）
两端同时互相作为服务端 + 客户端，各自执行上述打流命令。
四、两处同步观测带宽（双维度佐证是否跑满 400G）
方式 1：服务器网卡侧观测真实 RDMA 流量（重点）
RoCE 流量绕过内核 TCP 协议栈，普通 ifstat/iftop 看不到流量，读取网卡硬件计数器：
bash
# 持续查看400G网卡收发速率，单位Byte，换算除以125即为Gbps
watch -n 1 cat /sys/class/infiniband/mlx5_0/ports/1/counters/port_xmit_data
watch -n 1 cat /sys/class/infiniband/mlx5_0/ports/1/counters/port_rcv_data
方式 2：H3C 交换机端口流量统计（官方验收核心依据）
- 清空端口历史统计
plaintext
reset counters interface FortyGigE 1/0/1
- 打流期间持续查看端口实时速率
plaintext
display counters rate outbound interface FortyGigE 1/0/1
- 输出速率稳定在 380Gbps~400Gbps = 端口已经跑满 400G 线速
- 校验无丢包、无 PFC 异常
plaintext
display dcb pfc statistics interface FortyGigE 1/0/1
正常结果：PFC 停顿计数 = 0、输入 CRC 错误 = 0、丢弃报文 = 0。
五、补充：AI 场景全真业务压测（NCCL 测试，贴近真实训练业务）
纯 ib_write_bw 是裸 RDMA 测试，若要验证 AI 集群真实 400G 能力，用 NVIDIA NCCL 跑分：
- 两台 GPU 服务器互相通信执行 nccl-tests
- 若 NCCL 带宽同样≥380Gbps，证明业务场景下也能跑满 400G。
六、常见跑不满 400G 的原因
- QP 数量过少（默认单 QP 只能跑 100G 左右，必须
-q 32~64）； - 小包测试（64B/1K 小包受网卡开销限制，永远跑不满 400G，验收必须用 8M/16M 大包）；
- 交换机端口 PFC 频繁停顿、ECN 拥塞抑制带宽；
- 服务器 NUMA 未绑核，CPU 调度拖累 RDMA 网卡性能。
七、极简验收结论总结
- 官方标准：ib_write_bw 多 QP 大包打流 + 交换机端口速率查看；
- 交换机端口出向速率稳定 ≥380Gbps、零丢包无 PFC 风暴，即代表 400G 端口已经跑满线速；
- 单向达标后补充双向并发测试，验证上下行均可满载。
暂无评论
验证400G RoCE网络端口是否达标，确实需要一套严谨的测试方法。根据测试的深入程度和预算，通常有三种主流方案。
🔬 方案一：开源基准测试工具（最常用，成本低）
这是最基础、最常用的方法，使用MLNX_OFED驱动包自带的 perftest 工具集。它通过模拟RDMA操作来测试极限性能，是业界公认的基准。
核心工具：
操作步骤：
环境准备：准备两台服务器（A和B），确保都安装了支持RoCE的网卡（如NVIDIA ConnectX系列）及驱动，并已正确配置RoCE网络。
启动服务端：在服务器A上启动服务端，监听连接。
# 测试写带宽 ib_write_bw -d <你的RoCE设备名> -i <端口号> # 示例：ib_write_bw -d mlx5_0 -i 1bash启动客户端：在服务器B上运行客户端，连接到服务器A的IP。
# 测试写带宽，连接到服务器A的IP ib_write_bw -d <你的RoCE设备名> -i <端口号> <服务器A的IP地址> # 示例：ib_write_bw -d mlx5_0 -i 1 192.168.1.100bash参数调整：对于400G网络，必须指定大消息包大小（如
-s 1048576），才能测出最大带宽。可以使用--duration=<秒数>来设置测试时长。
暂无评论
编辑答案
➤
✖
亲~登录后才可以操作哦!
确定
✖
✖
你的邮箱还未认证，请认证邮箱或绑定手机后进行当前操作
✖
举报
×
侵犯我的权益
>
对根叔社区有害的内容
>
辱骂、歧视、挑衅等（不友善）
侵犯我的权益
×
侵犯了我企业的权益
>
抄袭了我的内容
>
诽谤我
>
辱骂、歧视、挑衅等（不友善）
骚扰我
侵犯了我企业的权益
×
您好，当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时，您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱，我们会在审核后尽快给您答复。
- 1. 您举报的内容是什么？（请在邮件中列出您举报的内容和链接地址）
- 2. 您是谁？（身份证明材料，可以是身份证或护照等证件）
- 3. 是哪家企业？（营业执照，单位登记证明等证件）
- 4. 您与该企业的关系是？（您是企业法人或被授权人，需提供企业委托授权书）
我们认为知名企业应该坦然接受公众讨论，对于答案中不准确的部分，我们欢迎您以正式或非正式身份在根叔知了上进行澄清。
抄袭了我的内容
×
原文链接或出处
诽谤我
×
您好，当您发现根叔知了上有诽谤您的内容时，您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱，我们会尽快处理。
- 1. 您举报的内容以及侵犯了您什么权益？（请在邮件中列出您举报的内容、链接地址，并给出简短的说明）
- 2. 您是谁？（身份证明材料，可以是身份证或护照等证件）
我们认为知名企业应该坦然接受公众讨论，对于答案中不准确的部分，我们欢迎您以正式或非正式身份在根叔知了上进行澄清。
对根叔社区有害的内容
×
垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载
>
辱骂、歧视、挑衅等（不友善）
骚扰我
诱导投票
不规范转载
×
举报说明
暂无评论