roce网络中服务器侧的网卡配置

可以找对应服务器设备厂商要一下相关配置

1. 基础网络与 MTU 配置

• MTU 设置：建议将物理网卡 MTU 设置为 9000（需确保与 H3C S9825-64D 交换机端口的 jumboframe enable 9000 配置一致）。
• 命令示例：
  sudo ip link set dev <网卡接口名> mtu 9000

2. QoS 信任模式与 DSCP 映射

• 信任模式：将网卡的 QoS 信任模式设置为 DSCP。
• DSCP 映射规范：
  • RoCE 业务流：DSCP 26 (AF31) → 802.1p CoS 3（无损队列）。
  • RoCE 拥塞反馈 CNP 报文：DSCP 48 (CS6) → 802.1p CoS 7（最高优先级，禁止阻塞）。

3. 开启 PFC (Priority Flow Control)

• Mellanox/NVIDIA 网卡配置示例（使用 mlnx_qos 工具）：
  # 假设仅对队列 3 开启 PFC（具体队列号视网卡默认映射而定） sudo mlnx_qos -i <网卡接口名> --pfc=0,0,0,1,0,0,0,0 --trust=dscp
  (注：若您的 RoCE 流量被映射到队列 4，则参数改为 --pfc=0,0,0,0,1,0,0,0)

4. 开启 ECN (Explicit Congestion Notification)

• 通常在使用 mlnx_qos 配置 DSCP 信任模式时，ECN 会协同生效。您也可以通过相关工具确认 DCQCN 拥塞控制算法已启用。

5. 多网卡聚合 (Bond) 配置（可选）

• 支持的模式：仅支持 Mode 1 (主备)、Mode 2 (负载均衡)、Mode 4 (802.3ad LACP 链路聚合)。
• 负载均衡策略：由于 RDMA 点对点通信时 IP 和 MAC 地址不变，聚合时必须使用 layer3+4（基于 IP+端口哈希）策略，利用源端口的随机性实现流量负载分担。
• Ubuntu Netplan 配置示例：
  network: bonds: bond0: interfaces: [ens1f0, ens2f0] # 替换为实际物理网卡名 parameters: mode: 802.3ad transmit-hash-policy: layer3+4 lacp-rate: fast

💡 关键注意事项

1. 端到端一致性：服务器侧配置的 DSCP 优先级、PFC 队列号、MTU 大小，必须与 H3C S9825 交换机侧的 QoS 策略和 PFC 配置严格对应。
2. 死锁防护：务必确保只在 RoCE 专用队列上开启了 PFC，切勿在所有队列上盲目开启 PFC，否则极易引发网络死锁。
3. 配置持久化：Ubuntu 22.04 下修改的 QoS 和 PFC 参数在重启后可能会失效，建议将相关命令写入启动脚本（如 rc.local 或 systemd service）以实现持久化。