组网及说明
Advisory: HPE Network Adapters - Auto-Negotiation and Link Connectivity Issues May Occur On Certain HPE NVIDIA/Mellanox-Based Network Adapters When Connecting to Upstream Switches Not Supported By NVIDIA
文档ID:a00148079en_us Last Updated:2025-05-09
影响范围:
所有部署了下列 HPE NVIDIA/Mellanox 系列网卡且连接至 NVIDIA 官方未认证交换机 的 HPE 平台
ConnectX-4
- HPE InfiniBand EDR/Ethernet 100Gb 1-port 840QSFP28 Adapter (825110-B21)
- HPE InfiniBand EDR/Ethernet 100Gb 2-port 840QSFP28 Adapter (825111-B21)
ConnectX-4 Lx
- HPE Ethernet 10Gb 2-port 548SFP+ Adapter (P11338-B21)
- HPE Ethernet 10/25Gb 2-port 640FLR-SFP28 Adapter (817749-B21)
- HPE Ethernet 10/25Gb 2-port SFP28 MCX4121A-ACUT Adapter (817753-B21)
- HPE Ethernet 10/25Gb 2-port SFP+ MCX4621A-ACAB OCP3 Adapter (P11341-B21)
- HPE Ethernet 10Gb 2-port SFP+ MCX4121A-XCHT Adapter (P21930-B21)
ConnectX-5
- HPE Ethernet 10/25Gb 2-port SFP28 MCX512A-ACAT Special Adapter (P24837-B21)
- HPE InfiniBand EDR/Ethernet 100Gb 2-port 841QSFP28 Adapter (872726-B21)
- HPE InfiniBand FDR/Ethernet 40/50Gb 2-port 547FLR-QSFP Adapter (879482-B21)
- HPE Ethernet 100Gb 2-port QSFP28 MCX516A-CCHT Adapter (P21927-B21)
- Mellanox MCX562A-ACAI Ethernet 10/25Gb 2-port SFP28 OCP3 Adapter for HPE (P10112-B21)
- Mellanox MCX512F-ACHT Ethernet 10/25Gb 2-port SFP28 Adapter for HPE (P13188-B21)
- HPE Ethernet 100Gb 1-port QSFP28 MCX515A-CCAT Adapter (874253-B21)
- HPE Ethernet 100Gb 1-port QSFP28 PCIe3 x16 MCX515A-CCAT Adapter (P31246-B21)
ConnectX-6
- HPE InfiniBand HDR/Ethernet 200Gb 1-port QSFP56 PCIe3 x16 MCX653105A-HDAT Adapter (P06154-B21)
- HPE InfiniBand HDR100/Ethernet 100Gb 1-port QSFP56 PCIe3 x16 MCX653105A-ECAT Adapter (P06250-B21)
- HPE InfiniBand HDR100/Ethernet 100Gb 2-port QSFP56 PCIe3 x16 MCX653106A-ECAT Adapter (P06251-B21)
- HPE InfiniBand HDR/Ethernet 200Gb 1-port QSFP56 PCIe4 x16 MCX653105A-HDAT Adapter (P23664-B21)
- HPE InfiniBand HDR100/Ethernet 100Gb 1-port QSFP56 PCIe4 x16 MCX653105A-ECAT Adapter (P23665-B21)
- HPE InfiniBand HDR100/Ethernet 100Gb 2-port QSFP56 PCIe4 x16 MCX653106A-ECAT Adapter (P23666-B21)
- HPE InfiniBand HDR/Ethernet 200Gb 1-port QSFP56 PCIe4 x16 OCP3 MCX653435A-HDAI Adapter (P31323-B21)
- HPE InfiniBand HDR/Ethernet 200Gb 2-port QSFP56 PCIe4 x16 OCP3 MCX653436A-HDAI Adapter (P31348-B21)
- HPE InfiniBand HDR/Ethernet 200Gb 2-port QSFP56 PCIe4 x16 MCX653106A-HDAT Adapter (P31324-B21)
ConnectX-6 Dx
- Mellanox MCX623106AS-CDAT Ethernet 100Gb 2-port QSFP56 Adapter for HPE (P25960-B21)
- Mellanox MCX623105AS-VDAT Ethernet 200Gb 1-port QSFP56 Adapter for HPE (P10180-B21)
ConnectX-6 Lx
问题描述
如果 HPE 平台配置了上述列出的任何基于 HPE NVIDIA/Mellanox 的网卡,并且这些网卡连接到 NVIDIA 不支持的上游交换机,可能会出现自动协商和链路连接问题。
要查看 NVIDIA 测试兼容的的交换机列表,请参阅 NVIDIA 固件发行说明中的“已验证和支持的线缆和交换机”( Validated and Supported Cables and Switches)部分。以下是基于 HPE NVIDIA/Mellanox ConnectX-6 的网卡的示例:
Validated and Supported Cables and Switches - NVIDIA Docs
过程分析
解决方法
解决方法是,通过在网卡和上游交换机上设置“强制速度/双工”( force speed/duplex)来禁用自动协商。
此外,如果仍然遇到链接问题或错误,请启用推荐的前向纠错 (Forward Error Correction - FEC) 模式。
注意:FEC 模式可能取决于所用模块和/或线缆的速率和物理介质;例如,25GBASE-SR、50GBASE-SR、100GBASE-SR2 等。如果无法确认支持FEC模式,请参阅以下文档:
802.3-2022 - IEEE Standard for Ethernet
示例:对于 25GBASE-SR 光模块类型,FEC 模式应为 RS-FEC。更多信息,请参阅 2022 版“IEEE Standard 802.3-2022, IEEE Standard for Ethernet”。根据第 108 条,“Physical Medium Dependent (PMD) sublayer and medium, type 25GBASE-SR。
Important notes:
∙ 如果在设置“强制速度/双工”并配置支持的FEC模式后仍然遇到连接问题和/或错误,请使用 NVIDIA 支持的线缆和/或光模块、交换机执行此解决方法。
∙ 请参阅 NVIDIA 固件发行说明中的“已验证和支持的线缆和交换机”。
∙ 确保线缆/光模块受 HPE 支持。有关 HPE 支持的线缆和光模块的信息,请参阅以下 URL:
HPE Compute Transceiver and Cable Hardware Matrix