VMware 对物理网卡数量支持的限制

R6800+5块546SFP+网卡

OS version:VMware ESXi 6.0 U3

安装驱动:3.15.5.5时前4个插槽网卡可以正常驱动,第五块开始无法驱动

无明确告警

系统网卡配置文件中可以明确看到正常驱动的网卡名称为:nmlx4, 未能驱动的网卡名称显示为:mlx4,此名称为网卡自身系统的默认驱动名称.

如果不安装正常的推荐版本驱动及固件,主机在使用过程中会出现不定时的网络不稳定情况

VMware原厂工程师现场安装推荐固件提示安装成功,安装推荐的驱动版本: 3.15.5.5后,发现R6800插槽6-插槽9上的网卡可以正常驱动,插槽5上的同型号网卡未能驱动;

VMware原厂工程师强制安装驱动,安装成功,但是插槽5网卡无法使用,光纤口完全不发光;

R6800 PCIe通信架构如下:

从架构信息可以看出,前4插槽分别归属与处理器1到处理器3分别管理,其中处理器3同时分管插槽3到插槽5,当前问题插槽5为最后一块网卡归处理器3管理,将插槽5的网卡与插槽6到插槽9的任意一个网卡进行位置更换后,依旧是插槽6到插槽9正常,新换到插槽5的设备名称回复到系统默认的名称;

将5块网卡分别安装到插槽5到插槽1上,位于插槽2到插槽5设备正常,尝试安装Redhat Linux 7.0确认所有卡在任何插槽均可以正常识别使用,驱动可以正常安装;截止当前可以发现问题与硬件无关;

根据网卡芯片型号:Mellanox Technologies MT27520 官方网页显示,对于不同的系统版本需要有不同的固件及驱动版本进行支持

通过上表可以看出:本案例中遇到的问题ConnectX-3 驱动及固件在当前系统版本下均为VMware 系统厂商编写,与主机硬件厂商及网卡芯片厂商关联性不大

根据VMware官方文档vSphere 6.0 配置上限显示,网卡上限如下:

Physical NICs                   最大数量

nmlx4_en 40 GB Ethernet Ports (Mellanox)   4

由此可见,系统下只有前4个网卡可以驱动是由于系统内核限制导致,更换560 SFP+测试可以正常识别并安装推荐版本固件及驱动使用

解决此问题需要根据VMware官方上限配置表更换网卡型号或者仅使用4块当前型号的网卡

针对本案例中涉及的网址参考链接如下:

***.***/page/products_dyn?product_family=29&mtag=vmware_driver
***.***/web/vmware/details?downloadGroup=DT-ESX60-MELLANOX-NMLX4_EN-31555&productId=491

***.***/pdf/vsphere6/r60/vsphere-60-configuration-maximums.pdf