560 SFP+ 网卡进行传输速率压力测试达不到理论数据10GB/s

硬件:

560SFP+网卡

操作系统:

VMware ESXi 6.0

背景:

网卡网口在ESXI下做哈希算法绑定,网卡工作模式:全双工

使用压力测试软件对网卡传输速度进行压力测试,单进程测试传输速度为5GB/s左右,双进程测试速度为7GB/s左右;当网卡在压力测试达到最大值时1号处理器使用率会上升到100%,2号处理器无变化

日志及系统中网卡工作正常,没有报警及断线提示

Ping包测试无丢包现象

网卡驱动更新官网最新后无效

网卡驱动版本信息如下:

固件信息如下:

Location      Product Name                             Part Number   Serial Number Source     Firmware Version 

PCI-E Slot 1   HP Ethernet 10Gb 2-port 560SFP+ Adapter   665249-B21    MYI61606D6 FRU        0x80000897, 1.1200.0
PCI-E Slot 2   HP Ethernet 10Gb 2-port 560SFP+ Adapter   665249-B21    MYI6190CK8 FRU        0x80000897, 1.1200.0

网卡绑定状态下,单进程网卡传输速度如下:

ID] Interval       Transfer     Bandwidth

[  3]  0.0- 1.0 sec   631 MBytes  5.29 Gbits/sec

[  3]  1.0- 2.0 sec   642 MBytes  5.39 Gbits/sec

[  3]  2.0- 3.0 sec   642 MBytes  5.38 Gbits/sec

[  3]  3.0- 4.0 sec   642 MBytes  5.38 Gbits/sec

[  3]  4.0- 5.0 sec   650 MBytes  5.45 Gbits/sec

[  3]  5.0- 6.0 sec   654 MBytes  5.48 Gbits/sec

[  3]  6.0- 7.0 sec   645 MBytes  5.41 Gbits/sec

[  3]  7.0- 8.0 sec   638 MBytes  5.35 Gbits/sec

[  3]  8.0- 9.0 sec   628 MBytes  5.27 Gbits/sec

解除绑定后单个进程测试网卡传输速度如下:

[ ID] Interval       Transfer     Bandwidth

[  3]  0.0- 1.0 sec   835 MBytes  7.00 Gbits/sec

[  3]  1.0- 2.0 sec   838 MBytes  7.03 Gbits/sec

[  3]  2.0- 3.0 sec   836 MBytes  7.01 Gbits/sec

[  3]  3.0- 4.0 sec   826 MBytes  6.93 Gbits/sec

[  3]  4.0- 5.0 sec   842 MBytes  7.06 Gbits/sec

[  3]  5.0- 6.0 sec   841 MBytes  7.05 Gbits/sec

[  3]  6.0- 7.0 sec   839 MBytes  7.04 Gbits/sec

[  3]  7.0- 8.0 sec   837 MBytes  7.02 Gbits/sec

[  3]  8.0- 9.0 sec   837 MBytes  7.02 Gbits/sec

560SFP+网卡资料描述如下:

TCP/IP Stateless Offloading

TCP, IP, UDP checksum offload, Large Send Offload (LSO), TCP, Segmentation Offload (TSO).

These features optimize host efficiency, leaving the CPU available for other duties.

The HPE 560SFP+ Adapter powered by Intel? 82599 controller offers TCP/IP stateless intelligent offloading capability.

通过这段描述可以看出,网卡的部分功能会影响到CPU的性能

VMware官方网站对于TSO LSO设置信息如下:

***.***/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2055140

通过这个链接中的信息我们可以看到,系统层面是有TSO和LSO的开启/关闭命令的,0—关闭   1—开启

In an ESX/ESXi Shell on the host, set the /Net/UseHwTSO advanced parameter to 1 to enable TSO, or to 0 to disable TSO by running a console command:

On ESX/ESXi 4.x hosts:
esxcfg-advcfg -s 1 /Net/UseHwTSO
esxcfg-advcfg -s 0 /Net/UseHwTSO

On ESXi 5.0 hosts and later:
esxcli system settings advanced set -o /Net/UseHwTSO -i 1
esxcli system settings advanced set -o /Net/UseHwTSO -i 0

根据VMware官方指导文档对网卡进行设置LSO及TSO后没有解决用户问题

intel官方网站对于10GB网卡可以调优的性能及高级驱动设置文档中如下:

Tuning Throughput Performance for Intel® Ethernet Adapters

***.***/content/www/us/en/support/network-and-i-o/ethernet-products/000005811.html

Intel® Ethernet 10 Gigabit Server Adapters Advanced Driver Settings

***.***/content/www/us/en/support/network-and-i-o/ethernet-products/000005783.html

参照Intel 官方指导文档内容对网卡可以调优设置信息进行更改,

修改了网卡的RSS(Receive Side Scaling)和LRO(Large Receive Offload)后网卡压力测试正常

网卡传输速度可以达到9GB/S以上,无限接近理论标称值10GB/s

针对10GB/S网卡传输问题,如果与理论值偏差很多,可以通过以下几个方面进行排查:

1.驱动版本

2.固件版本

3.网卡是否有做绑定

4.工作模式是否全双工

5.网卡调优模式设置

6.外部交换机设置