服务器:4500 G6(问题与服务器型号关系不大)
网卡型号:IB-MCX653105A-HDAT-200Gb-1P
使用ib write bw -d mlx5 2--report gbits -D1 --run infinitely 127.0.0.1命令,对网卡进行本地地址打流性能测试
友商同样mcx的200 G网卡可达到200G的理论性能,此台服务器性能只能达到185G左右。
对比友商和我司的硬件配置差异CPU存在差异,网卡型号有差异
此外网卡正常两台服务器直连打流测试达到90%的理论性能一般来说是正常的。
但是该命令是测本地回环地址,更依赖于本地内核等性能。
通过更换友商同款5520CPU,以及6330,5380,5420型号CPU问题未解决,通过关闭核心提升单核睿频的方式性能甚至有下降。
后续对比网卡固件参数设置发现正常服务器和服务器中存在MAX_ACC_OUT_READ参数差异,正常服务器为44,性能低的服务器为32。
而NV官网也对此MXC6网卡的调优有一定指导,推荐去其从默认32设置为44;原文链接***.***/grace-perf-tuning-guide/optimizing-io.html
修改该参数后可达到200G以上的性能
设置参数方式;在系统下使用
1. sudo mlxconfig -d <dev> query | grep MAX_ACC_OUT_READ-----查看该参数是否开启,默认值是多少
2. sudo mlxconfig -d <dev> set ADVANCED_PCI_SETTINGS=1 -----若没有此参数使用该命令将参数添加上
3.sudo mlxconfig -d <dev> set MAX_ACC_OUT_READ=<value>-----设置参数数值
注意:该参数需要重启才能生效。
该案例暂时没有网友评论
✖
案例意见反馈
亲~登录后才可以操作哦!
确定你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作