H3C VirtualConnect FlexFabric 双跳FCoE配置案例

VC FlexFabric和VC Flex10-D两种模块在4.01版本以后支持双跳FCoE组网，即VC通过万兆光口接入FCoE交换机，实现以太网与FCoE流量的融合。本例介绍VC双跳FCoE结合FCoE交换机挂载存储的配置步骤。

2.1  设备及组网拓扑

设备信息	数量
S5820V2-U	1
普通交换机	1
UIS刀箱	1
VC FlexFabric 24port模块	2
3PAR SS7200存储（双控）	1
B390(FlexFabric网卡)	1
CAS	1

 

VC VLAN规划：

设备	描述1	描述2	服务器虚拟机网卡/PF
VC1	管理VLAN	1	1-a/PF1
	业务VLAN	2-50	1-c/PF3
	FCoE VLAN（VSAN）	100	1-b/PF2
VC2	管理VLAN	1	2-a/PF1
	业务VLAN	2-50	2-c/PF3
	FCoE VLAN（VSAN）	200	2-b/PF2

S5820V2-U VLAN规划：

管理VLAN	1
业务VLAN	2-50
FCoE VLAN（VSAN）	100、200

 

说明：

UIS8000中VC FlexFabric或者VC Flex10-D模块与刀片服务器FlexFabric网卡配合，可以实现双跳FCoE组网，即VC上行采用万兆光模块实现FCoE流量与以太网流量的融合。和传统单跳FCoE一样，能实现FC存储或者FCoE存储的接入。与传统的单跳FCoE相比，不必使用单独的FC线路与SAN交换机相连，而是直接使用万兆光模块与支持FCoE（FC）功能的以太网交换机相连，网络线路上简洁易维护，并且节约成本。

刀片服务器FlexFabric网卡与VC FlexFabric模块配合使用，每个Port可以虚拟化成4个FlexNIC网卡或者3个FlexNIC和一个FCoE HBA卡或者iSCSI HBA卡，即4个PF（physical function），其中第二个PF可以为FCoE HBA卡或者iSCSI HBA卡。

S5820V2-U交换机是一款既支持FCoE协议又支持FC协议的以太网交换机。FCoE技术实现了在以太网中对FC报文的承载，使得FC SAN网络和以太网LAN网络可共享同一网络基础设施，很好的解决了不同类型网络共存所带来的问题。S5820V2系列交换机支持完整的FCoE及FC协议栈，所有的下行SFP+端口均可以切换为FCoE端口，与支持FCoE接口的存储设施直接互通。部分款型的下行SFP+端口还可以切换为FC端口与FC SAN互通，实现FC SAN网络与以太网络的完全融合，大大简化了整网基础设施。

VC双跳FCoE是通过SUS（Shareuplink Set）实现的，FCoE流量承载于某一VLAN中，该VLAN数据上行到FCF交换机后，映射到某个固定的VSAN。关于FCF交换机上VLAN与VSAN的映射请参考交换机配置手册。

本例中使用的是FC存储，故需要S5820V2-U交换机部分接口切换成FC接口与存储互联，以太网接口与VC上联口相连。

2.2  VC内部流量介绍

本例中VC FlexFabric模块与刀片服务器FlexFabric网卡配合使用，可以将FlexFabric网卡的一个Port虚拟化成4个PF，本例中使用了前三个PF，其中第二个PF虚拟化为FCoE HBA。

每个Port的第一个PF承载管理vlan的流量，即vlan1，该vlan为native vlan，对应上层交换机上的PVID。

每个Port的第二个PF承载FCoE存储流量，VC1上对应VLAN100（VSAN100），VC2上对应VLAN200（VSAN200）。

每个Port的第三个PF承载服务器（CAS平台）的业务数据流，对应VLAN2-50。

服务器管理网卡和业务网卡绑定至相应的vswitch，聚合模式根据实际情况可以设置为静态负载均衡或者主备模式。

VC1对应的S5820V2端口配置为trunk口，允许VLAN1-50、100通过，PVID为1。

VC2对应的S5820V2端口配置为trunk口，允许VLAN1-50、200通过，PVID为1。

3.1  VC配置步骤

本例中两个VC模块采用Active-Active模式配置。

定义VC1的SUS策略SUS_VC1

Vlan1为native vlan，作为管理vlan，创建相应的vNet，开启Native vlan，开启smart link

Vlan2-50为业务vlan，创建相应的vNet，开启smart link

Vlan100为FCoE vlan，创建相应的FCoE vNet

SUS_VC1指定VC1 的X1口为上行口

 

 

定义VC2的SUS策略SUS_VC2

Vlan1为native vlan，作为管理vlan，创建相应的vNet，开启Native vlan，开启smart link

Vlan2-50为业务vlan，创建相应的vNet，开启smart link

Vlan100为FCoE vlan，创建相应的FCoE vNet

SUS_VC2指定VC2 的X1口为上行口

截图省略。

配置server profile，下发给B390

在新增加server profile时，默认会生成一个FlexNIC（PF1）和FCoE HBA卡（PF2），本例中还需要再增加一个FlexNIC，即PF3，增加后如下图所示

对两个port的第一个PF都绑定各自VC对应SUS中的VLAN1，并设置为untagged。

对两个port的第二个PF都绑定各自VC对应SUS的FCoE VLAN策略

对两个port的第三个PF，绑定各自VC对应的SUS中vlan2-50的策略

3.2  S5820V2-U交换机配置

(1)     开启高级模式

# 配置设备工作模式为高级模式。

<H3C> system-view

[H3C] system-working-mode advance

Do you want to change the system working mode? [Y/N]:y

The system working mode is changed, please save the configuration and reboot the system to make it effective.

# 保存配置

[H3C] save

The current configuration will be written to the device. Are you sure? [Y/N]:y

Please input the file name(*.cfg)[flash:/startup.cfg]

(To leave the existing filename unchanged, press the enter key):

Validating file. Please wait...

Saved the current configuration to mainboard device successfully.

[H3C] quit

# 重启设备

<H3C> reboot

Start to check configuration with next startup configuration file, please wait.........DONE!

This command will reboot the device. Continue? [Y/N]:y

（2）VLAN和接口部署

#创建vlan1、vlan2-50、vlan100、200，分别承载管理数据、CAS平台业务数据和存储数据。

vlan 1

vlan 2 to 50

vlan 100

 fcoe enable vsan 100

vlan 200

 fcoe enable vsan 200

ip address 192.168.11.170 255.255.255.0

#配置以太网接口Ten-GigabitEthernet1/0/17为Trunk接口，允许VLAN 1-50的以太网数据报文Tag标签通过，允许VLAN 100的存储数据报文带Tag标签通过，设置接口的PVID为VLAN 1。

interface Ten-GigabitEthernet1/0/17

 port link-mode bridge

 port link-type trunk

 port trunk permit vlan 1 to 50 100

#配置以太网接口Ten-GigabitEthernet1/0/18为Trunk接口，允许VLAN 1-50的以太网数据报文Tag标签通过，允许VLAN 200的存储数据报文带Tag标签通过，设置接口的PVID为VLAN 1。

interface Ten-GigabitEthernet1/0/18

 port link-mode bridge

 port link-type trunk

 port trunk permit vlan 1 to 50 200

(3)     DCBX部署

# 全局开启LLDP功能。

[H3C] lldp global enable

# 创建编号为4000的二层ACL，并为其创建规则来匹配FCoE报文（协议号为0x8906）和FIP报文（协议号为0x8914）。

[H3C] acl number 4000 name DCBX

[H3C-acl-ethernetframe-4000] rule 0 permit type 8906 ffff

[H3C-acl-ethernetframe-4000] rule 5 permit type 8914 ffff

[H3C-acl-ethernetframe-4000] quit

# 定义名为DCBX的类，其下各规则间的关系为逻辑或，并定义其匹配ACL 4000。

[H3C] traffic classifier DCBX operator or

[H3C-classifier-DCBX] if-match acl 4000

[H3C-classifier-DCBX] quit

# 定义名为DCBX的流行为，并配置标记报文的802.1p优先级为3。

[H3C] traffic behavior DCBX

[H3C-behavior-DCBX] remark dot1p 3

[H3C-behavior-DCBX] quit

# 定义名为DCBX的QoS策略，为类DCBX指定采用的流行为是DCBX，并指定该策略为DCBX模式。

[H3C] qos policy DCBX

[H3C-qospolicy-DCBX] classifier DCBX behavior DCBX mode dcbx

[H3C-qospolicy-DCBX] quit

# 在以太网接口Ten-GigabitEthernet1/0/17上开启LLDP功能，并允许该接口发送LLDP报文时携带DCBX TLV字段。

[H3C] interface ten-gigabitethernet 1/0/17

[H3C-Ten-GigabitEthernet1/0/17] lldp enable

[H3C-Ten-GigabitEthernet1/0/17] lldp tlv-enable dot1-tlv dcbx

# 在以太网接口Ten-GigabitEthernet1/0/17的出方向上应用QoS策略。

[H3C-Ten-GigabitEthernet1/0/17] qos apply policy DCBX outbound

# 在以太网接口Ten-GigabitEthernet1/0/18上开启LLDP功能，并允许该接口发送LLDP报文时携带DCBX TLV字段。

[H3C] interface ten-gigabitethernet 1/0/18

[H3C-Ten-GigabitEthernet1/0/18] lldp enable

[H3C-Ten-GigabitEthernet1/0/18] lldp tlv-enable dot1-tlv dcbx

# 在以太网接口Ten-GigabitEthernet1/0/17的出方向上应用QoS策略。

[H3C-Ten-GigabitEthernet1/0/18] qos apply policy DCBX outbound

(4)     PFC部署

# 在以太网接口Ten-GigabitEthernet1/0/17上配置与服务器自动协商是否开启PFC功能，且设置对802.1p优先级3开启PFC功能，并配置信任报文自带的802.1p优先级。

[H3C-Ten-GigabitEthernet1/0/17] priority-flow-control auto

[H3C-Ten-GigabitEthernet1/0/17] priority-flow-control no-drop dot1p 3

[H3C-Ten-GigabitEthernet1/0/17] qos trust dot1p

 

[H3C-Ten-GigabitEthernet1/0/17] quit

# 在以太网接口Ten-GigabitEthernet1/0/18上配置与服务器自动协商是否开启PFC功能，且设置对802.1p优先级3开启PFC功能，并配置信任报文自带的802.1p优先级。

[H3C-Ten-GigabitEthernet1/0/18] priority-flow-control auto

[H3C-Ten-GigabitEthernet1/0/18] priority-flow-control no-drop dot1p 3

[H3C-Ten-GigabitEthernet1/0/18] qos trust dot1p

[H3C-Ten-GigabitEthernet1/0/18] quit

(5)     ETS部署

# 配置802.1p优先级到本地优先级的映射，将802.1p优先级3映射到本地优先级1，配置其它的802.1p优先级映射到本地优先级0。

[H3C] qos map-table dot1p-lp

[H3C-maptbl-dot1p-lp] import 3 export 1

[H3C-maptbl-dot1p-lp] import 0 export 0

[H3C-maptbl-dot1p-lp] import 1 export 0

[H3C-maptbl-dot1p-lp] import 2 export 0

[H3C-maptbl-dot1p-lp] import 4 export 0

[H3C-maptbl-dot1p-lp] import 5 export 0

[H3C-maptbl-dot1p-lp] import 6 export 0

[H3C-maptbl-dot1p-lp] import 7 export 0

[H3C-maptbl-dot1p-lp] quit

# 在以太网接口Ten-GigabitEthernet1/0/17上开启并配置WRR队列，使FCoE流量和普通LAN流量各占50％带宽。

[H3C] interface ten-gigabitethernet 1/0/17

[H3C-Ten-GigabitEthernet1/0/17] qos wrr byte-count

[H3C-Ten-GigabitEthernet1/0/17] qos wrr af1 group 1 byte-count 1

[H3C-Ten-GigabitEthernet1/0/17] qos wrr be group 1 byte-count 1

# 在以太网接口Ten-GigabitEthernet1/0/17上配置其它的队列为SP调度方式。

[H3C-Ten-GigabitEthernet1/0/17] qos wrr af2 group sp

[H3C-Ten-GigabitEthernet1/0/17] qos wrr af3 group sp

[H3C-Ten-GigabitEthernet1/0/17] qos wrr af4 group sp

[H3C-Ten-GigabitEthernet1/0/17] qos wrr ef group sp

[H3C-Ten-GigabitEthernet1/0/17] qos wrr cs6 group sp

[H3C-Ten-GigabitEthernet1/0/17] qos wrr cs7 group sp

[H3C-Ten-GigabitEthernet1/0/17] quit

# 在以太网接口Ten-GigabitEthernet1/0/18上开启并配置WRR队列，使FCoE流量和普通LAN流量各占50％带宽。

[H3C] interface ten-gigabitethernet 1/0/18

[H3C-Ten-GigabitEthernet1/0/18] qos wrr byte-count

[H3C-Ten-GigabitEthernet1/0/18] qos wrr af1 group 1 byte-count 1

[H3C-Ten-GigabitEthernet1/0/18] qos wrr be group 1 byte-count 1

# 在以太网接口Ten-GigabitEthernet1/0/18上配置其它的队列为SP调度方式。

[H3C-Ten-GigabitEthernet1/0/18] qos wrr af2 group sp

[H3C-Ten-GigabitEthernet1/0/18] qos wrr af3 group sp

[H3C-Ten-GigabitEthernet1/0/18] qos wrr af4 group sp

[H3C-Ten-GigabitEthernet1/0/18] qos wrr ef group sp

[H3C-Ten-GigabitEthernet1/0/18] qos wrr cs6 group sp

[H3C-Ten-GigabitEthernet1/0/18] qos wrr cs7 group sp

[H3C-Ten-GigabitEthernet1/0/18] quit

(6)     FCoE部署

# 配置FCoE模式为FCF模式，进入VSAN 100、200的视图，开启Fabric配置功能。

[H3C] fcoe-mode fcf

[H3C] vsan 100

[H3C-vsan100] domain configure enable

[H3C] vsan 100

[H3C-vsan100] domain configure enable

# 创建VFC1接口，配置VFC1接口工作在F模式，将VFC1接口绑定到以太网接口Ten-GigabitEthernet1/0/17上，并将VFC1接口以Trunk方式加入VSAN 100，即允许VSAN 100的报文通过VFC1接口。

[H3C] interface vfc 1

[H3C-Vfc1] fc mode f

[H3C-Vfc1] bind interface ten-gigabitethernet 1/0/17

[H3C-Vfc1] port trunk vsan 100

[H3C-Vfc1] quit

#创建VFC1接口，配置VFC2接口工作在F模式，将VFC2接口绑定到以太网接口Ten-GigabitEthernet1/0/18上，并将VFC2接口以Trunk方式加入VSAN 200，即允许VSAN 200的报文通过VFC2接口。

[H3C] interface vfc 2

[H3C-Vfc1] fc mode f

[H3C-Vfc1] bind interface ten-gigabitethernet 1/0/18

[H3C-Vfc1] port trunk vsan 200

[H3C-Vfc1] quit

# 开启VLAN 100的FCoE功能，并将其与VSAN 100进行映射。

[H3C] vlan 100

[H3C-vlan4001] fcoe enable vsan 100

[H3C-vlan4001] quit

# 开启VLAN 200的FCoE功能，并将其与VSAN 200进行映射。

[H3C] vlan 200

[H3C-vlan4001] fcoe enable vsan 200

[H3C-vlan4001] quit

# 进入VSAN 100的视图，配置允许默认Zone内的成员互相访问。

[H3C] vsan 10

[H3C-vsan100] zone default-zone permit

[H3C-vsan100] quit

[H3C] interface vfc 10

# 进入VSAN 200的视图，配置允许默认Zone内的成员互相访问。

[H3C] vsan 200

[H3C-vsan100] zone default-zone permit

[H3C-vsan100] quit

# 将以太网接口Ten-GigabitEthernet1/0/1切换为FC接口FC1/0/1，并配置FC1/0/1为F模式和自协商速率。

[H3C] interface ten-gigabitethernet 1/0/1

[H3C-Ten-GigabitEthernet1/0/1] port-type fc

[H3C-Fc1/0/1] fc mode f

[H3C-Fc1/0/1] speed auto

# 将以太网接口Ten-GigabitEthernet1/0/2切换为FC接口FC1/0/2，并配置FC1/0/2为F模式和自协商速率。

[H3C] interface ten-gigabitethernet 1/0/2

[H3C-Ten-GigabitEthernet1/0/2] port-type fc

[H3C-Fc1/0/2] fc mode f

[H3C-Fc1/0/2] speed auto

#将FC1/0/1和FC1/0/2分别接入vsan100和vsan200，并设置信任dot1p。

[H3C]interface Fc1/0/1

[H3C-Fc1/0/1]port access vsan 100

[H3C-Fc1/0/1]qos trust dot1p

[H3C]interface Fc1/0/2

[H3C-Fc1/0/2]port access vsan 200

[H3C-Fc1/0/2]qos trust dot1p

#             

 ip route-static 0.0.0.0 0 192.168.11.254

更多FCoE配置请参考S5820V2配置手册。

 

3.3  3PAR FC存储配置

S5820V2交换机配置好后，将VC和存储都连接到交换机上，正常情况下可以看到FC都注册成功。

[H3C]dis fc login

Interface VSAN FCID     Node WWN                Port WWN

Fc1/0/1   100  0x010000 2f:f7:00:02:ac:00:6b:74 21:11:00:02:ac:00:6b:74

Vfc1      100  0x010001 20:00:fc:15:b4:1d:b7:c9 10:00:fc:15:b4:1d:b7:c9

Fc1/0/2   200  0x010000 2f:f7:00:02:ac:00:6b:74 20:11:00:02:ac:00:6b:74

Vfc2      200  0x010001 20:00:fc:15:b4:1d:b7:cd 10:00:fc:15:b4:1d:b7:cd

3PAR存储控制台上可以看到两个FC口都为Ready状态，并且可以看到对应的WWN号。

此处不详细介绍3PAR开局的基本配置

创建VV给服务器挂载使用，Name为CVK1-lun1，大小为4T

 

创建host ，选择对应的wwn号

 

Export VV ，映射VV给对应的host

 

 

3.4  CAS平台配置

登陆CAS平台，增加主机池、集群，添加主机。查看主机下面FC HBA卡设置，可以看到主机扫描到的存储的WWN号，则证明FC链路已联通。

主机池添加共享文件系统。

 

主机增加存储池

开启多路径

格式化存储池

查看存储池状态正常

后台查看多路径，两条路径均为active状态。

Vswitch配置省略，具体请参考CAS开局指导书。

刀片服务器必须使用FlexFabric网卡

VC FlexFabric模块版本为4.01及以上

S5820V2-U交换机需要注册FCoE license

在进行配置时，需要先配置好VC后，然后安装系统。安装好系统，并配置好交换机的FCoE功能后，刀片服务器的FCoE HBA卡才能成功向交换机进行注册。