M-LAG+分布式EVPN网关典型配置案例

1)两台Leaf配置M-LAG跨设备链路聚合协议，与服务器采用LACP动态聚合对接。 

2)Underlay网络采用OSPF协议，进程号为1，打通设备间loopback口互联。 

3)五台设备使用Loopback口建立EVPN邻居，AS号为65100，两台Spine作为RR反射器反射Leaf与Border间的路由。 

4)两台Leaf运行M-LAG跨设备链路聚合，并使用LACP协议与Server对接。 

5)Server里面包含两个虚拟机VM1、VM2，分别属于VLAN10、VLAN20，Leaf连接Server接口配置VLAN-VXLAN映射关系，将VLAN10映射到VXLAN10，VLAN20映射到VXLAN20，并配置相应的VSI以及VSI网关接口，两个VSI网关接口均属于VPN实例vpn1。

6)出口路由器R1与Border建立EBGP邻居，R1属于AS65200，R1给Border下发默认路由。

1. 交换机系统工作模式切换

本案例涉及S5560X-EI系列交换机，运行EVPN-VXLAN组网需要将系统工作模式切换至VXLAN模式。

关键配置为：

1）将5560X-EI系列交换机的系统工作模式切换至VXLAN模式，保存配置并重启生效。

switch-mode 1

#

save

reboot

2. M-LAG配置

本案例在Leaf1与Leaf2上部署M-LAG，采用直连模式peer-link链路，与Server跨设备链路聚合。

关键配置为：

1）在Leaf1以及Leaf2上部署M-LAG系统配置以及keepalive配置，将与Spine互联接口设置成MAD down接口，其他接口为MAD保留接口，并配置延迟恢复时间大于等于300秒。

 m-lag system-mac 8888-8888-8888

 m-lag system-number 1

 m-lag system-priority 10

 m-lag keepalive ip destination 172.16.1.2 source 172.16.1.1  #Leaf1

 m-lag keepalive ip destination 172.16.1.1 source 172.16.1.2  #Leaf2

 m-lag restore-delay 300

 m-lag mad default-action none

 m-lag mad include interface GigabitEthernet1/0/20

 m-lag mad include interface GigabitEthernet1/0/21

2）在Leaf1以及Leaf2上部署动态聚合口100，成员接口为G1/0/17以及G1/0/18，并将该聚合口配置为peer-link接口，trunk permit所有VLAN，并将PVID设置为4094，同时关闭该接口报文入接口与静态MAC地址表项匹配检查功能。

*注：建议将peer-link接口的PVID配置为4094。否则，如果设备配置了通过VXLAN ID映射方式生成peer-link链路上动态AC的报文匹配规则（l2vpn m-lag peer-link ac-match-rule vxlan-mapping命令），可能会出现计算出的AC的报文匹配规则外层VLAN标签为peer-link接口的PVID，影响VLAN Tag为VXLAN ID%4094+1（VXLAN ID除以4094，取余后加1）的Underlay流量转发。

interface Bridge-Aggregation200

 link-aggregation mode dynamic

#

interface GigabitEthernet1/0/17

 port link-aggregation group 100

#

interface GigabitEthernet1/0/18

 port link-aggregation group 100

#

interface Bridge-Aggregation100

 port link-type trunk

 port trunk permit vlan all

 port trunk pvid vlan 4094

 link-aggregation mode dynamic

 port m-lag peer-link 1

 undo mac-address static source-check enable

3）在Leaf1以及Leaf2上部署动态聚合口1，成员接口为G1/0/22，并将该聚合口加入M-LAG组1，与Server动态聚合对接。

interface Bridge-Aggregation1

 link-aggregation mode dynamic

#

interface GigabitEthernet1/0/22

 port link-aggregation group 1

#

interface Bridge-Aggregation1

 port m-lag group 1

3. Underlay网络配置

本案例Underlay网络采用OSPF协议，进程号为1，打通设备间loopback口互联，并使用Loopback口建立EVPN邻居，AS号为65100，两台Spine作为RR反射器反射Leaf与Border间的路由。

*注：为优化收敛效果，所有设备配置设备在重启期间，OSPF路由器作为Stub路由器，超时时间为900秒

关键配置为：

1）Leaf1、Leaf2的OSPF配置

ospf 1

 non-stop-routing

 stub-router include-stub on-startup 900

 area 0.0.0.0

#

interface LoopBack0

 ospf 1 area 0.0.0.0

#

interface GigabitEthernet1/0/20

 ospf network-type p2p

 ospf 1 area 0.0.0.0

#

interface GigabitEthernet1/0/21

 ospf network-type p2p

 ospf 1 area 0.0.0.0

2）Spine1、Spine2的OSPF配置

ospf 1

 non-stop-routing

 stub-router include-stub on-startup 900

 area 0.0.0.0

#

interface LoopBack0

 ospf 1 area 0.0.0.0

#

interface GigabitEthernet1/0/17

 ospf network-type p2p

 ospf 1 area 0.0.0.0

#

interface GigabitEthernet1/0/18

 ospf network-type p2p

 ospf 1 area 0.0.0.0

#

interface GigabitEthernet1/0/19

 ospf network-type p2p

 ospf 1 area 0.0.0.0

3）Border的OSPF配置

ospf 1

 non-stop-routing

 stub-router include-stub on-startup 900

 area 0.0.0.0

#

interface LoopBack0

 ospf 1 area 0.0.0.0

#

interface GigabitEthernet1/0/17

 ospf network-type p2p

 ospf 1 area 0.0.0.0

#

interface GigabitEthernet1/0/18

 ospf network-type p2p

 ospf 1 area 0.0.0.0

4）在Leaf1、Leaf2上使能L2VPN，关闭VXLAN隧道的MAC、ARP、ND学习，并指定M-LAG组网下EVPN的虚拟IP地址以及EVPN的全局MAC地址。

*注1：Leaf 1和Leaf 2通过peer-link链路建立VXLAN隧道时，在Leaf 1和Leaf 2上隧道的源IP地址均为虚拟IP地址、目的IP地址均为本地Leaf的实际IP地址。单挂服务器的流量通过peer-link链路上的VXLAN隧道从一台M-LAG设备（如Leaf 1）发往另一台M-LAG设备（如Leaf 2）时，由于在Leaf 2上不存在对应的VXLAN隧道而无法解封装。此时需要在Leaf 2上配置vxlan default-decapsulation source interface loopback0，这样Leaf 2就可以解封装该报文，实现单挂服务器的互通。

*注2：M-LAG主备设备上，peer-link上动态AC的报文匹配规则方案必须相同。本实验采用VXLAN ID映射方式生成peer-link上动态AC的报文匹配规则，配置命令：l2vpn m-lag peer-link ac-match-rule vxlan-mapping。缺省情况下，在用户侧接口上创建以太网服务实例、配置报文匹配规则并关联VSI后，VTEP会在peer-link上自动创建具有相同报文匹配规则、关联相同VSI的AC。在这种情况下，如果不同用户侧接口上AC的报文匹配规则相同，却关联了不同的VSI，则会导致peer-link上动态创建的AC之间发生冲突。此命令用来解决上述问题。

 l2vpn enable

 l2vpn m-lag peer-link ac-match-rule vxlan-mapping

 vxlan default-decapsulation source interface LoopBack0

 vxlan tunnel mac-learning disable

 vxlan tunnel arp-learning disable

 vxlan tunnel nd-learning disable

 evpn m-lag group 10.10.10.10

 evpn global-mac 0001-0001-0001

5）在Border上使能L2VPN，关闭VXLAN隧道的mac、arp、nd学习。

 l2vpn enable

 vxlan tunnel mac-learning disable

 vxlan tunnel arp-learning disable

 vxlan tunnel nd-learning disable

6）Spine1、Spine2的EVPN邻居配置。

bgp 65100

 non-stop-routing

 group evpn internal

 peer evpn connect-interface LoopBack0

 peer 3.3.3.3 group evpn

 peer 4.4.4.4 group evpn

 peer 5.5.5.5 group evpn

 #

 address-family l2vpn evpn

  undo policy vpn-target

  peer evpn enable

  peer evpn reflect-client

7）Leaf1、Leaf2与Spine建立EVPN邻居配置。

*注：建议配置nexthop evpn-m-lag group-address，在未配置nexthop evpn-m-lag group-address时，如果OSPF发布LoopBack 0实地址，在peer-link链路故障恢复或者M-LAG设备重启完成时，存在流量绕行和流量收敛两次问题。配置后远端Leaf/Border仅与组成M-LAG系统的VTEP（该VTEP称为M-LAG VTEP）的虚地址（Loopback 1的地址）建立隧道，不与实地址（Loopback 0的地址）建立隧道。

流量绕行：在peer-link链路故障恢复或者M-LAG设备重启完成时，peer-link链路先UP，这样就造成用于东西向转发的VLAN接口UP，从而故障Leaf与远端VTEP的隧道提前UP，远端到故障Leaf下行流量会提前引流过来，通过peer-link链路转发给正常的Leaf设备，造成流量绕行。

流量二次收敛：第一次在peer-link链路恢复时，第二次在M-LAG MAD DOWN状态解除之后。

bgp 65100

 non-stop-routing

 peer 1.1.1.1 as-number 65100

 peer 1.1.1.1 connect-interface LoopBack0

 peer 2.2.2.2 as-number 65100

 peer 2.2.2.2 connect-interface LoopBack0

 #

 address-family l2vpn evpn

  nexthop evpn-m-lag group-address

  peer 1.1.1.1 enable

  peer 2.2.2.2 enable

8）Leaf1、Leaf2相互建立EVPN邻居配置，由于在步骤7配置了nexthop evpn-m-lag group-address后发布路由下一跳变成了虚地址，导致Leaf1、Leaf2之间无法建立VXLAN隧道，因此在M-LAG Leaf上通过路由策略将发布给同一M-LAG系统中另一台M-LAG Leaf的BGP EVPN路由下一跳修改为本地M-LAG Leaf的实地址（Loopback 0的地址）。这样既能保证远端VTEP/Border与M-LAG Leaf的虚拟地址建立隧道，又保证了属于同一M-LAG系统的M-LAG Leaf间采用实地址建立隧道。

route-policy evpn permit node 10

 if-match route-type bgp-evpn-ip-prefix

 apply ip-address next-hop 3.3.3.3           #Leaf1

 apply ip-address next-hop 4.4.4.4           #Leaf2

#

route-policy evpn deny node 20

#

bgp 65100

 peer 4.4.4.4 as-number 65100                 #Leaf1

 peer 4.4.4.4 connect-interface LoopBack0   #Leaf1

 peer 3.3.3.3 as-number 65100                 #Leaf2

 peer 3.3.3.3 connect-interface LoopBack0   #Leaf2

 #

 address-family l2vpn evpn

  peer 4.4.4.4 enable                           #Leaf1

  peer 4.4.4.4 route-policy evpn export     #Leaf1

  peer 3.3.3.3 enable                           #Leaf2

  peer 3.3.3.3 route-policy evpn export     #Leaf2

9）Border与Spine建立EVPN邻居配置

bgp 65100

 non-stop-routing

 peer 1.1.1.1 as-number 65100

 peer 1.1.1.1 connect-interface LoopBack0

 peer 2.2.2.2 as-number 65100

 peer 2.2.2.2 connect-interface LoopBack0

 #

 address-family l2vpn evpn

  peer 1.1.1.1 enable

  peer 2.2.2.2 enable

4. Overlay网络配置

本案例有两个VXLAN网络，分别是VXLAN10以及VXLAN20，VM1属于VXLAN10，VM2属于VXLAN20，两个VXLAN网络网关均属于VPN实例vpn1。

关键配置为：

1）Leaf1、Leaf2、Border上配置VPN实例，并将RD、RT均规划为1:100

ip vpn-instance vpn1

 route-distinguisher 1:100

 #

 address-family ipv4

  vpn-target 1:100 import-extcommunity

  vpn-target 1:100 export-extcommunity

 #

 address-family ipv6

  vpn-target 1:100 import-extcommunity

  vpn-target 1:100 export-extcommunity

 #

 address-family evpn

  vpn-target 1:100 import-extcommunity

  vpn-target 1:100 export-extcommunity

2）Leaf1、Leaf2、Border上配置vpn1实例的L3 VNI

interface Vsi-interface100

 ip binding vpn-instance vpn1

 l3-vni 100

3）Leaf1、Leaf2上配置业务VXLAN的VSI以及VSI网关。

interface Vsi-interface10

 ip binding vpn-instance vpn1

 ip address 10.10.1.1 255.255.255.0

 mac-address 0000-0000-0001

 local-proxy-arp enable 

 distributed-gateway local

#

interface Vsi-interface20

 ip binding vpn-instance vpn1

 ip address 10.10.2.1 255.255.255.0

 mac-address 0000-0000-0002

 local-proxy-arp enable 

 distributed-gateway local

#

vsi vxlan10

 gateway vsi-interface 10

 vxlan 10

 evpn encapsulation vxlan

  route-distinguisher auto

  vpn-target auto export-extcommunity

  vpn-target auto import-extcommunity

#

vsi vxlan20

 gateway vsi-interface 20

 vxlan 20

 evpn encapsulation vxlan

  route-distinguisher auto

  vpn-target auto export-extcommunity

  vpn-target auto import-extcommunity

3）Leaf1、Leaf2在与连接Server的接口配置VLAN、VXLAN映射

interface Bridge-Aggregation1

 port link-type trunk

 undo port trunk permit vlan 1

 port trunk permit vlan 10 20

 #

 service-instance 10

  encapsulation s-vid 10

  xconnect vsi vxlan10

 #

 service-instance 20

  encapsulation s-vid 20

  xconnect vsi vxlan20

5、EBGP邻居配置

本案例R1与Border之间建立EBGP邻居，R1向Border下发默认路由。

关键配置为：

1）R1上配置BGP

bgp 65200

 non-stop-routing

 peer 10.1.0.25 as-number 65100

 #

 address-family ipv4 unicast

  peer 10.1.0.25 enable

  peer 10.1.0.25 default-route-advertise

2）Border上配置BGP

bgp 65100

 ip vpn-instance vpn1

  peer 10.1.0.26 as-number 65200

  #

  address-family ipv4 unicast

   peer 10.1.0.26 enable