AD Campus 分布式VXlan网关部署下出现部分客户端Ping网关丢包问题

不涉及

现场采用AD Campus分布式网关部署方案组网，S12508X-AF角色为spine、向下直联S5560X-30C-EI（堆叠）角色为leaf，网络中存在哑终端Ping 网关地址出现丢包问题、但是在同一网段下的电脑ping 网关不丢包、哑终端与电脑互Ping不丢包。

1、首先判断哑终端Ping报文是否到达了网关？

因为采用了Vxlan分布式网关的结构VSI网关接口位于leaf设备，在leaf设备上开启debug ip icmp发现电脑ping网关可以被debug到，但是哑终端ping网关没有被debug到，怀疑哑终端ping报文没有达到设备。

使用电脑Ping网关返回的debug信息：

ICMP Input:

ICMP Packet: src = 10.14.198.100, dst = 10.14.198.254

              type = 8, code = 0 (echo)

*Mar 18 18:34:03:860 2013 DQJ-JR-4F-R SOCKET/7/ICMP:

ICMP Output:

ICMP Packet: src = 10.14.198.254, dst = 10.14.198.100

              type = 0, code = 0 (echo-reply)

2、通过流量统计确认哑终端报文是否到达设备？

acl advanced 3900

rule 0 permit icmp source 10.14.198.2 0 destination 10.14.198.254 0

#

acl advanced 3901

rule 0 permit icmp source 10.14.198.254 0 destination 10.14.198.2 0

#

traffic classifier classifier_1 operator and

if-match acl 3900

#

traffic classifier classifier_2 operator and

if-match acl 3901

#

traffic behavior behavior_1

accounting packet

#

traffic behavior behavior_2

accounting packet

#

qos policy policy_in

classifier classifier_1 behavior behavior_1

#

qos policy policy_out

classifier classifier_2 behavior behavior_2

发现连接哑终端接口有收包但是没有发包，确认哑终端报文已上送至设备。

[DQJ-JR-4F-R]dis qos policy interface GigabitEthernet 2/0/16

Interface: GigabitEthernet2/0/16

  Direction: Inbound

  Policy: policy_in

   Classifier: classifier_1

     Operator: AND

     Rule(s) :

      If-match acl 3900

     Behavior: behavior_1

      Accounting enable:

        10 (Packets)

Interface: GigabitEthernet2/0/16

  Direction: Outbound

  Policy: policy_out

   Classifier: classifier_2

     Operator: AND

     Rule(s) :

      If-match acl 3901

     Behavior: behavior_2

      Accounting enable:

        0 (Packets)

3、在leaf设备上的MAC信息及ARP信息：

[H3C]dis l2vpn mac-address | include 3099

1865-717e-3099 Mac-auth vsi3523                         GE2/0/16        NotAging

[H3C]dis arp | include 10.14.198.

IP address            MAC address               VID        Interface/Link ID        Aging Type

10.14.198.2     1865-717e-3099 25         1                                                  584   D           \\哑终端

10.14.198.100   6045-cb2b-de04 25      0                                                 1196  D           \\电脑

看到哑终端和电脑所携带的VSI ID不同，进一步在哑终端抓包确认数据：

从抓包内容看设备Ping 10.14.198.2时，源MAC地址为0000-0000-0198，但是回应的目的MAC地址却是ac74-09ba-4e01？  

反查leaf设备vsi 3523接口MAC地址，发现发起MAC地址为0000-0000-0198没有问题，但是客户端回应MAC地址为spine设备vsi接口的MAC地址。

interface Vsi-interface3523

ip binding vpn-instance vpn-default

ip address 10.14.198.254 255.255.255.0

mac-address 0000-0000-0198

local-proxy-arp enable 

查看Spine设备vsi 3523接口MAC地址：

[H3C-S12508X-AF]dis int vsi 3523

Vsi-interface3523

Current state: UP

Line protocol state: UP

Description: Vsi-interface3523 Interface

Bandwidth: 1000000 kbps

Maximum transmission unit: 1500

Internet address: 10.14.198.254/24 (primary)

IP packet frame type: Ethernet II, hardware address: ac74-09ba-4e01

至此问题可以判断应该是哑终端学习到了Spine设备的arp导致的丢包，那么为什么网关分布式部署情况下会出现arp学习错误问题呢？

此时注意到在DR2000上看到下发Spine配置出现错误，于是手动下发配置至Spine。

[H3C-Vsi-interface3523]mac-address 0000-0000-0198

Not enough resources to complete the operation.    \\提示资源不足

查询设备日志后发现根因，原因就是设备只能支持VSI接口最大配置16个MAC地址：

%Jul 16 19:06:38:569 2019 H3C DRVPLAT/3/VxlanErr: vsi-intf mac support only 8 for F-series module or 16 for H-series module.

现场设备刚好已经配置了16个MAC地址，所有导致了VSI接口没有足够资源配置MAC地址。

[H3C]dis cu | in mac-address

irf mac-address persistent always

mac-address 0000-0000-0182

mac-address 0000-0000-0200

mac-address 0000-0000-0204

mac-address 0000-0000-0183

mac-address 0000-0000-0184

mac-address 0000-0000-0185

mac-address 0000-0000-0186

mac-address 0000-0000-0187

mac-address 0000-0000-0188

mac-address 0000-0000-0189

mac-address 0000-0000-0193

mac-address 0000-0000-0190

mac-address 0000-0000-0191

mac-address 0000-0000-0192

mac-address 0000-0000-0001

mac-address 0000-0000-1424

分布式网关场景下一般VSI接口MAC地址只需要配置相同即可，现场设备无特殊应用环境需要MAC地址不同，因此手动修改Vsi-interface3524接口MAC地址后问题解决。

1、修改Spine设备上配置VSI接口MAC为0000-0000-0001。

interface Vsi-interface3523

ip binding vpn-instance vpn-default

ip address 10.14.198.254 255.255.255.0

mac-address 0000-0000-0001

local-proxy-arp enable 

distributed-gateway local

2、修改leaf设备上MAC地址为0000-0000-0001。

interface Vsi-interface3523

ip binding vpn-instance vpn-default

ip address 10.14.198.254 255.255.255.0

mac-address 0000-0000-0001

local-proxy-arp enable 

需要注意：

DR2000 AD Campus方案中二层网络域无法直接修改MAC，只能删除重新创建再下发。