某局点 S6850 下挂虚机迁移后丢包问题

两台Leaf建立EVPN隧道。  

1、本地leaf-1下的虚机10.182.96.10在1口2口之间迁移测试，持续ping另一台leaf-2下的虚机会出现10秒左右的丢包。流统看，是对端leaf回程报文丢包了。

2、在丢包的时候查看路由，对端leaf有十多秒都没有学习到10.182.96.10的主机路由，而本端leaf下的arp是能够及时刷新的。

本端leaf下的arp能够及时迁移

[18:58:44]IP address      MAC address    VLAN/VSI name Interface                Aging Type

[18:58:44]10.182.96.10    0050-56a2-7a92 SDN_VSI_10296 WGE2/0/1                 950   D  

[18:58:45][YDSZ18X-J07J08-ESXI-S6850IRF]dis arp 10.182.96.10

[18:58:45]  Type: S-Static   D-Dynamic   O-Openflow   R-Rule   M-Multiport  I-Invalid

[18:58:45]IP address      MAC address    VLAN/VSI name Interface                Aging Type

[18:58:46][YDSZ18X-J07J08-ESXI-S6850IRF]dis arp 10.182.96.10

[18:58:46]  Type: S-Static   D-Dynamic   O-Openflow   R-Rule   M-Multiport  I-Invalid

[18:58:46]IP address      MAC address    VLAN/VSI name Interface                Aging Type

[18:58:46]10.182.96.10    0050-56a2-7a92 SDN_VSI_10296 WGE2/0/3                 1199  D   

对端leaf的主机路由十来秒都没有刷新。（repeat执行命令，每隔1秒）

[YDSZ18X-I07I08-ESXI-S6850IRF]dis ip routing-table vpn-instance J07J08 10.182.96.10 32

Summary count : 1

Destination/Mask   Proto   Pre Cost        NextHop         Interface

10.182.96.10/32    BGP     255 0           10.182.7.30     Vsi20030

[YDSZ18X-I07I08-ESXI-S6850IRF]dis ip routing-table vpn-instance J07J08 10.182.96.10 32

[YDSZ18X-I07I08-ESXI-S6850IRF]dis ip routing-table vpn-instance J07J08 10.182.96.10 32

[YDSZ18X-I07I08-ESXI-S6850IRF]dis ip routing-table vpn-instance J07J08 10.182.96.10 32

[YDSZ18X-I07I08-ESXI-S6850IRF]dis ip routing-table vpn-instance J07J08 10.182.96.10 32

[YDSZ18X-I07I08-ESXI-S6850IRF]dis ip routing-table vpn-instance J07J08 10.182.96.10 32

[YDSZ18X-I07I08-ESXI-S6850IRF]dis ip routing-table vpn-instance J07J08 10.182.96.10 32

[YDSZ18X-I07I08-ESXI-S6850IRF]dis ip routing-table vpn-instance J07J08 10.182.96.10 32

[YDSZ18X-I07I08-ESXI-S6850IRF]dis ip routing-table vpn-instance J07J08 10.182.96.10 32

[YDSZ18X-I07I08-ESXI-S6850IRF]dis ip routing-table vpn-instance J07J08 10.182.96.10 32

[YDSZ18X-I07I08-ESXI-S6850IRF]dis ip routing-table vpn-instance J07J08 10.182.96.10 32

[YDSZ18X-I07I08-ESXI-S6850IRF]dis ip routing-table vpn-instance J07J08 10.182.96.10 32

[YDSZ18X-I07I08-ESXI-S6850IRF]dis ip routing-table vpn-instance J07J08 10.182.96.10 32

Summary count : 1

Destination/Mask   Proto   Pre Cost        NextHop         Interface

10.182.96.10/32    BGP     255 0           10.182.7.30     Vsi20030

1、对于虚机迁移，涉及同一条主机路由的更新，而现场Leaf、Spine建立的都是IBGP邻居，所以向IBGP对等体发布同一路由的时间间隔为15秒

配置向指定IPv6 BGP对等体/对等体组发布同一路由的时间间隔。 

peer { group-name | ipv6-address [ prefix-length ] | link-local-address interface interface-type interface-number } route-update-interval interval 

缺省情况下，向IBGP对等体发布同一路由的时间间隔为15秒，向EBGP对等体发布同一路由的时间间隔为30秒。 

2、受限于上面的限制，导致Leaf-1在虚机迁移15秒后才会给远端发送更新的路由，因此丢包。

3、现场将时间间隔改成0（立即发送）后测试不丢包。

4、单现场反馈，并非所有虚机测试都丢包，也有迁移过程中远端leaf能一直学习到主机路由的。

1、 虚机迁移时，arp出端口更新，这时会给BGP进程通知两个消息，一个delete，一个add；

2、 理论上来说，BGP收到delete和add后，就会向外发送withdrew和update路由变化消息。这两个消息之间需要间隔15秒（IBGP）才能发出，所以会引起丢包；

3、 但是当前设备的处理机制是，收到arp通知的delete时，BGP需要将主机路由添加一个d标记，然后进行路由的删除，并向外发送withdrew。现场的情况是打上d标记后，立即收到了add消息，将d标记删除，最后不对主机路由进行更新。所以不丢包；

4、 从现场此次收集的debug信息看，从打上d标记到删除主机路由，至少需要160ms的时间，如果在160ms内收到了add消息，那么就不会触发BGP发送withdrew和update路由变化。

如下两个过程，从处理完标记到后续的处理完成之间间隔160ms。

*Nov 24 16:12:52:843 2021 YDSZ18X-I07I08-ESXI-S6850IRF BGP/7/DEBUG:

 RECV L2vpn Evpn MAC Rt   : ADD                                                                           ---------------------------------brib’线程接收到bgpvc发来add消息，此时删除delete标记，通知calc线程优选（由于该路由还在优选链上，实际本次不通知）

        ESI          : 0000.0000.0000.0000.0000

        RD           : 1:10292

        EthernetTagID: 0

        MAC address  : 0050-56a2-b3db

        IP address   : 10.182.92.10

        MPLS label1  : 10292

        MPLS label2  : 20028

        EncapTypeSet : 100

        IRTPassL3Cnt : 1

        FirstVrfIndex: 2

        Router's MAC : 743a-2053-b368

*Nov 24 16:12:53:003 2021 YDSZ18X-I07I08-ESXI-S6850IRF BGP/7/DEBUG:

 CALC process result:                                                                                              ---------------------------------calc线程处理优选，此处只处理一次，由于路由无变化，brib线程不通知发送路由信息。

        RouteType    : MAC/IP advertisement route

        RD           : 1:10292

        ESI          : 0000.0000.0000.0000.0000

        EthernetTagID: 0

        MAC address  : 0050-56a2-b3db

        IP address   : 10.182.92.10/32

        MPLS label1  : 10292

        MPLS label2  : 20028

        InstKey      : L2VPN-EVPN/0

        First Rt     : 0x7fe0e535af00

        Active Rt    : 0x7fe0e535af00

        Table        : 0x7fe0eb2d2670

        Flag         : 0x4001

5、对于设备最终是否能够向外发出withdrew和update路由变化，一方面受arp迁移上报delete和add的时间影响，另一方面受BGP读取和处理这两个消息的快慢影响。

6、对于客户现场的情况，丢包和不丢都是正常的现象，如果要保证不丢包，还是需要修改route-update-interval