Print

S12508X-AF使用HB板卡配置32个VRRP组之后某些vrrp虚地址ping不通

2019-05-05发表

组网及说明

S12508X-AF使用HB板卡配置32个VRRP组之后某些vrrp虚地址ping不通

问题描述

部分VRRP虚地址ping不通,在PC上或者在备机带源都不通,PC上关于不通的虚地址的ARP是正常的。

主机

[IDC-HXXT-JR12508-S1]dis device 

Slot Type                State    Subslot  Soft Ver             Patch Ver

0    LSXM1SUPB1          Master   0        S12508X-AF-2713      None    

1    LSXM1SUPB1          Standby  0        S12508X-AF-2713      None    

2    LSXM1TGS48HB1       Normal   0        S12508X-AF-2713      None    //业务板卡

3    LSXM1CGQ6QGHB1      Normal   0        S12508X-AF-2713      None    //40G接口板卡 聚合端口使用

4    NONE                Absent   0        NONE                 None    

5    NONE                Absent   0        NONE                 None    

6    NONE                Absent   0        NONE                 None    

7    NONE                Absent   0        NONE                 None    

8    NONE                Absent   0        NONE                 None    

9    NONE                Absent   0        NONE                 None    

10   LSXM1SFH08C1        Normal   0        S12508X-AF-2713      None    

11   LSXM1SFH08C1        Normal   0        S12508X-AF-2713      None    

12   LSXM1SFH08C1        Normal   0        S12508X-AF-2713      None    

13   LSXM1SFH08C1        Normal   0        S12508X-AF-2713      None    

14   LSXM1SFH08C1        Normal   0        S12508X-AF-2713      None    

15   NONE                Absent   0        NONE                 None    

[IDC-HXXT-JR12508-S1] 

 

备机

[IDC-HXXT-JR12508-S2]dis device

Slot Type                State    Subslot  Soft Ver             Patch Ver

0    LSXM1SUPB1          Master   0        S12508X-AF-2713      None    

1    LSXM1SUPB1          Standby  0        S12508X-AF-2713      None    

2    LSXM1TGS48HB1       Normal   0        S12508X-AF-2713      None    //业务板卡

3    LSXM1CGQ6QGHB1      Normal   0        S12508X-AF-2713      None    //40G接口板卡 --聚合端口使用

4    NONE                Absent   0        NONE                 None    

5    NONE                Absent   0        NONE                 None    

6    NONE                Absent   0        NONE                 None    

7    NONE                Absent   0        NONE                 None    

8    NONE                Absent   0        NONE                 None    

9    NONE                Absent   0        NONE                 None    

10   LSXM1SFH08C1        Normal   0        S12508X-AF-2713      None    

11   LSXM1SFH08C1        Normal   0        S12508X-AF-2713      None    

12   LSXM1SFH08C1        Normal   0        S12508X-AF-2713      None    

13   LSXM1SFH08C1        Normal   0        S12508X-AF-2713      None    

14   LSXM1SFH08C1        Normal   0        S12508X-AF-2713      None    

15   NONE                Absent   0        NONE                 None    

[IDC-HXXT-JR12508-S2] 

 

 

测试.

[IDC-HXXT-JR12508-S2] ping -a 12.1.1.253 12.1.1.254

Ping 12.1.1.254 (12.1.1.254) from 12.1.1.253: 56 data bytes, press CTRL_C to break

56 bytes from 12.1.1.254: icmp_seq=0 ttl=255 time=1.304 ms

56 bytes from 12.1.1.254: icmp_seq=1 ttl=255 time=1.005 ms

56 bytes from 12.1.1.254: icmp_seq=2 ttl=255 time=0.985 ms

56 bytes from 12.1.1.254: icmp_seq=3 ttl=255 time=0.926 ms

56 bytes from 12.1.1.254: icmp_seq=4 ttl=255 time=1.028 ms

 

--- Ping statistics for 12.1.1.254 ---

5 packet(s) transmitted, 5 packet(s) received, 0.0% packet loss

round-trip min/avg/max/std-dev = 0.926/1.050/1.304/0.132 ms

 

//正常的主机.S2上面通过实地址可以ping通虚地址

 

[IDC-HXXT-JR12508-S2] ping -a 12.1.120.253 12.1.120.254

Ping 12.1.120.254 (12.1.120.254) from 12.1.120.253: 56 data bytes, press CTRL_C to break

Request time out

Request time out

Request time out

Request time out

Request time out

 

--- Ping statistics for 12.1.120.254 ---

5 packet(s) transmitted, 0 packet(s) received, 100.0% packet loss

[IDC-HXXT-JR12508-S2]

//异常的主机 在S2上面通过实地址不能ping通虚地址.

 

 

刚才客户做了测试,

MasterS1上时.

 

---------------------------正常的网段----------------------------

 Vlan701            1     Master       105     100     None     12.1.1.254      

 Vlan702            2     Master       105     100     None     12.1.2.254      

 Vlan705            5     Master       105     100     None     12.1.5.254      

 Vlan707            7     Master       105     100     None     12.1.7.254      

 Vlan714            14    Master       105     100     None     12.1.14.254

     

 Vlan715            15    Master       105     100     None     12.1.15.254 

 Vlan716            16    Master       105     100     None     12.1.16.254     

 Vlan717            17    Master       105     100     None     12.1.17.254     

 Vlan718            18    Master       105     100     None     12.1.18.254   

 Vlan719            19    Master       105     100     None     12.1.19.254

     

 Vlan720            20    Master       105     100     None     12.1.20.254    

 Vlan721            21    Master       105     100     None     12.1.21.254     

 Vlan722            22    Master       105     100     None     12.1.22.254  

 Vlan724            24    Master       105     100     None     12.1.24.254     

 Vlan725            25    Master       105     100     None     12.1.25.254 

    

 Vlan726            26    Master       105     100     None     12.1.26.254 

--------------------------异常的网段-------------------------------

 Vlan810            110   Master       105      100     None     12.1.110.254    

 Vlan819            119   Master       105      100     None     12.1.119.254    

 Vlan820            120   Master       105      100     None     12.1.120.254 

 Vlan719            19    Master       105     100     None     12.1.19.254     

 Vlan720            20    Master       105     100     None     12.1.20.254

 

 Vlan723            23    Master       105     100     None     12.1.23.254

 Vlan733            33    Master       105     100     None     12.1.33.254  

 Vlan824            124   Master       105     100     None     12.1.124.254    

 Vlan825            125   Master       105     100     None     12.1.125.254    

 Vlan826            126   Master       105     100     None     12.1.126.254

 Vlan827            127   Master       105     100     None     12.1.127.254 

 Vlan1100           100   Master       105     100     None     12.1.100.254    

 Vlan1101           101   Master       105     100     None     12.1.101.254    

 Vlan1102           102   Master       105     100     None     12.1.102.254    

 Vlan1103           103   Master       105     100     None     12.1.103.254

 Vlan1104           104   Master       105     100     None     12.1.104.254   

 Vlan1105           105   Master       105     100     None     12.1.105.254   

 

 

变更后.将下面17个网段的Master切换到备的上去之后.前面的32个均正常.

 

VLAN1105不通.

过程分析

Debug只有实地址的流量,虚地址的包都没有,

 

-------------------------------S1---------------------------------------

<IDC-HXXT-JR12508-S1>*Apr 29 14:06:09:024 2019 IDC-HXXT-JR12508-S1 IPFW/7/IPFW_PACKET: -MDC=1-Slot=3; 

Receiving, interface = Vlan-interface1105, version = 4, headlen = 20, tos = 0,

pktlen = 100, pktid = 65166, offset = 0, ttl = 255, protocol = 1,

checksum = 53706, s = 12.1.105.65, d = 12.1.105.252

prompt: Receiving IP packet.

 

*Apr 29 14:06:09:024 2019 IDC-HXXT-JR12508-S1 IPFW/7/IPFW_PACKET: -MDC=1-Slot=3; 

Delivering, interface = Vlan-interface1105, version = 4, headlen = 20, tos = 0,

pktlen = 100, pktid = 65166, offset = 0, ttl = 255, protocol = 1,

checksum = 53706, s = 12.1.105.65, d = 12.1.105.252

prompt: IP packet is delivering up.

 

*Apr 29 14:06:09:025 2019 IDC-HXXT-JR12508-S1 IPFW/7/IPFW_PACKET: -MDC=1-Slot=3; 

Delivering, interface = Vlan-interface1105, version = 4, headlen = 20, tos = 0,

pktlen = 100, pktid = 65167, offset = 0, ttl = 255, protocol = 1,

checksum = 53705, s = 12.1.105.65, d = 12.1.105.252

prompt: IP packet is delivering up.

 

*Apr 29 14:06:09:026 2019 IDC-HXXT-JR12508-S1 IPFW/7/IPFW_PACKET: -MDC=1-Slot=3; 

Delivering, interface = Vlan-interface1105, version = 4, headlen = 20, tos = 0,

pktlen = 100, pktid = 65168, offset = 0, ttl = 255, protocol = 1,

checksum = 53704, s = 12.1.105.65, d = 12.1.105.252

prompt: IP packet is delivering up.

 

*Apr 29 14:06:09:027 2019 IDC-HXXT-JR12508-S1 IPFW/7/IPFW_PACKET: -MDC=1-Slot=3; 

Delivering, interface = Vlan-interface1105, version = 4, headlen = 20, tos = 0,

pktlen = 100, pktid = 65169, offset = 0, ttl = 255, protocol = 1,

checksum = 53703, s = 12.1.105.65, d = 12.1.105.252

prompt: IP packet is delivering up.

 

*Apr 29 14:06:09:028 2019 IDC-HXXT-JR12508-S1 IPFW/7/IPFW_PACKET: -MDC=1-Slot=3; 

Delivering, interface = Vlan-interface1105, version = 4, headlen = 20, tos = 0,

pktlen = 100, pktid = 65170, offset = 0, ttl = 255, protocol = 1,

checksum = 53702, s = 12.1.105.65, d = 12.1.105.252

prompt: IP packet is delivering up.

 

 

<IDC-HXXT-JR12508-S1>

 

-----------------------------------S2-----------------------------------------------

 

<IDC-HXXT-JR12508-S2>*Apr 29 14:07:54:420 2019 IDC-HXXT-JR12508-S2 IPFW/7/IPFW_PACKET: -MDC=1-Slot=2; 

Receiving, interface = Vlan-interface1105, version = 4, headlen = 20, tos = 0,

pktlen = 100, pktid = 65171, offset = 0, ttl = 255, protocol = 1,

checksum = 53700, s = 12.1.105.65, d = 12.1.105.253

prompt: Receiving IP packet.

 

*Apr 29 14:07:54:420 2019 IDC-HXXT-JR12508-S2 IPFW/7/IPFW_PACKET: -MDC=1-Slot=2; 

Delivering, interface = Vlan-interface1105, version = 4, headlen = 20, tos = 0,

pktlen = 100, pktid = 65171, offset = 0, ttl = 255, protocol = 1,

checksum = 53700, s = 12.1.105.65, d = 12.1.105.253

prompt: IP packet is delivering up.

 

*Apr 29 14:07:54:421 2019 IDC-HXXT-JR12508-S2 IPFW/7/IPFW_PACKET: -MDC=1-Slot=2; 

Delivering, interface = Vlan-interface1105, version = 4, headlen = 20, tos = 0,

pktlen = 100, pktid = 65172, offset = 0, ttl = 255, protocol = 1,

checksum = 53699, s = 12.1.105.65, d = 12.1.105.253

prompt: IP packet is delivering up.

 

*Apr 29 14:07:54:422 2019 IDC-HXXT-JR12508-S2 IPFW/7/IPFW_PACKET: -MDC=1-Slot=2; 

Delivering, interface = Vlan-interface1105, version = 4, headlen = 20, tos = 0,

pktlen = 100, pktid = 65173, offset = 0, ttl = 255, protocol = 1,

checksum = 53698, s = 12.1.105.65, d = 12.1.105.253

prompt: IP packet is delivering up.

 

*Apr 29 14:07:54:423 2019 IDC-HXXT-JR12508-S2 IPFW/7/IPFW_PACKET: -MDC=1-Slot=2; 

Delivering, interface = Vlan-interface1105, version = 4, headlen = 20, tos = 0,

pktlen = 100, pktid = 65174, offset = 0, ttl = 255, protocol = 1,

checksum = 53697, s = 12.1.105.65, d = 12.1.105.253

prompt: IP packet is delivering up.

 

*Apr 29 14:07:54:423 2019 IDC-HXXT-JR12508-S2 IPFW/7/IPFW_PACKET: -MDC=1-Slot=2; 

Delivering, interface = Vlan-interface1105, version = 4, headlen = 20, tos = 0,

pktlen = 100, pktid = 65175, offset = 0, ttl = 255, protocol = 1,

checksum = 53696, s = 12.1.105.65, d = 12.1.105.253

prompt: IP packet is delivering up. 

PING 12.1.105.254的数据包完全收不到. 

目前12.1.105.254 的网关在S2

<IDC-HXXT-JR12508-S2>dis vrrp interface Vlan-interface 1105

IPv4 Virtual Router Information:  

 Running mode : Standard

 Total number of virtual routers on interface Vlan-interface1105 : 1

 Interface          VRID  State        Running Adver   Auth     Virtual

                                       Pri     Timer   Type        IP

 ---------------------------------------------------------------------

 Vlan1105           105   Master       100     100     None     12.1.105.254    

<IDC-HXXT-JR12508-S2>



解决方法

问题原因:

产品芯片硬件限制,HB的板卡对于VRID单设备只支持16个,所以会出现开始单台设备只能正常使用的16VRID不同的VRRP组,此外,这种情况日志里也会报虚MAC下发失败的日志

 

%Apr 29 14:33:12:855 2019 IDC-HXXT-JR12508-S1 VRRP/3/VRRP_VMAC_INEFFECTIVE: -Slot=3;

The IPv4 virtual router 105 (configured on Vlan-interface1105) failed to add virtual MAC.

%Apr 29 14:33:13:445 2019 IDC-HXXT-JR12508-S1 VRRP/3/VRRP_VMAC_INEFFECTIVE: -Slot=2;

The IPv4 virtual router 105 (configured on Vlan-interface1105) failed to add virtual MAC.

Vlan 1105以及以后其他的vlan之后再配置vrrp组的时候,请采用现在已经用了的VRID另外如果是ipv4\ipv6共存的情况,vrid规格是折半的