H3C S7506E交换机聚合接口Hash不均导致本地镜像流量丢包问题

现场两台S7506E交换机部署IRF2，用户将BAGG1接口出方向的流量通过本地镜像方式，镜像给BAGG905接口对端的抓包服务器。用户发现抓包服务器上获取到的流量，小于BAGG1接口出方向的实际转发流量大小。

其中两台S7506E交换机IRF-Port配置如下：

 
#
irf-port 1/2
 port group mdc 1 interface Ten-GigabitEthernet1/3/0/9 mode enhanced
 port group mdc 1 interface Ten-GigabitEthernet1/3/0/10 mode enhanced
 port group mdc 1 interface Ten-GigabitEthernet1/4/0/9 mode enhanced
 port group mdc 1 interface Ten-GigabitEthernet1/4/0/10 mode enhanced
#
irf-port 2/1
 port group mdc 1 interface Ten-GigabitEthernet2/3/0/9 mode enhanced
 port group mdc 1 interface Ten-GigabitEthernet2/3/0/10 mode enhanced
 port group mdc 1 interface Ten-GigabitEthernet2/4/0/9 mode enhanced
 port group mdc 1 interface Ten-GigabitEthernet2/4/0/10 mode enhanced
#

聚合BAGG1成员接口如下：

 
Aggregate Interface: Bridge-Aggregation1
Aggregation Mode: Dynamic
Loadsharing Type: Shar
Management VLAN : None
System ID: 0x8000, 84d9-3130-ee00
Local: 
  Port             Status  Priority Oper-Key  Flag
--------------------------------------------------------------------------------
  XGE1/6/0/1       S       32768    5         {ACDEF}
  XGE1/6/0/8       S       32768    5         {ACDEF}
  XGE2/6/0/1       S       32768    5         {ACDEF}
  XGE2/6/0/8       S       32768    5         {ACDEF}

聚合BAGG905成员接口如下：

 
Aggregate Interface: Bridge-Aggregation905
Aggregation Mode: Static
Loadsharing Type: Shar
Management VLAN : None
  Port             Status  Priority Oper-Key
--------------------------------------------------------------------------------
  XGE1/5/0/2       S       32768    18        
  XGE1/5/0/3       S       32768    18              
  XGE2/5/0/2       S       32768    18        
  XGE2/5/0/3       S       32768    18         

检查用户部署的本地镜像策略，确认策略为正常的Active状态：

 
<S7506E>display mirroring-group all
......
Mirroring group 2:
    Type: Local
    Status: Active
    Mirroring port:
        Ten-GigabitEthernet1/6/0/1  Outbound
        Ten-GigabitEthernet1/6/0/8  Outbound
        Ten-GigabitEthernet2/6/0/1  Outbound
        Ten-GigabitEthernet2/6/0/8  Outbound
    Monitor port: Bridge-Aggregation905

检查镜像目的端口Bridge-Aggregation905成员接口（1/5/0/2、1/5/0/3、2/5/0/2、2/5/0/3）的流量，未达到100%：

 
<S7506E>display interface TEN1/5/0/2
Ten-GigabitEthernet1/5/0/2
Current state: UP
......
 Line protocol state: UP Last 300 second input: 0 packets/sec 0 bytes/sec 0%
 Last 300 second output: 587800 packets/sec 724690969 bytes/sec 58%
......
<S7506E>display interface TEN1/5/0/3
Ten-GigabitEthernet1/5/0/3
Current state: UP
......
 Last 300 second input: 0 packets/sec 0 bytes/sec 0%
 Last 300 second output: 587645 packets/sec 724225378 bytes/sec 58%
......
<S7506E>display interface TEN2/5/0/2
Ten-GigabitEthernet2/5/0/2
Current state: UP
......
 Last 300 second input: 0 packets/sec 0 bytes/sec 0%
 Last 300 second output: 607529 packets/sec 752315763 bytes/sec 61%
......
<S7506E>display interface TEN2/5/0/3
Ten-GigabitEthernet2/5/0/3
Current state: UP
......
 Last 300 second input: 0 packets/sec 0 bytes/sec 0%
 Last 300 second output: 579696 packets/sec 712348281 bytes/sec 57%
......

检查S7506E设备IRF-Port成员端口的流量，发现部分端口的流量存在100%使用率的情况：

 
<S7506E>display interface TEN1/3/0/9
Ten-GigabitEthernet1/3/0/9
Current state: UP
......
 Last 300 second input: 1618795 packets/sec 1235262497 bytes/sec 100%
 Last 300 second output: 459266 packets/sec 134246126 bytes/sec 11%
......
<S7506E>display interface TEN2/3/0/9
Ten-GigabitEthernet2/3/0/9
Current state: UP
......
 Last 300 second input: 459401 packets/sec 134114273 bytes/sec 11%
 Last 300 second output: 1618127 packets/sec 1235300491 bytes/sec 100%
......
<S7506E>display interface TEN1/4/0/9
Ten-GigabitEthernet1/4/0/9
Current state: UP
......
 Last 300 second input: 359485 packets/sec 107139875 bytes/sec 9%
 Last 300 second output: 1731459 packets/sec 1234373143 bytes/sec 100%
......
<S7506E>display interface TEN2/4/0/9
Ten-GigabitEthernet2/4/0/9
Current state: UP
...... 
 Last 300 second input: 1731166 packets/sec 1234401555 bytes/sec 100%
 Last 300 second output: 359515 packets/sec 107253580 bytes/sec 9%

到此为止，怀疑被镜像丢弃的流量，是由于镜像目的端口为BAGG905时，其成员接口分部在两个机框中，部分流量经过IRF-Port转发，但IRF-Port部分成员物理接口使用率已达到100%，因此导致镜像的流量在跨框传递时被丢弃。

检查S7506E交换机聚合成员接口HASH机制发现：

1、当流量查找IRF交换机转发表项转发时，缺省采用本地转发的模式（link-aggregation load-sharing mode local-first 缺省使能），及当1框接口收到流量后，若1框接口存在下一跳转发接口时，设备优先从1框接口转发；

2、在IRF交换机镜像目的端口为聚合接口时，无论聚合成员端口是否在同一个机框中，均按照聚合HASH方式转发，及不按照本地转发方式。当聚合物理成员接口在不同机框时，存在跨框HASH转发的情况。

通过检查S7506E聚合口HASH方式，确认造成镜像流量缺失的原因，就是由于镜像的目的端口BAGG905，其成员端口分部在两个S7506E的机框上，当流量在BAGG905成员接口之间HASH时，部分流量通过IRF-Port转发。但是IRF-Port物理端口带宽已被占满（100%），因此导致报文丢弃。

在了解确认了聚合口HASH转发机制后，在IRF S7506E上调整聚合成员接口，让聚合成员接口不要分布在不同的机框。同时增加镜像组数量，确保镜像源端口和镜像目的端口属于同一个机框中，避免流量跨框转发。

XGE1/5/0/2、XGE1/5/0/3仍然保留在BAGG905中：

 
#
interface Bridge-Aggregation905
 port link-type trunk
 undo port trunk permit vlan 1
 mirroring-group 2 monitor-port
#
interface Ten-GigabitEthernet1/5/0/2
 port link-mode bridge
 port link-type trunk
 undo port trunk permit vlan 1
 port link-aggregation group 905
#
interface Ten-GigabitEthernet1/5/0/3
 port link-mode bridge
 port link-type trunk
 undo port trunk permit vlan 1
 port link-aggregation group 905
#

将XGE2/5/0/2、XGE2/5/0/3加入到BAGG906中：

 
#
interface Bridge-Aggregation906
 port link-type trunk
 undo port trunk permit vlan 1
 mirroring-group 3 monitor-port
#
interface Ten-GigabitEthernet2/5/0/2
 port link-mode bridge
 port link-type trunk
 undo port trunk permit vlan 1
 port link-aggregation group 906
#
interface Ten-GigabitEthernet2/5/0/3
 port link-mode bridge
 port link-type trunk
 undo port trunk permit vlan 1
 port link-aggregation group 906
#

在本地镜像组2中，将XGE1/6/0/1和XGE1/6/0/8作为镜像源端口，BAGG905作为镜像目的端口：

 
<S7506E>display mirroring-group all
......
Mirroring group 2:
    Type: Local
    Status: Active
    Mirroring port:
        Ten-GigabitEthernet1/6/0/1  Outbound
        Ten-GigabitEthernet1/6/0/8  Outbound
    Monitor port: Bridge-Aggregation905 //BAGG905成员接口为XGE1/5/0/2和XGE1/5/0/3，镜像流量不会送到2框

在本地镜像组3中，将XGE2/6/0/1和XGE2/6/0/8作为镜像源端口，BAGG906作为镜像目的端口

 
<S7506E>display mirroring-group all
......
Mirroring group 3:
    Type: Local
    Status: Active
    Mirroring port:
        Ten-GigabitEthernet2/6/0/1  Outbound
        Ten-GigabitEthernet2/6/0/8  Outbound
    Monitor port: Bridge-Aggregation906 //BAGG906成员接口为XGE2/5/0/2和XGE2/5/0/3，镜像流量不会送到1框

1、当流量查找IRF交换机转发表项转发时，缺省采用本地转发的模式（link-aggregation load-sharing mode local-first 缺省使能），及当1框接口收到流量后，若1框接口存在下一跳转发接口时，设备优先从1框接口转发；

2、在IRF交换机镜像目的端口为聚合接口时，无论聚合成员端口是否在同一个机框中，均按照聚合HASH方式转发，及不按照本地转发方式。若聚合物理成员接口分布在不同机框时，则存在跨框HASH转发的情况。