M9000跨框堆叠线流量不均

XXX运营商G网M9K堆叠口流量不均情况，IRF链路的负载分担模式由ingress-port改成源、目的ip方式情况还是一样。初步定位是由于堆叠口比较分散，存在即跨芯片又跨接口卡的情况，在hash的过程中同芯片上的接口流量会被hash从同芯片接口出去，同板卡流量被hash从同板块接口出去，而其他流量优先选择槽位号小的板卡出去，所以造成了堆叠口T1/1/0/1接口流量特别大。

一线反馈每天晚上堆叠口T1/1/0/1都会被打满并产生告警，客户比较关注，希望尽快解决

堆叠配置：

irf-port 1/2

port group interface Ten-GigabitEthernet1/1/0/1 mode enhanced

port group interface Ten-GigabitEthernet1/1/0/8 mode enhanced

port group interface Ten-GigabitEthernet1/2/0/1 mode enhanced

port group interface Ten-GigabitEthernet1/2/0/4 mode enhanced

port group interface Ten-GigabitEthernet1/2/0/8 mode enhanced

#

irf-port 2/1

port group interface Ten-GigabitEthernet2/1/0/1 mode enhanced

port group interface Ten-GigabitEthernet2/1/0/8 mode enhanced

port group interface Ten-GigabitEthernet2/2/0/1 mode enhanced

port group interface Ten-GigabitEthernet2/2/0/4 mode enhanced

port group interface Ten-GigabitEthernet2/2/0/8 mode enhanced

板卡信息：

Chassis  Slot Type             State    Subslot  Soft Ver             Patch Ver

1        0    NSQ1GP24TXEA0    Normal   0        M9010-9115P11        None     

1        1    NSQ1TGS8EA0      Normal   0        M9010-9115P11        None     

1        2    NSQ1TGS8EA0      Normal   0        M9010-9115P11        None      

1        3    NSQ1FWCEA0       Normal   0        M9010-9115P11        None     

              CPU 1            Normal   0        M9010-9115P11       

1        4    NSQ1SUPB0        Standby  0        M9010-9115P11        None     

1        5    NSQ1SUPB0        Standby  0        M9010-9115P11        None     

1        6    NSQ1FWCEA0       Normal   0        M9010-9115P11        None     

              CPU 1            Normal   0        M9010-9115P11       

1        7    NONE             Absent   0        NONE                 None     

1        8    NONE             Absent   0        NONE                 None     

1        9    NONE             Absent   0        NONE                 None     

1        10   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

1        11   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

1        12   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

1        13   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

2        0    NSQ1GP24TXEA0    Normal   0        M9010-9115P11        None     

2        1    NSQ1TGS8EA0      Normal   0        M9010-9115P11        None     

2        2    NSQ1TGS8EA0      Normal   0        M9010-9115P11        None     

2        3    NSQ1FWCEA0       Normal   0        M9010-9115P11        None     

              CPU 1            Normal   0        M9010-9115P11       

2        4    NSQ1SUPB0        Master   0        M9010-9115P11        None     

2        5    NSQ1SUPB0        Standby  0        M9010-9115P11        None     

2        6    NSQ1FWCEA0       Normal   0        M9010-9115P11        None     

              CPU 1            Normal   0        M9010-9115P11       

2        7    NONE             Absent   0        NONE                 None     

2        8    NONE             Absent   0        NONE                 None     

2        9    NONE             Absent   0        NONE                 None     

2        10   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

2        11   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

2        12   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

2        13   NSQ1FAB08D0      Normal   0        M9010-9115P11        None      

接口统计：

dis counters rate inbound interface Ten-GigabitEthernet 1/1/0/1

Interface               Total (pps)       Broadcast (pps)       Multicast (pps)

XGE1/1/0/1                   482339                    --                    --

Overflow: More than 14 digits.

       --: Not supported.

dis counters rate inbound interface Ten-GigabitEthernet 1/1/0/8

Interface               Total (pps)       Broadcast (pps)       Multicast (pps)

XGE1/1/0/8                   115845                    --                    --

Overflow: More than 14 digits.

       --: Not supported.

dis counters rate inbound interface Ten-GigabitEthernet 2/1/0/1

Interface               Total (pps)       Broadcast (pps)       Multicast (pps)

XGE2/1/0/1                   171068                    --                    --

Overflow: More than 14 digits.

       --: Not supported.

dis counters rate inbound interface Ten-GigabitEthernet 2/1/0/4

Interface               Total (pps)       Broadcast (pps)       Multicast (pps)

XGE2/1/0/4                   217882                    --                    --

Overflow: More than 14 digits.

       --: Not supported.

dis counters rate inbound interface Ten-GigabitEthernet 2/1/0/8

Interface               Total (pps)       Broadcast (pps)       Multicast (pps)

XGE2/1/0/8                   271881                    --                    --

对于这个问题的原因，我们把目光聚焦在2框slot1上，因为interface Ten-GigabitEthernet 1/1/0/1 这个接口input方向利用率高，是因为2/1/0/1的output方向高

对于2框slot1来说，8万兆接口板有两个芯片，这一点与其他接口板相比有点特殊（其他接口板都是同一个交换芯片处理），按照堆叠口的跨框处理原则如下

（1）本板有irf接口就会从本板的irf口发送给另一个框，对于8万兆就是同芯片的转发接口需要跨框时，就从同芯片的irf口发送

（2）如果本板没有irf口，就从其他槽位hash出一个且仅有一个槽位来发送跨框流量

2框1槽位的2-3-4三个接口的跨框流量，都会从1口发送出去

XGE2/1/0/1                   632931                    --                    --

XGE2/1/0/2                   219411                    --                    --

XGE2/1/0/3                   239511                    --                    --

XGE2/1/0/4                   215468                    --                    --

XGE2/1/0/6                   364068                    --                    --

XGE2/1/0/8                   150605                    --                    --

建议按照上面提到的原则，将1槽位的irf口放在同一个芯片上，如将1口换到5口，这样2-3-4三个接口的跨框流量都会均匀地分配到5和8两个irf口上发送出去

而且现场描述1口基本满了，且后面还有增加流量的可能，建议在1槽位增加一个irf接口，增加后变成5-7-8三个irf接口，堆叠口数量与slot2相同

牢记好堆叠跨框的转发原则，后续部署的时候尽量把堆叠口起在同一个芯片上，可以有效解决流量不均的问题