某局点SecPath M9008-S 堆叠设备重启后板卡状态异常故障排查

该问题不涉及组网，现场两台M9008-S设备做IRF

       现场将两台M9008S设备升级至官网最新版本，升级后，两台设备均正常，防火墙板卡指示灯显示绿色，display device manuinfo也能正常显示板卡信息和状态，然后现场将两台设备配置了堆叠使用，堆叠配置完毕后，堆叠状态正常，但是做IRF过程中，备机发生了重启后，防火墙板卡无法起来了，重新插拔后依旧。但是主框防火墙板卡正常，后来现场工程师，将主框的3槽位四代板插拔了一下，主框3槽位板卡也异常了。后续现场工程师将两台设备都掉电重启了下，后来4个板卡均未起来。现场4个四代板卡型号：NSQM2FWDFGB0。

（1）故障时，查看M9008-S设备的堆叠状态，发现设备堆叠状态是正常的。

 ===============display irf=============== 

MemberID  Slot  Role    Priority  CPU-Mac         Description

*+1      0     Master  32        00e0-fc0a-15e0  ---

   1      1     Standby 32        00e0-fc0f-8c02  ---

   2      0     Standby 1         00e0-fc0f-8c13  ---

   2      1     Standby 1         00e0-fc0f-8c14  ---

（2）下面是将主框的3槽位防火墙板卡插拔后显示的情况，此时4槽板卡状态还是正常的。

  ===============display device verbose=============== 

Chassis  Slot Type             State    Subslot  Soft Ver             Patch Ver

1        0    NSQM2MPUD0       Master   0        M9008-S-9712P20      None     

1        1    NSQM2MPUD0       Standby  0        M9008-S-9712P20      None     

1        2    NONE             Absent   0        NONE                 None     

1        3    NSQM2FWDFGB0     Fault    0        NONE                 None     

              CPU 1            Fault    0        NONE                

1        4    NSQM2FWDFGB0     Normal   0        M9008-S-9712P20      None     

              CPU 1            Normal   0        M9008-S-9712P20     

1        5    NONE             Absent   0        NONE                 None     

1        6    NONE             Absent   0        NONE                 None     

1        7    NSQM2MBFDA0      Normal   0        M9008-S-9712P20      None     

              NSQM2TG16GP40             1        NONE                

              NSQM2TG16GP40             2        NONE                

2        0    NSQM2MPUD0       Standby  0        M9008-S-9712P20      None     

2        1    NSQM2MPUD0       Standby  0        M9008-S-9712P20      None     

2        2    NONE             Absent   0        NONE                 None     

2        3    NONE             Fault    0        NONE                 None     

2        4    NONE             Fault    0        NONE                 None     

2        5    NONE             Absent   0        NONE                 None     

2        6    NONE             Absent   0        NONE                 None     

2        7    NSQM2MBFDA0      Normal   0        M9008-S-9712P20      None     

              NSQM2TG16GP40             1        NONE                

              NSQM2TG16GP40             2        NONE    

（3）设备上有如下日志记录，现场工程师插拔过单板，依旧故障：

%Oct 10 13:14:29:802 2019 H3C DEV/4/DEV_FAULT_TOOLONG: Card in chassis 2 slot 3 is still in Fault state for 60 minutes.

%Oct 10 13:14:29:802 2019 H3C DEV/4/DEV_FAULT_TOOLONG: Card in chassis 2 slot 4 is still in Fault state for 60 minutes.      

（4）后来经过和产品线工程师一同定位，让现场将板卡重启，使用console记录防火墙板卡的启动记录如下：

       现场的板卡状态非常诡异，升级完主控版本以及防火墙板卡的软件版本后，设备上的防火墙板卡状态居然开始还是能正常的，以至于开始并未怀疑到软件版本适配的问题，由于M9K系列的防火墙结构比较特殊，主控板和防火墙板卡都是使用的独立的软件版本，且防火墙板卡型号各异，使用的软件版本有略微差异，使用时很容易使用错版本文件，该问题比较诡异，也是由于用了错误的软件版本导致的。所以对于M9K系列产品，升级防火墙板卡时，一定要按照官网要求，先仔细比对版本要求，使用适配的软件版本，以免出现异常。