某局点S12500交换机多块业务单板状态为off问题排查经验案例

客户现网有两台独立的S12508设备，一台设备一块接口板状态为off，另一台设备两块状态为off。主控板上该接口板状态指示灯亮红灯。两个机框三块接口板重新插拔后，单板注册正常，状态变为正常的normal。

在诊断信息中的display device信息，看到单板状态为off。

SW1：

==========================================================

  ===============display device verbose===============

==========================================================

Slot No.   Brd Type        Brd Status   Software Version

 0         LST1MRPNC1      Master       S12500-CMW520-R1825P01

 1         LST1MRPNC1      Slave        S12500-CMW520-R1825P01

 2         LST1XP16LEC1    Normal       S12500-CMW520-R1825P01

 3         LST1XP16LEC1    Normal       S12500-CMW520-R1825P01

 4         NONE            Off          NONE

 5         LST1GP48LEC1    Normal       S12500-CMW520-R1825P01

 6         NONE            Absent       NONE

 7         NONE            Absent       NONE

 8         LST1GT48LEC1    Normal       S12500-CMW520-R1825P01

 9         LST1GT48LEC1    Normal       S12500-CMW520-R1825P01

 10        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 11        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 12        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 13        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 14        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 15        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 16        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 17        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 18        LST2SF08C1      Normal       S12500-CMW520-R1825P01

SW2：

==========================================================

  ===============display device verbose===============

==========================================================

Slot No.   Brd Type        Brd Status   Software Version

 0         LST1MRPNC1      Slave        S12500-CMW520-R1825P01

 1         LST1MRPNC1      Master       S12500-CMW520-R1825P01

 2         LST1XP16LEC1    Normal       S12500-CMW520-R1825P01

 3         LST1XP16LEC1    Normal       S12500-CMW520-R1825P01

 4         NONE            Off          NONE

 5         LST1GP48LEC1    Normal       S12500-CMW520-R1825P01

 6         NONE            Absent       NONE

 7         NONE            Absent       NONE

 8         LST1GT48LEC1    Normal       S12500-CMW520-R1825P01

 9         NONE            Off          NONE

 10        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 11        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 12        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 13        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 14        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 15        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 16        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 17        LST2SF08C1      Normal       S12500-CMW520-R1825P01

 18        LST2SF08C1      Normal       S12500-CMW520-R1825P01

1、从单板状态为off状态看，首先怀疑单板故障原因为接口板二次电源故障，导致接口板无法正常供电。如单板二次电源故障，可以在设备的诊断信息中看到，该单板三次主动上电后下电的信息记录。如下所示（0槽位为设备主用主控板，3槽位为状态off的单板）：

======================================================================

  ===============Display devd board event of Slot 0===============

======================================================================

Slot  Flag  OldState  NewState SeqId    Date       Time

---------------------------------------------------------------

 3   Power PowerOn ->PowerOff 3a1e5    2015/09/25 12:40:37:746

 3   Power PowerOn ->PowerOn  3a159    2015/09/25 12:38:16:383

 3   Power PowerOn ->PowerOn  3a109    2015/09/25 12:36:55:575

 3   Power PowerOn ->PowerOn  3a0f5    2015/09/25 12:36:35:342

 3   Power WaitOn  ->PowerOn  3a0d8    2015/09/25 12:36:06:361

但现网的两台设备诊断信息中均未发现上述信息记录， SW1和SW2该信息的记录如下：

SW1：

======================================================================

  ===============Display devd board event of Slot 0===============

======================================================================

Slot  Flag  OldState  NewState SeqId    Date       Time

---------------------------------------------------------------

 4   Reg   Normal  ->CfgOver  1967f9d  2017/04/28 11:03:30:713

 4   Reg   SyncFin ->Normal   1967f94  2017/04/28 11:03:22:743

 4   Reg   RespOk  ->SyncFin  1967f93  2017/04/28 11:03:22:608

 4   Reg   RegFin  ->RespOk   1967f92  2017/04/28 11:03:22:404

 4   Reg   NotReg  ->RegFin   1967f91  2017/04/28 11:03:22:403

 4   Power WaitOn  ->PowerOn  1967f56  2017/04/28 11:02:22:499

 4   Exist Absent  ->Exist    1967f56  2017/04/28 11:02:22:465

 4   Reg   Absent  ->NotReg   1967f55  2017/04/28 11:02:22:464

 4   Power Absent  ->WaitOn   1967f55  2017/04/28 11:02:22:453

 4   Power PowerOff->Absent   1967f0e  2017/04/28 11:01:11:470

 4   Reg   NotReg  ->Absent   1967f0d  2017/04/28 11:01:11:469

 4   Exist Exist   ->Absent   1967f0d  2017/04/28 11:01:11:468

 4   Reg   Absent  ->NotReg   40000056 2015/12/16 02:21:23:025

 4   Exist Absent  ->Exist    0        2015/12/15 18:23:04:234

 4   Reg   Absent  ->NotReg   40000055 2014/11/17 17:04:37:738

 4   Exist Absent  ->Exist    0        2014/11/17 17:03:20:231

 4   Reg   Absent  ->NotReg   40000056 2014/04/24 17:35:31:064

 4   Exist Absent  ->Exist    0        2014/04/24 17:34:25:231

 4   Reg   CfgOver ->NotReg   3f3673   2014/02/17 06:32:39:928

 4   Power PowerOn ->PowerOff 3f3673   2014/02/17 06:32:39:925   //off时间点

SW2：

======================================================================

  ===============Display devd board event of Slot 1===============

======================================================================

Slot  Flag  OldState  NewState SeqId    Date       Time

---------------------------------------------------------------

 4   Reg   Normal  ->CfgOver  41967748 2017/04/28 10:11:06:708

 4   Reg   SyncFin ->Normal   41967739 2017/04/28 10:10:52:425

 4   Reg   RespOk  ->SyncFin  41967737 2017/04/28 10:10:52:277

 4   Reg   RegFin  ->RespOk   41967736 2017/04/28 10:10:52:068

 4   Reg   NotReg  ->RegFin   41967735 2017/04/28 10:10:52:067

 4   Power WaitOn  ->PowerOn  419676f9 2017/04/28 10:09:52:188

 4   Exist Absent  ->Exist    419676f9 2017/04/28 10:09:52:157

 4   Reg   Absent  ->NotReg   419676f8 2017/04/28 10:09:52:156

 4   Power Absent  ->WaitOn   419676f8 2017/04/28 10:09:52:146

 4   Power PowerOff->Absent   419676ce 2017/04/28 10:09:09:470

 4   Reg   NotReg  ->Absent   419676cd 2017/04/28 10:09:09:469

 4   Exist Exist   ->Absent   419676cd 2017/04/28 10:09:09:468

 4   Reg   Absent  ->NotReg   69       2015/12/16 02:16:41:516

 4   Exist Absent  ->Exist    0        2015/12/15 18:16:57:230

 4   Reg   Absent  ->NotReg   6a       2014/11/17 16:50:52:980

 4   Exist Absent  ->Exist    0        2014/11/17 16:48:49:219

 4   Reg   Absent  ->NotReg   69       2014/04/24 17:51:14:659

 4   Exist Absent  ->Exist    0        2014/04/24 17:49:49:220

 4   Reg   CfgOver ->NotReg   403f4c0e 2014/02/17 06:29:04:997

 4   Power PowerOn ->PowerOff 403f4c0e 2014/02/17 06:29:04:994 //off时间点

 9   Reg   SyncFin ->Normal   419677b3 2017/04/28 10:12:50:503

 9   Reg   RespOk  ->SyncFin  419677b2 2017/04/28 10:12:50:360

 9   Reg   RegFin  ->RespOk   419677b1 2017/04/28 10:12:50:144

 9   Reg   NotReg  ->RegFin   419677b0 2017/04/28 10:12:50:143

 9   Power WaitOn  ->PowerOn  41967775 2017/04/28 10:11:50:379

 9   Exist Absent  ->Exist    41967774 2017/04/28 10:11:50:346

 9   Reg   Absent  ->NotReg   41967773 2017/04/28 10:11:50:345

 9   Power Absent  ->WaitOn   41967773 2017/04/28 10:11:49:832

 9   Power PowerOff->Absent   4196772e 2017/04/28 10:10:45:059

 9   Reg   NotReg  ->Absent   4196772d 2017/04/28 10:10:45:058

 9   Exist Exist   ->Absent   4196772d 2017/04/28 10:10:45:057

 9   Reg   Absent  ->NotReg   69       2015/12/16 02:16:41:516

 9   Exist Absent  ->Exist    0        2015/12/15 18:16:57:230

 9   Reg   Absent  ->NotReg   6a       2014/11/17 16:50:52:980

 9   Exist Absent  ->Exist    0        2014/11/17 16:48:49:219

 9   Reg   Absent  ->NotReg   69       2014/04/24 17:51:14:659

 9   Exist Absent  ->Exist    0        2014/04/24 17:49:49:220

 9   Reg   CfgOver ->NotReg   403f4c16 2014/02/17 06:29:12:306

 9   Power PowerOn ->PowerOff 403f4c16 2014/02/17 06:29:12:303     //off时间点

通过该信息判断，排除接口板二次电源故障可能性。

2、单板状态为off还有一种可能，由于工程师手工执行power-supply off slot X关闭单板电源导致。从上述诊断信息内容可以看到，三块单板power off的时间基本一致，为2014年2月17日06:29至06:33之间。三块单板直至2017年4月28日10:10分和11点02分左右经过现场工作人员插拔单板恢复上电。在两个时间点之间单板未主动尝试过上电。分析判断有工程师在2014年2月17日执行命令人为对单板下电导致问题。需收集设备的logfile信息分析进一步确认。

在SW1的logfile信息中可以看到故障时间点曾有工程师console登录执行power-supply off命令关闭slot4槽位电源。

%Feb  17 06:32:39:785 2014 SW1 SHELL/6/SHELL_CMD: -Task=co0-IPAddr=**-User=**; Command is power-supply off slot 4

%Feb  17 06:32:42:511 2014 SW1 DEVM/2/BOARD_STATE_FAULT: Board state changes to FAULT on Chassis 0 Slot 4, type is LST1XP16LEC1.

%Feb  17 06:32:42:612 2037 SW6 DEVD/2/BRD ON_OFF:  User powered off board chassis 0 slot 4!

同样查看SW2的logfile信息，也发现相同的现象。

%Feb  17 06:29:03:871 2014 SW2 SHELL/6/SHELL_CMD: -Task=co0-IPAddr=**-User=**; Command is power-supply off slot 4

%Feb  17 06:29:05:301 2014 SW2 DEVM/2/BOARD_STATE_FAULT: Board state changes to FAULT on Chassis 0 Slot 4, type is LST1XP16LEC1.

%Feb  17 06:29:05:402 2014 SW2 DEVD/2/BRD ON_OFF:  User powered off board chassis 0 slot 4!

%Feb  17 06:29:11:319 2014 SW2 SHELL/6/SHELL_CMD: -Task=co0-IPAddr=**-User=**; Command is power-supply off slot 9

%Feb  17 06:29:14:179 2014 SW2 DEVM/2/BOARD_STATE_FAULT: Board state changes to FAULT on Chassis 0 Slot 5, type is LST1GT48LEC1.

%Feb  17 06:29:14:280 2014 SW2 DEVD/2/BRD ON_OFF:  User powered off board chassis 0 slot 9!

从上述日志信息可以确认，两台设备单板off状态原因为人为执行命令手工下电导致，单板无硬件故障。

1、可通过手动拔插单板，单板重新上电注册恢复；

2、可通过在用户试图下执行命令：power-supply on slot X恢复；