NE05&08E&16E产品PPC 750缺陷原因导致主控板异常重启的预警

NE05&08E&16E产品PPC 750缺陷原因导致主控板异常重启的预警

预警级别	重要	紧急程度	紧急	涉及产品型号	NE05/08E/16E
预警发布时间	2008-8-11
涉及版本	NE05&08E&16 全系列版本
涉及应用范围	所有局点
预防要求	学习与传递

 

【问题描述】

IBM在04年10月采用了新工艺（新的光照工具）来提高速度，导致一级CACHE出现SI（串扰）问题，属器件缺陷。该缺陷会导致单板在运行时突然重启，或者RSU单板升级到V3R2版本时，不断重启等。

该问题的影响范围包括从2004年4月至2005年12月期间生产的RTC2RSUA，RTC2RSUB，RTC2RSUC，2005年12月后IBM提供的芯片都是经过筛选的，生产的单板存在这个问题的几率很小。

查看单板生产日期方法：找到单板的条码，每一个RSU单板有三个条码，这三个条码分别是制成板条码、成品板和加载网口的MAC地址。其中制成板是以02开头，成品板是以03开头，MAC地址是以00E0开头。制成板和成品板的第8、9、10位分别代表制成板和成品板的生产日期，由于CPU是在制成板阶段贴上去的，所以制成板的生产日期更接近CPU的批次，下面以制成板的条码为例说明如何查看单板的生产日期，制成板条码的8、9位表示年份；10位（采用16进制）表示月份。例如：

单板名称可以通过看拉手条来识别，RSUA表示RTC2RSUA；RSUB表示RTC2RSUB；RSUC表示RTC2RSUC。

 

【原因】

由于CPU在运行过程中，通过CACHE来访问SDRAM和其它存储器中的数据或指令，当一级CACHE出现SI（串扰）问题时，会导致CPU访问某些内存空间时，产生数据访问错误而引起CPU复位。

【影响和风险】

主控板在V1R7版本下故障概率极低一般能够正常启动，在V3R2版本下故障较为明显，因此这个缺陷主要是在单板升级到V3R2时暴露出来，单板在升级到V3R2版本时可能造成升级失败，同时由于此缺陷的影响，正常运行的单板还存在重启的风险，如果是双主控环境，路由器发生主备倒换，影响业务的时间较短；如果是单主控环境，路由器所有的业务都会中断。

【措施和方案】

 规避措施：

无

 解决方案：

当局点的RSU单板在正常运行出现突然重启的情况时，可以看看是否此缺陷导致，方法是：先看单板的生产日期是否在2004年4月至2005年12月期间生产，如果是然后按照下面的方法检测CPU，需要注意的是为了不中断业务，对于双主控单板，如果重启过的主控板是主用板，需要先主备倒换为备用主控板，然后重启进入bootrom检测，如果重启过的主控板本身就是备用板，那么直接重启检测。（以NE05&08&16E V300R002C01B272为例）：

*********************************

*                               *

*     Extend Bootrom, V6.36     *

*                               *

*********************************

Creation date: Aug 27 2007, 09:38:04

MPU Type        : MPC750

MPU L2 Cache    : 1024KB

MPU Clock Speed : 368MHz

BUS Clock Speed : 67MHz

Memory Size     : 256MB

Memory Speed    : 66MHz

Flash Size      : 8MB

NvRam Size      : 128KB

HardDisk Size   : 20GB

SDRAM test (step 1 of 3): Data bus stuck at fault testing:

Data bus all_1 Testing...pass!

Data bus all_0 Testing...pass!

SDRAM test (step 2 of 3): Data bus testing:

Data bus walk_1 testing...pass!

Data bus walk_0 testing...pass!

SDRAM test (step 3 of 3): Address bus testing:

Address bus walk_1 testing...pass!

Address bus walk_0 testing...pass!

Now starting L2Cache test... OK!

Press Ctrl-B/Ctrl-T to enter Boot Menu/Check Memory... 7   --- Ctrl-B进入下面菜单

Boot Menu

1:  Download File

2:  Setup Bootstrap Parameter

3:  Display Bootstrap Parameter

4:  Enter Configuration Mode

5:  Modify Bootrom Password

6:  Run Application Program

7:  Setup Hardware Address

8:  Format Filesystem

9:  Setup Router Run Mode

0:  Reboot

Enter your choice(0-9): 4

1:  Set Version Startup Mode

2:  Set Config Mode

3:  Delete File In Flash

4:  Show Flash Free Space

5:  Check HardDisk

6:  Check CF Card

7:  Check 750's Cache

8:  Reboot And Go To Basic Bootrom

9:  Exit

Enter your choice(1-9): 7

Now starting 750's L1 Data CACHE test... Fail ... code_start = deadbeef ...  BAD!

Now starting 750's L2 CACHE test........ OK!

 

测试结果有两项：

Now starting 750's L1 Data CACHE test... Fail ... code_start = deadbeef ...  BAD!

Now starting 750's L2 CACHE test........ OK!

对于升级过程中反复复位的RSU单板，处理方法和上面类似，先查看单板的生产日期，如果是2004年4月至2005年12月期间生产的，然后检测L1 Cache和L2 Cache。

如果测试结果和上面一样，将单板直接返回深圳维修更换CPU；如果测试结果和上面不一样，更换单板将单板返回研发分析故障原因

建议用服在版本升级的时候，顺便进行750问题检测，检测的方法前面已经讲述了。尤其是重点局点，这个检测可以确定是否是750的缺陷。

说明：

（1）      有这类缺陷的单板在V300R002C01B160（含）以后的版本故障表现明显，表现为不断重启或者正常运行过程中突然重启。

（2）      扩展BOOTROM为6.34或者更高版本才支持对CPU的检测，如果现有版本低于6.34则需要升级到6.34或者6.34以上，补充说明中将会介绍一种升级的方法，建议升级到6.35。

（3）      由于这种对L1 Cache和L2 Cache检测存在漏测的可能，因此希望能多次检测，建议20次，每检测一次大概需要3秒钟左右。

附录一----升级主控板扩展bootrom的一种方法

（1） 重启主控板后串口打印如下信息时按Ctrl-B进入bootrom菜单

  

         *********************************

         *                               *

         *     Extend Bootrom, V6.35       *

         *                               *

         *********************************

 

Creation date: Aug 27 2007, 09:38:04

 

MPU Type        : MPC750

MPU L2 Cache    : 1024KB

MPU Clock Speed : 368MHz

BUS Clock Speed : 67MHz

Memory Size     : 1024MB

Memory Speed    : 66MHz

Flash Size      : 8MB

NvRam Size      : 128KB

HardDisk Size   : 20GB

CF Card Size    : 1024MB

 

SDRAM test (step 1 of 3): Data bus stuck at fault testing:

Data bus all_1 Testing...pass!

Data bus all_0 Testing...pass!

SDRAM test (step 2 of 3): Data bus testing:

Data bus walk_1 testing...pass!

Data bus walk_0 testing...pass!

SDRAM test (step 3 of 3): Address bus testing:

Address bus walk_1 testing...pass!

Address bus walk_0 testing...pass!

Now starting L2Cache test... OK!

 

 

Press Ctrl-B/Ctrl-T to enter Boot Menu/Check Memory... 8

（2）进入bootrom菜单后先输入2回车然后输入2回车，设置FTP参数

           Boot Menu

1:  Download File

2:  Setup Bootstrap Parameter

3:  Display Bootstrap Parameter

4:  Enter Configuration Mode

5:  Modify Bootrom Password

6:  Run Application Program

7:  Setup Hardware Address

8:  Format Filesystem

9:  Setup Router Run Mode

0:  Reboot

 

Enter your choice(0-9): 2

1:  set TFTP protocol parameter

2:  set FTP  protocol parameter

3:  set XMODEM protocol parameter

4:  set Bootstrap time delay

5:  set Bootstrap memory/CPU/L2Cache check

6:  exit set

 

Enter your choice(1-6): 2                                                                        

（3）设置FTP参数

Target IP Address : 192.168.118.119          ---------主控板加载网口的IP地址

Host IP Address   : 192.168.118.120        ----------计算机的IP地址

Load File Name    : s750oa_e_6.35.bin     ----------扩展bootrom版本

FTP User Name     :   8070             ----------FTP用户名

User Password     :    8070             ----------FTP密码 

（4）以上设置完成了以后分别输入1回车，然后输入4回车

           Boot Menu

1:  Download File

2:  Setup Bootstrap Parameter

3:  Display Bootstrap Parameter

4:  Enter Configuration Mode

5:  Modify Bootrom Password

6:  Run Application Program

7:  Setup Hardware Address

8:  Format Filesystem

9:  Setup Router Run Mode

0:  Reboot

 

Enter your choice(0-9): 1

 

1:  Download Application Program Into Flash

2:  Download Application Program Into HardDisk

3:  Download Application Program Into CF Card

4:  Download Rsu Bootrom

5:  Exit

 

Enter your choice(1-5): 4     

  === Select FTP Protocol ===

Target IP Address : 192.168.118.119

Host IP Address   : 192.168.118.120

Load File Name    : s750oa_e_6.35.bin

FTP User Name     :     8070

User Password     :      8070

Bootrom will be upgraded ! Continue ? [Y/N] y  输入y开始将新的扩展bootrom下到RSU中                      

Attaching network interface fei0... done.

Loading... OK!

The size of bootrom = 381328

Programming Flash... OK!

（5）扩展bootrom升级完成以后重启。

           Boot Menu

1:  Download File

2:  Setup Bootstrap Parameter

3:  Display Bootstrap Parameter

4:  Enter Configuration Mode

5:  Modify Bootrom Password

6:  Run Application Program

7:  Setup Hardware Address

8:  Format Filesystem

9:  Setup Router Run Mode

0:  Reboot

 

Enter your choice(0-9): 0