SR66设备板间通信问题排查

此类问题排查涉及出入流量线卡、BKEC托板等多个硬件节点，用其中一个案例做梳理，其他类似跨版路由不通、跨板转发异常等问题均可以向此问题靠拢排查。

问题现象举例：SR6608设备作为数据核心网设备，原业务在slot3槽位正常运行，后因扩容需求在割接时将业务接口切换到万兆接口槽位slot4，出现业务中断。

问题初步分析：割接前后明确差异有对端的模块、本端的接口、业务流量所在槽位等。排除光模块等外因，仅从本机角度分析，业务从3槽位内部转发变成了从4槽位到3槽位的业务流量是最大的变化，推测高概率为板间通信问题。

1. 考虑到新增的板间通信异常风险，进行模拟发包的板间通信测试：

【probe】display hardware internal ibd sendpkt slot 4 unicast slot 3 100 10

Test Error, ErrorCode = 20000!

【probe】display hardware internal ibd sendpkt slot 3 unicast slot 4 100 10

Test Error, ErrorCode = 20000!

测试结果均显示为Error，代码为20000，代表收包数量与发包数量不匹配，存在丢包或者不通的现象，初步证实设备确实存在板间通信问题。

2. 由于板间通信问题，涉及出入流量线卡、BKEC托板等多个硬件节点，无法直接判断具体原因，所以为进一步验证板间通信异常情况并确认问题原因，需要进行外接PC的跨槽位ping测试，以确认是BKEC托板的问题还是业务单板的问题。需要使用外接PC方案测试的原因是：本机带源ping本质是CPU发包，是从CPU发到板卡，无法模拟跨板转发，目的地址是本机地址的收包处理也是同理。

3. 在各槽位外接PC确认直连正常的情况下，依次根据上述命令测试设备各槽位板间通信，确认2、3、4槽位之间均存在板间通信问题。

4. 当任意两两测试均存在故障时，需要收集HG通道的相关状态信息协助分析，并进行BKEC托板更换测试。

测试命令：【Probe】bcm (主控槽位号) 0 ps

[H3C-probe]display hardware internal lsw kdmi 0 0

[H3C-probe]bcm 0 0 phy/info

[H3C-probe]bcm 0 0 ps

例如：

[SR66-probe]bcm 0 0 ps

           ena/  speed/ link auto    STP                  lrn  inter   max  loop

      port link  duplex scan neg?   state   pause  discrd ops   face frame  back

       hg0  down  12G FD   SW  No   Forward          None    F  XGMII 16360

       hg1  down  12G FD   SW  No   Forward          None    F  XGMII 16360

       hg2  up    12G FD   SW  No   Forward          None    F  XGMII 16360

       hg3  up    12G FD   SW  No   Forward          None    F  XGMII 16360

       hg4  down  12G FD   SW  No   Forward          None    F  XGMII 16360

       hg5  down  12G FD   SW  No   Forward          None    F  XGMII 16360 

5. 以上测试命令可以用于查看HG口的状态信息，显示为HG down说明对应槽位一定存在板间通信问题。但是显示为up，不代表板间通信一定正常，实际存在HG显示为UP但是发生板间通信故障的情况。

板间通信异常通常是由于硬件异常导致的概率性触发故障，从优先恢复业务角度出发，可以按重启子卡-重启槽位-重启整机的顺序尝试，依次观察故障现象是否消失。若整机重启无法解决，则必须通过替换测试的方案确认硬件故障点，使用【Probe】bcm (主控槽位号) 0 ps为主要测试命令，如果可以进行跨板ping验证则更佳。

PS：附加的收集信息，查看槽位与槽位的ibd连接显示：

异常情况：

[SR6608-probe]display hardware internal ibd connect slot 0 statistic

slot  Status        Rcv        Snd    SndFail  AllocFail    RcvLose

    1    fail          0      14253          0          0      14314

    4      ok      14324      14323          0          0          0

    5      ok          7          7          0          0          0

6      ok          0          0          0          0          0

正常情况：

[SR6608-probe]display hardware internal ibd connect slot 0 statistic

 slot  Status        Rcv        Snd    SndFail  AllocFail    RcvLose

    1      ok     121053     121052          0          0          0

    2      ok          0          0          0          0          0

    5      ok      79786      93991          0          0          0