某局点S6890下挂多台MAR设备托管问题

/

/

某局点的城域网下挂一个接入环共9台MAR到IMC管理网中断问题，业务暂未受影响。

选取其中一条故障流，在MAR10.77.72.2 去PING 网管10.79.0.234不通，在MER上下行口部署流统发现MER收到了Rely报文，但并未向MAR转发，因此锁定了故障点是MER设备。

（10.77.72.2）MAR（RA5300）---（1/0/2）MER（H1/0/41）----MCR----网管IMC（10.79.0.234）

进一步将该报文Mirror to CPU进行软件转发，发现此时该故障已经能通，同时将Rely报文打印出来，发现报文格式本身并没有相关异常，因此锁定是MER软件表项正确，而底层表项存在问题：

因此进一步分析对应的底层转发表项，此时发现底层表项下发失败，下发失败是因为未申请到FEC资源：

[SXLF-XNZXJ-2F-S6890-SM-E029-probe]local logbuffer slot 1 display mpls

MOD:MPLS,TASK:kfib/1,SLOT:1--drv_mpls_egress_set:-----该字段表示添加tln表项失败，未申请到FEC资源导致

DRV_UTIL_RES_GET

MOD:MPLS,TASK:kfib/1,SLOT:1--drv_mpls_vn_bcm_add_tnl:-----该字段表示添加tln表项失败，未申请到FEC资源导致

bcm add tnl nid=715595 SpecType=1048576 encapid 0=63678 1=63567 fec=4294967295 adjencapid=1073802179

%Oct 18 02:00:26:808 2022 SXLF-XNZXJ-2F-S6890-SM-E029 DRVPLAT/3/DrvDebug: -MDC=1;

tnl表项的下发需要申请FEC资源中的“GROUP_B ,Local”资源，以BankID[0-3] 4个bank为例，这四个bank属于一个硬件bank，因此它们必须同属于同一个GROUP，即GROUP_A，IsUsed为1表示该bank被分配使用了，RefCnt显示该bank目前已经占用的资源数量，uiResNumber表示该bank的资源总量，从下述采集信息来看，GROUP_B ,Local的使用已经满了，因此fec硬件资源不足导致tnl表项因无法申请Fec资源导致添加表项失败；

[SXLF-XNZXJ-2F-S6890-SM-E029-probe]debug util display fec pool-info slot 1

BankID[0] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[0/0x00000] GROUP_A ,Global

BankID[1] IsUsed[0] IsBuddy[0] RefCnt[0] uiResNumber[4096] Base[4096/0x01000] GROUP_NULL ,Global

BankID[2] IsUsed[0] IsBuddy[0] RefCnt[0] uiResNumber[4096] Base[8192/0x02000] GROUP_NULL ,Global

BankID[3] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[12288/0x03000] GROUP_A ,Local

BankID[4] IsUsed[1] IsBuddy[0] RefCnt[153] uiResNumber[4096] Base[16384/0x04000] GROUP_B ,Global

BankID[5] IsUsed[0] IsBuddy[0] RefCnt[0] uiResNumber[4096] Base[20480/0x05000] GROUP_NULL ,Global

BankID[6] IsUsed[0] IsBuddy[0] RefCnt[0] uiResNumber[4096] Base[24576/0x06000] GROUP_NULL ,Global

BankID[7] IsUsed[0] IsBuddy[0] RefCnt[0] uiResNumber[4096] Base[28672/0x07000] GROUP_NULL ,Global

BankID[8] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[32768/0x08000] GROUP_B ,Local

BankID[9] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[36864/0x09000] GROUP_B ,Local

BankID[10] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[40960/0x0a000] GROUP_B ,Local

BankID[11] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[45056/0x0b000] GROUP_B ,Local

BankID[12] IsUsed[1] IsBuddy[1] RefCnt[72] uiResNumber[4096] Base[49152/0x0c000] GROUP_A ,Local

BankID[13] IsUsed[1] IsBuddy[0] RefCnt[4093] uiResNumber[4096] Base[53248/0x0d000] GROUP_A ,Local

BankID[14] IsUsed[1] IsBuddy[0] RefCnt[4091] uiResNumber[4096] Base[57344/0x0e000] GROUP_A ,Local

BankID[15] IsUsed[1] IsBuddy[0] RefCnt[4080] uiResNumber[4096] Base[61440/0x0f000] GROUP_A ,Local

BankID[16] IsUsed[1] IsBuddy[0] RefCnt[3466] uiResNumber[4096] Base[65536/0x10000] GROUP_A ,Local

BankID[17] IsUsed[1] IsBuddy[0] RefCnt[26] uiResNumber[4096] Base[69632/0x11000] GROUP_A ,Local

BankID[18] IsUsed[0] IsBuddy[0] RefCnt[0] uiResNumber[4096] Base[73728/0x12000] GROUP_NULL ,Local

BankID[19] IsUsed[0] IsBuddy[0] RefCnt[0] uiResNumber[4096] Base[77824/0x13000] GROUP_NULL ,Local

BankID[20] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[81920/0x14000] GROUP_B ,Local

BankID[21] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[86016/0x15000] GROUP_B ,Local

BankID[22] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[90112/0x16000] GROUP_B ,Local

BankID[23] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[94208/0x17000] GROUP_B ,Local

BankID[24] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[98304/0x18000] GROUP_B ,Local

BankID[25] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[102400/0x19000] GROUP_B ,Local

BankID[26] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[106496/0x1a000] GROUP_B ,Local

BankID[27] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[110592/0x1b000] GROUP_B ,Local

BankID[28] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[114688/0x1c000] GROUP_B ,Local

BankID[29] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[118784/0x1d000] GROUP_B ,Local

BankID[30] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[122880/0x1e000] GROUP_B ,Local

BankID[31] IsUsed[1] IsBuddy[0] RefCnt[4096] uiResNumber[4096] Base[126976/0x1f000] GROUP_B ,Local

然后查看设备当下全部TNl表项，当下只有169，资源使用数量不是很大，因此可以判断上述大量占用的硬件Fec资源，是因为底层有残留未被释放导致，该情况与研发实验室复现的情况一致，确认为老版本已知问题：在链路震荡时低概率触发硬件FEC资源残留，未能被释放，最终导致FEC耗尽，底层表项下发失败导致不通。

[SXLF-XNZXJ-2F-S6890-SM-E029-probe]debug mpls-drv display rbtree statistics slot 1

----------------------------------------------------------------------------

TnlTree:

NodeNumber =169

NoOfMemBlocks=1

MemBlockSize=256

 ILM+VC=0

 ILM+IPMC=0

 ILM=59

 VPLS=0

 VPWS=0

 L3VPN+VC=0

 L3VPN+IPMC=0

 L3VPN=110 

综上，现场触发了老版本已知问题，建议重启设备恢复并升级到R3608彻底解决。