某局点S9500 V3交换机聚合组下端口切换 导致业务中断

DS03/DS04 S9500（V3）作为汇聚设备

AS05/AS06 S9500（V3）作为接入设备

AS05和DS03设备通过聚合链路互联，但在DS03设备的两个聚合组成员口上有大量CRC报文增长，为了排查这一故障的原因，我们让一线在现场进行光模块、光纤和端口的替换测试，在端口替换测试过程中，一线将G0/1/3替换为同一单板上的G0/1/15端口测试是否还有CRC增长，测试完成后发现故障现象依旧存在，一线执行回退操作，恢复到原来的聚合状态，在这一恢复过程中，现场在G0/1/15端口下执行undo port trunk permit vlan操作，发现整个聚合组内的permit vlan配置都被删除了，因此导致了客户业务中断。

（1）  原聚合组中有G0/1/3和G1/1/3两条链路，为了做替换测试，先将G0/1/15和G1/1/15加入聚合组，然后shutdown掉原来的两个端口，看新的聚合端口上是否有CRC增长。

（2）  测试发现换成G0/1/15和G1/1/15后依旧有CRC增长，记录完数据后需要将操作回退，但在回退过程中出现了问题，操作记录如下：

%Nov 25 16:51:03 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:qu

%Nov 25 16:50:51 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:dis link-aggregation verbose 5

%Nov 25 16:50:33 2019 SHE2003_OS_DS_03 MSTP/3/DETECTEDTC:Instance 0's port GigabitEthernet0/1/3 detected topology change!

%Nov 25 16:50:22 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:dis this

%Nov 25 16:50:20 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:undo description

%Nov 25 16:50:15 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:undo  stp root-protection

%Nov 25 16:50:06 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:dis this

%Nov 25 16:50:03 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:undo  port link-aggregation group

%Nov 25 16:49:51 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:dis this

%Nov 25 16:49:47 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:shutdown

%Nov 25 16:49:39 2019 SHE2003_OS_DS_03 L2INF/5/VLANIF LINK STATUS CHANGE:

Vlan-interface1: is UP

%Nov 25 16:49:39 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:undo port link-type

%Nov 25 16:49:34 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:interface GigabitEthernet 0/1/15

%Nov 25 16:49:28 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:qui

%Nov 25 16:49:24 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:dis this

%Nov 25 16:49:21 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:undo port link-type

%Nov 25 16:49:08 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:dis cu interface GigabitEthernet 1/1/16

%Nov 25 16:48:55 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:dis this

%Nov 25 16:48:52 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:port trunk permit vlan 1

%Nov 25 16:48:39 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:dis this

%Nov 25 16:48:37 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:undo description

%Nov 25 16:48:33 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:undo stp root-protection

%Nov 25 16:48:17 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:dis this

%Nov 25 16:48:15 2019 SHE2003_OS_DS_03 DIAGCLI/5/LOG_WARN:Slot=1;

Detect ARP attack from MAC 0cda-41ad-c500, VLAN: 10, GigabitEthernet1/1/24 !

%Nov 25 16:48:13 2019 SHE2003_OS_DS_03 MSTP/3/DETECTEDTC:Instance 0's port GigabitEthernet0/1/3 detected topology change!

%Nov 25 16:47:51 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:undo  port trunk permit vlan 10 1200 1202 to 1203 1257 to 1269 1271 to 1279 1281 to 1282 1285 to 1295 1311 to 1312

%Nov 25 16:47:43 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:undo  port link-aggregation group

%Nov 25 16:47:31 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:shutdown

%Nov 25 16:47:16 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:dis this

%Nov 25 16:47:14 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:interface GigabitEthernet 1/1/15

根据操作记录，在进行回退时，先对G1/1/15进行操作：

%Nov 25 16:47:14 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:interface GigabitEthernet 1/1/15

先敲了退出聚合组命令：

%Nov 25 16:47:43 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:undo  port link-aggregation group

再对该端口放通的vlan做了回退操作：

%Nov 25 16:47:51 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:undo  port trunk permit vlan 10 1200 1202 to 1203 1257 to 1269 1271 to 1279 1281 to 1282 1285 to 1295 1311 to 1312

而在之后对G0/1/15进行回退操作时：

%Nov 25 16:49:34 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:interface GigabitEthernet 0/1/15

一线先undo了端口类型的配置：

%Nov 25 16:49:39 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:undo port link-type

再将端口退出聚合组：

%Nov 25 16:50:03 2019 SHE2003_OS_DS_03 SHELL/5/CMD:task:co0 ip:** user:** command:undo  port link-aggregation group

也就是说，在对G0/1/15进行回退操作时，一线在该端口还是聚合组成员端口时，就改变了该端口的链路类型，导致该端口放通的vlan被改变，又因为V3版本的链路聚合配置很特殊，在成员端口上放通或者不放通vlan会直接改变整个聚合组的所有成员端口的vlan配置，而不是像V5或者V7这样，改变成员端口的vlan配置会有提示，且会导致该端口重新协商是否能加入聚合组，不会影响聚合组下其他成员端口的配置。

由于聚合组内其他成员端口的vlan配置都因为“undo port link-type”这条命令被删除了，所以导致了业务中断，重新刷配置才恢复。   

（1）  V3设备在聚合组成员端口下做删除vlan操作会删掉整个聚合组的相关配置，因此在做类似操作时要先将端口退出聚合组。

（2）  V3的部分配置和现在我们熟悉的V5和V7的操作有很大的不同，建议在对现网的V3设备做操作之前先确认一下配置手册。