【案例分析】防火墙替换后部分业务卡顿问题分析

网络拓扑如下，FW堆叠+冗余主备部署，口字型对接下行某友商交换机。

FW子接口终结vlan 99，下行SW业务接口以及横联线路agg99放通vlan 99。SW vlan-if99接口下配置VRRP，且VRRP主在SW-02上。

不涉及

割接操作就是将业务迁移到右侧FW设备，操作步骤如下：

1. down FW1下行接口，冗余主备切换到FW2；

2. 将连接FW1的线缆接到FW1_new，down FW2业务接口，并打开FW1_new业务接口。此时发现部分业务卡顿延迟问题。

通过在FW1_new上查看会话以及抓包可以明确，报文已从FW发出。以存在异常的DNAT业务为例，会话显示状态为TCP_SYN_SENT，且正向报文为6个。因此判断问题应该不是在墙上。

但是由于是FW的变更，客户认定和FW脱不了干系。因此和下行设备一起复现分析。

搭建环境复现问题，复现组网如下：

测试准备工作：

1、搭建测试网络，客户端和服务端使用交换机模拟（也可接PC在交换机侧，使用软件打流）。2组防火墙采用IRF+冗余组方式部署，ISW交换机单独部署，之间使用VRRP和防火墙对接，和下联交换机使用ECMP OSPF。

2、从客户端发起流量测试；

 

测试步骤：

1、在FW-01和FW-02正常情况下，记录防火墙会话，记录ISW的ARP、MAC学习情况：

2、在FW-01上关闭到ISW-01接口，记录防火墙会话，记录ISW的ARP、MAC学习情况：

3、在FW-02上关闭到ISW-02接口，开启FW-03到ISW-01接口，记录防火墙会话，记录ISW的ARP、MAC学习情况；

如果步骤3有异常，排查问题，如果无异常，执行下一步：

4、在FW-03上关闭到ISW-01接口，开启FW-02到ISW-02接口，记录防火墙会话，记录ISW的ARP、MAC学习情况；

如果还是无异常，重复3和4步骤，查看是否有异常；

在进行到步骤3的时候问题复现，存在部分业务不通。此时在防火墙上查看报文已经发送，没有收到回包。

查看SW-01的ARP表项发现没有刷新，学习接口显示为agg99，并非是上行的业务接口。SW-02 的ARP表项则没有问题，学习接口为agg99。

所以如果回包上送到SW-01的时候，SW-01查ARP表项从横联链路发出去会出现异常。

让我们来回溯下整个切换过程吧，首先需要明确SW由于中间横联链路放通了vlan99，因此其VRRP主备状态不会变化。

如下为理论过程：

1.  正常情况下业务走向为---FW01---SW01---SW02----，回包有两种线路：---SW01---FW01---，---SW02---SW01---FW01---。为什么会这样走可以思考一下。
2.  FW01业务口down后，走向就变成---FW02---SW02---，回包为：---SW01---SW02---FW02，---SW02---FW01---
3. 切换为FW03后，走向为---FW03---SW01 ---SW02---，回包为：---SW01---FW03---，---SW02---SW01---FW03---

步骤3操作后，上送SW01的业务出现异常，上送SW02的业务则没有问题。

1. SW01 ARP表项错误，所以设备查找出接口为agg99，发送异常；
2. SW02 ARP正常刷新，通过横联链路发送给SW01，SW01查mac表转发。报文正常发送给FW01

.

非FW设备问题，下行交换机存在bug导致ARP刷新异常。