evpn+s-mlag 分布式对称路由转发问题

你的分析很准，问题的根源确实是 “本地直连路由”天然的“身高优势”，压过了EVPN提供的等价路径。只要Server1是单挂的，这个带宽限制在标准架构下就难以避免。

根本原因：本地路由的“身高”优势

在EVPN对称IRB模型中，为了防止环路并优化路径，设备默认采用本地路由优先的选路原则。这意味着，交换机本地直连（direct）的路由是“身高”最高、最优先的。当Server1向Server2发包时，Leaf-1首先会在硬件路由表（FIB表）中寻找匹配项。

由于Leaf-1本地就有一条开销为0的直连路由去往192.168.1.1/32（即Server1自身的地址），这直接导致Leaf-1根本没去选择EVPN从邻居学来的等价路径。因此，FIB表里只有本地这条路由，流量就在本地端口上转了回来，所有流量都压在同一条出方向链路上，被bag3的30G限速死死卡住。

 优化方案与可行性与收益评估

既然架构限制的核心是“本地优先”，解决问题的思路就是通过技术手段提升EVPN等价值路径的“身高”，压制本地直连路由。以下是具体的配置和收益评估：

核心方案：策略路由（PBR）显式引流

• 核心思路：用策略路由直接为Server1 -> Server2这个方向的流量建立“专线”转发规则。

• 实施要点：定义一个ACL抓取从Server1的IP 192.168.1.1到Server2的IP 192.168.1.2的流量，并将其下一跳指到Leaf-2的某条物理链路接口，从而绕过本地直连路由。

• 风险与收益：

  • 收益：能将单流带宽提升至接近60G，解决核心问题。

  • 风险：如果配置的指定物理链路故障，会引发业务中断，对运维精细度要求高。

探索方案：部署M-LAG改造为双归属

• 核心思路：通过硬件改造和协议升级，将Server1改为双归属ECMP接入，根除单挂架构问题。

• 实施要点：在Server1侧增加网卡，使用evpn m-lag local命令完成双活配置。

• 风险与收益：

  • 收益：从根本上解决带宽瓶颈，实现流量负载均衡与设备级高可用，完全符合标准组网最佳实践。

  • 风险：需要额外网卡、停机维护窗口和重新布线，实施成本高。

补充建议：硬件表项资源核查

如果你最终选择策略路由等方案，建议先检查设备当前的硬件资源模式。确保 Switch-mode 已配置为 vxlan 模式，以避免因传统 MAC/ARP 模式导致硬件表项不足，影响新建引流策略的生效。

一、先把现象和原理说透

1. 现象分析

• Server2（双挂）→ Server1：能跑满 60G，因为 Server2 的上行链路做了 ECMP，流量可以同时走两台 Leaf，一条本地转发、一条走 EVPN 隧道，合计 60G。
• Server1（单挂）→ Server2：只能跑 30G，因为 Server1 只连到左侧 Leaf，在分布式对称 IRB 里，本地路由优先级远高于从 EVPN 学到的等价路由，FIB 表只安装了本地路由，所有流量只能走本地 30G 链路，无法触发 ECMP 负载分担。

2. 为什么会这样？

• 对于本地网段的主机路由（/32），本地路由优先级（本地 pref）为 255，而从 EVPN 学到的等价路由优先级为 100。
• 因此，即使 Server2 的主机路由同时出现在本地和 EVPN 路由表中，FIB 只会安装优先级更高的本地路由，流量只能走单条链路，无法负载分担。
• 同时，Server1 是单挂，上行没有聚合链路，只能通过单条 30G 链路发送流量，进一步限制了带宽。

二、两种解决办法（按推荐优先级排序）

方案 1：关闭 EVPN 本地优先转发（推荐，直接解决问题）

• 生效后，Server1 的 Leaf 会在 FIB 中同时安装本地路由和 EVPN 学到的等价路由，流量会自动在两条链路上做 ECMP 负载分担，合计跑满 60G。
• 注意：该命令是全局配置，会影响所有 VTEP 的主机路由转发行为，需在所有 Leaf 节点上配置。

方案 2：将 Server1 改为双挂 S-MLAG（治本方案）

1. 配置 Server1 的网卡做链路聚合（Bond/LACP），连接到两台 Leaf 的聚合口。
2. 两台 Leaf 组成 S-MLAG，配置 ESI 标识，确保 EVPN 识别为多归属主机。
3. 这样 Server1 上行链路本身就有两条 30G 链路，ECMP 负载分担后直接跑满 60G，和 Server2 的行为一致。

三、关键补充说明

1. 为什么反向流量（Server2→Server1）能跑满 60G？

   Server2 是双挂，上行链路本身就做了 ECMP，流量会自动分担到两台 Leaf：
   • 一条流量在本地 Leaf 转发，直接走本地链路到 Server1；
   • 另一条流量通过 EVPN 隧道转发到 Server1 所在的 Leaf，再通过本地链路发送。
     两条链路同时工作，合计跑满 60G。
2. 关闭本地优先转发的风险？
   • 正常情况下无风险，只是让路由优先级一致，触发 ECMP 负载分担。
   • 极端场景下，如果本地链路故障，流量会自动切换到 EVPN 隧道，不会断流。
3. 如何验证是否生效？

   在 Server1 所在的 Leaf 上执行以下命令，查看 FIB 表：
   bash

   运行

   display ip fib 192.168.1.2
   正常情况下，会看到两个下一跳：
   • 一个是本地直连的下一跳；
   • 一个是 EVPN 隧道的下一跳。
     两个下一跳权重相同，流量会自动负载分担。

四、总结

• 问题根源：分布式对称 IRB 的本地优先转发机制，导致 Server1 单挂时无法触发 ECMP 负载分担，只能走本地 30G 链路。
• 解决办法：优先通过undo evpn route-pref local enable关闭本地优先转发，让流量可以在本地和 EVPN 隧道之间做负载分担；长期方案是把 Server1 也改成双挂 S-MLAG。