ADDC解决方案中怎么配置带外管理网络

手工配置

1. 整体架构规划

• 物理/逻辑隔离：带外管理网络必须独立于业务数据网络。建议使用独立的带外管理交换机，采用专用的IP地址段（如 192.168.100.0/24），严禁将其默认路由指向业务网络。
• 拓扑冗余：为了消除单点故障，接入层的带外管理交换机必须双归上行至两台带外汇聚交换机。这两台汇聚交换机之间通过Peer-link互联，并共同组成M-LAG系统。
• 服务器连接：每台服务器的BMC/IPMI专用管理口，应分别连接到两台不同的带外接入交换机上，实现设备级的冗余。

2. 带外管理交换机的 M-LAG 必备配置

• 配置 M-LAG 域及 Peer-link：
  创建跨设备的聚合接口作为Peer-link，用于同步状态和转发跨设备流量。同时配置Keepalive链路（通常使用独立的管理网口或VLAN）防止Peer-link单点故障导致的双主问题。
• 统一 LACP 系统参数：
  在两台M-LAG设备上，必须配置完全相同的LACP系统MAC地址、系统优先级和系统编号。这是为了让下挂的服务器或接入交换机认为它们连接在同一台逻辑设备上。
• 开启双主检测（DAD）：
  务必配置双主检测机制，当Peer-link断开且Keepalive也异常时，强制让备设备关闭下行端口，避免二层环路。
• 禁用生成树协议（STP）：
  在M-LAG成员接口及Peer-link上，建议关闭STP功能。M-LAG自身已具备防环机制，开启STP可能导致端口被阻塞或状态震荡。

3. ADDC 控制器纳管注意事项

• 单向配置下发：在ADDC架构中，配置只能由控制器向Leaf/Spine交换机单向推送，网络设备无法将本地修改反向同步给控制器。因此，带外管理的M-LAG基础配置建议在ADDC控制器的模板中统一下发。
• 审计白名单：如果在实施过程中需要在交换机底层手动修改了部分带外配置，为避免控制器巡检报错，可在ADDC控制器（6.3及以上版本）中将相关配置加入“审计白名单”进行忽略。

4. 安全与运维最佳实践

• 权限隔离：建议实行网络管理员与服务器管理员的权限分离。网络管理员仅掌握带外交换机的控制权，服务器管理员掌握BMC账号密码，应急使用时需双方配合开启对应端口。
• 访问控制：在带外汇聚交换机或防火墙上配置严格的ACL策略，限制仅允许特定的运维跳板机（Jump Server）访问带外管理网段，防止横向渗透风险。

ADDC 标准方案带外管理网络 + M-LAG 管理交换机完整部署指南
一、标准组网架构（ADDC 官方标准带外拓扑）
1. 分层说明
下层：服务器带外口
UIS 主机 iBMC、刀片 iDRAC、防火墙 / 存储设备 Console 网口，全部接入一对带外管理交换机（SW-OOB-A、SW-OOB-B）
中层：双管理交换机 M-LAG 成对部署
两台盒式交换机（S5130/S5560V2/V3）做 M-LAG，作为整数据中心统一带外网关；
Peer-Link：两台交换机之间多光口聚合，同步 MAC/ARP/M-LAG 状态
Keepalive（DAD 双活检测）：独立三层 VLAN，走交换机 MEth 带外管理口，故障时防双主环路
上层：北向连通 UC 统一数字底盘
M-LAG 上行聚合口对接 DC 核心 / 防火墙，打通 UC 底盘（UDTP/BMP），实现平台统一纳管所有设备带外；
隔离原则
带外网络独立 VLAN、独立网段，与业务 VXLAN、管理网（192.168.10/13 段）三层隔离，仅北向放通 UC 访问权限。
标准网段规划（ADDC 规范示例）
带外业务 VLAN：VLAN 4000
带外网段：10.0.0.0/24
M-LAG 双活网关（VRRP）：10.0.0.1
SW-OOB-A Vlanif4000：10.0.0.2/24
SW-OOB-B Vlanif4000：10.0.0.3/24
Keepalive 心跳 VLAN：VLAN 4001，网段 10.0.1.0/24
SW-OOB-A MEth0/0/0：10.0.1.2/24
SW-OOB-B MEth0/0/0：10.0.1.3/24
二、带外网络必做基础配置（两台交换机对称）
1. 基础 VLAN 与三层接口
bash
运行
# 两台交换机完全一致
vlan 4000 // 服务器iBMC业务带外
vlan 4001 // M-LAG Keepalive心跳专用VLAN
# 业务三层网关
interface Vlan-interface 4000
ip address 10.0.0.2 24 // SW-B改为10.0.0.3
# 心跳三层接口
interface Vlan-interface 4001
ip address 10.0.1.2 24 // SW-B改为10.0.1.3
m-lag mad exclude interface Vlan-interface 4001 // 心跳口排除MAD阻塞
# 设备自身MEth带外口（DAD检测源地址）
interface M-Ethernet 0/0/0
port link-mode route
ip address 10.0.1.2 24 // SW-B改为10.0.1.3
2. 下行服务器 iBMC 接入端口配置（M-LAG 成员口）
服务器双 iBMC 分别接 SW-A、SW-B，端口加入 M-LAG 聚合：
bash
运行
# 单台服务器下行配置示例
interface Bridge-Aggregation 1 mode dynamic
port m-lag group 1 allow-single-member // 单挂服务器不DOWN端口
port trunk permit vlan 4000
port trunk pvid 4000
# 物理端口加入聚合
interface GigabitEthernet 1/0/1
port link-aggregation group 1
port link-type trunk
port trunk permit vlan 4000
undo stp enable // 服务器接入口关闭STP防端口震荡
allow-single-member是 ADDC 带外必配：服务器单链路故障时不阻塞 M-LAG 聚合口。
三、M-LAG 核心全套必配（ADDC 带外交换机强制要求）
1. Peer-Link 互联链路（两台交换机之间聚合）
bash
运行
# SW-A/SW-B对称配置
interface Bridge-Aggregation 0 mode dynamic
port m-lag peer-link 1
port trunk permit vlan all
# 互联光口加入聚合
interface range GigabitEthernet 1/0/23 to GigabitEthernet 1/0/24
port link-aggregation group 0
port link-type trunk
port trunk permit vlan all
2. DFS Group（M-LAG 主域，核心）
bash
运行
# SW-OOB-A
dfs-group 1
dfs system-number 1
dfs system-priority 100
dfs system-mac 0000-0001-0001
dual-active detection source-ip 10.0.1.2 peer 10.0.1.3
dual-active delay 3
quit

# SW-OOB-B
dfs-group 1
dfs system-number 2
dfs system-priority 110
dfs system-mac 0000-0001-0001 // 两台system-mac必须完全相同
dual-active detection source-ip 10.0.1.3 peer 10.0.1.2
dual-active delay 3
quit
关键强制规则：
两台dfs-group ID、system-mac必须一模一样；
Keepalive 源目 IP 使用交换机自身 MEth 三层地址，独立心跳网段；
dual-active delay 3故障 3 秒后触发双主阻塞，避免带外断管。
3. 双活 VRRP 网关（带外统一访问网关，ADDC 必配）
UC 底盘、运维 PC 统一访问 10.0.0.1，两台交换机做冗余网关：
bash
运行
interface Vlan-interface 4000
vrrp vrid 1 virtual-ip 10.0.0.1
vrrp vrid 1 priority 110 // SW-B优先级100
vrrp vrid 1 preempt-mode timer delay 60
4. 上行对接 UC / 核心 M-LAG 聚合口
bash
运行
interface Bridge-Aggregation 10 mode dynamic
port m-lag group 10 allow-single-member
port trunk permit vlan 4000
# 上联物理口加入聚合
interface GigabitEthernet 1/0/22
port link-aggregation group 10
port link-type trunk
port trunk permit vlan 4000
四、ADDC 带外网络专属强制配置（官方方案缺一不可）
1. STP 优化（防止二层环路 + 带外端口震荡）
bash
运行
stp mode mstp
stp region-configuration
region-name OOB-MLAG
instance 0 vlan all
active
# M-LAG两台交换机统一为根桥
stp instance 0 root primary // SW-B为secondary
# Peer-Link口STP自动放行，服务器下行口关闭STP
2. 三层路由打通 UC 统一数字底盘
带外网段 10.0.0.0/24 需要路由可达 UC 北向管理网段（示例 192.168.13.0/24）：
bash
运行
# 静态路由指向核心防火墙
ip route-static 192.168.13.0 24 10.0.0.254
# 防火墙回程放行10.0.0.0/24访问UC 80/443/623/22端口
放行端口清单（UC 纳管 iBMC 必备）：
22 SSH、80/443 Web 管理、623 IPMI、161 SNMP、5900 VNC
3. 安全隔离配置（ADDC 规范）
禁止带外 VLAN 与业务 VXLAN VLAN 互通，防火墙做严格访问控制；
交换机下行 iBMC 端口配置 ACL，仅允许 UC 管理 IP 访问；
关闭带外网段 DHCP，iBMC 统一静态规划 IP；
M-LAG 交换机关闭未使用端口，shutdown 空口。
4. M-LAG 稳定性配套必配
bash
运行
# 避免Peer-Link故障后流量丢失
m-lag recovery delay 60
# 全局开启M-LAG快速收敛
m-lag fast-convergence enable
# 心跳链路不参与MAD阻塞
m-lag mad exclude interface M-Ethernet 0/0/0
五、ADDC 带外打通完整验证步骤
交换机侧校验 M-LAG 状态
bash
运行
display m-lag summary
display dfs-group 1 status
display m-lag keepalive
确认 Peer-Link UP、DAD 心跳报文收发正常、无双主告警。
2. 服务器 iBMC 连通性
iBMC ping 10.0.0.1（VRRP 网关），两台交换机分别断电测试，流量秒切换无丢包。
3. UC 统一数字底盘连通测试
UC 后台ping 带外iBMC IP、打开 IPMI 远程控制台、SNMP 采集硬件告警。
4. 故障模拟验证
单台管理交换机断电：所有 iBMC 带外访问不中断；
Peer-Link 光纤断开：DAD 心跳正常，不触发双主阻塞。
六、常见坑 & 官方方案硬性约束
禁止业务网与带外网共用 VLAN：ADDC 规范要求带外独立隔离网段，故障时不影响业务 VXLAN；
Keepalive 不能走 Peer-Link，必须独立 MEth 三层口，否则 Peer-Link 断网后双主检测失效，全网二层环路；
下行 iBMC 聚合口必须加allow-single-member，否则服务器单链路故障后 M-LAG 口直接 DOWN，无法远程控服务器；
M-LAG 两台交换机dfs system-mac必须完全一致，否则 M-LAG 配对失败、聚合口无法 UP；
UC 部署时，UDTP/BMP 上层业务必须提前放通 IPMI/SSH 端口，否则平台无法读取服务器硬件健康、开关机、远程控制台。
七、极简部署流程（现场落地顺序）
规划独立带外 VLAN + 网段、心跳三层网段；
两台交换机配置 MEth 管理口做 DAD 心跳；
搭建 Peer-Link 互联聚合，创建 DFS M-LAG 域；
下行 iBMC 端口配置 M-LAG 成员聚合；
配置 VRRP 统一网关，静态路由打通 UC 底盘；
STP、安全 ACL、端口优化收尾；
断电模拟冗余测试，UC 平台纳管验证。