STP+VRRP技术

传统的数据中心网络采用STP+VRRP协议来保障链路冗余，满足了基本的可靠性需求。

STP+VRRP技术示意图

但STP+VRRP方案存在如下痛点，已无法满足数据中心流量和规模的快速增长。

• STP的阻塞链路机制，导致二层链路利用率低。
• VRRP的主备备份功能，导致三层链路利用率低。
• Server仅支持以主备方式接入设备。

针对STP+VRRP方案的缺点，先后出现了堆叠和M-LAG虚拟化技术，用于满足业务量增大和对网络更高可靠性的要求。

堆叠和M-LAG虚拟化技术

堆叠和M-LAG实现跨设备链路聚合提高二层链路利用率，M-LAG的双活网关技术提高了三层链路利用率，且服务器可以通过链路聚合实现双活接入设备。

堆叠和M-LAG虚拟化技术示意图

M-LAG和堆叠都可以解决传统数据中心网络的问题，但从业务稳定性考虑，通常选择M-LAG。

堆叠和M-LAG作为广泛运用于数据中心网络接入层的两种横向虚拟化技术，他们都可实现终端的冗余接入，实现链路冗余备份，提高数据中心网络的可靠性和可扩展性。然而，与堆叠技术相比，M-LAG存在更高的可靠性和独立升级的优势。

对比了堆叠和M-LAG的优劣。针对升级过程业务中断时间要求高、对组网可靠性要求高的场景，我们推荐用户使用M-LAG技术，用作数据中心网络终端接入技术。

堆叠和M-LAG的对比

M-LAG正常工作场景

• 已知单播流量转发当M-LAG正常工作时，自用户侧发往网络侧的已知单播流量（图中绿色流量）由M-LAG主备设备形成逐流负载分担，共同进行流量的转发。反之，自网络侧发往用户侧的已知单播流量（图中黄色流量）同样由M-LAG主备设备形成逐流负载分担，共同进行流量的转发。
  
  M-LAG已知单播流量转发示意图
• 组播、广播和未知单播流量转发当M-LAG正常工作时，自用户侧发往网络侧的组播、广播和未知单播流量（图中黄色流量）在设备间泛洪扩散。对于可能造成的环路（图中红色），则利用M-LAG的单向隔离机制隔绝由peer-link发往M-LAG成员口的流量。反之，当网络侧发往用户侧的组播、广播和未知单播流量（图中绿色流量）在设备间泛洪扩散时，同样利用单向隔离机制隔绝由peer-link发往M-LAG成员口的流量。
  
  M-LAG组播、广播和未知单播流量转发示意图

M-LAG故障工作场景

• 上行链路故障M-LAG接入普通以太网场景，由于M-LAG主设备的上行链路故障，通过M-LAG主设备的流量均经过peer-link链路进行转发。M-LAG接入三层网络场景下，需要在M-LAG主备设备间配置三层逃生链路，使得到达M-LAG主设备的上行流量通过三层逃生链路到达M-LAG备设备。

  当故障的上行链路恰好为双主检测链路，此时对于M-LAG正常工作没有影响。一旦peer-link也发生故障，M-LAG出现双主冲突，双主检测又无法进行，此时用户侧发往Master的流量会因为没有上行口而被丢弃。针对这个问题我们可以用管理口作为双主检测链路；也可以配置Monitor-link功能，将M-LAG成员口和上行口关联，一旦上行链路故障会联动M-LAG成员口故障，这样就防止了流量的丢失。

  
  上行链路故障示意图
• M-LAG成员口故障当M-LAG成员口故障时，用户侧发往网络侧的流量（图中绿色流量）由正常链路负载分担转发，网络侧不感知故障，流量依然发送给双归设备。由于M-LAG成员口故障，双归场景变为单归场景，此时端口隔离机制放开。当M-LAG成员口故障设备收到从网络侧发往用户侧流量（图中黄色流量），会通过peer-link将流量交给正常工作的M-LAG设备转发到用户侧。

  当M-LAG成员口故障恢复后，M-LAG成员口UP会触发一次M-LAG系统的MAC表项同步，单归场景恢复为双归场景，流量恢复负载分担转发。

  
  M-LAG成员故障示意图
• peer-link故障M-LAG双归接入设备一旦感知peer-link链路状态为Down，会立即通过DAD链路发起一次双主检测。如果在一定时间内未收到对端发布的双主检测报文，则认为对端设备故障。如果收到对端发送的双主检测报文，则认为peer-link故障。

  Peer-link故障时，两台M-LAG设备不能同时转发流量，若同时转发流量会出现广播风暴、MAC漂移等问题。因此M-LAG备设备会将除peer-link口、堆叠口和管理网口之外的所有物理接口Error-down。此时，流量都只会从M-LAG主设备转发。

  Peer-link故障恢复后，peer-link接口UP，M-LAG系统将重新协商。协商完成后，为保障M-LAG的端口隔离机制生效，除M-LAG成员口以外的其他口恢复UP状态，而M-LAG成员口在4分钟后恢复UP状态。

  
  peer-link故障示意图
• M-LAG设备故障M-LAG主设备故障，M-LAG备设备将升级为主，其设备侧Eth-Trunk链路状态仍为UP，流量转发状态不变，继续转发流量。M-LAG主设备侧Eth-Trunk链路状态变为Down，双归场景变为单归场景。

  如果是M-LAG备设备发生故障，M-LAG的主备状态不会发生变化，M-LAG备设备侧Eth-Trunk链路状态变为Down。M-LAG主设备侧Eth-Trunk链路状态仍为UP，流量转发状态不变，继续转发流量，双归场景变为单归场景。

  M-LAG设备故障恢复时，peer-link先UP，DFS状态重新协商，M-LAG成员口恢复UP，流量恢复负载分担。M-LAG主设备恢复后设备状态仍然为主，M-LAG备设备恢复后设备状态仍然为备。

  
  M-LAG设备故障示意图

M-LAG双归接入二层网络

M-LAG双归接入二层网络时，需要将两台M-LAG设备模拟成同一个STP逻辑节点，达到与STP对接破环的目的。

我们可以通过手动配置双归设备为STP网络根桥或配置VSTP协议，将M-LAG两个设备模拟成一个STP节点。其中，VSTP协议的作用主要是在双归设备之间同步STP协议状态，将两台设备以同一个状态对外进行STP协商。

M-LAG双归接入二层网络示意图

M-LAG双归接入VXLAN网络

M-LAG双归接入VXLAN网络时，需要将两台M-LAG设备虚拟成一个VTEP。无论是手工建立隧道还是通过MP-BGP自动建立隧道，DeviceA和DeviceB均用这个虚拟的VTEP的IP和外界建立VXLAN隧道。

M-LAG双归接入VXLAN网络示意图

M-LAG双归接入三层网络

M-LAG双归接入三层网络时，M-LAG双归设备成为二层网络和三层网络的分界点，即承担网关的作用。由于是两台设备做网关，他们对网络侧需要展示相同的网关IP和MAC。在DeviceA和DeviceB上配置相同IP地址和虚拟MAC地址，达到相同网关的目的。

M-LAG双归接入三层网络示意图

多级M-LAG

在网络规模较大场景下，可以在Spine和Leaf同时部署M-LAG来保证链路可靠性。图中灰色底纹中的两台设备组成M-LAG。

多级M-LAG应用场景，不能使用手动配置根桥的方式来进行STP破环，需要通过VSTP协议来同步M-LAG双归设备的STP协议状态信息。

多级M-LAG网络示意图