泰涨常识 | 设备虚拟化技能堆叠（上）

随着云打算技能的发展，大型企业都在支配自己的云数据中央，华为CloudEngine交流机是数据中央级交流机，它大量支配在数据中央中，实现网络大规模的数据转发和保障关键业务的连续性。

华为CloudEngine交流机支持堆叠，可以供应设备级的高可用性，保障业务连续，以下我们先容下华为的堆叠技能。

二、起源

在数据中央发展的初期，没有专门的数据中央交流机，全体数据中央的网络架构还是采取的园区网的三层架构，分别是接入、汇聚、核心，并且运行STP防环。
随着数据中央访问量的增加，传统的STP存在一些缺陷：

链路利用率低，STP协议会壅塞链路；STP网络的规模受限定，网络收敛韶光长；网络管理节点多，运维困难。

STP到本日也在园区网中广泛利用，但是到了数据中央网络中，数据访问流量巨大，更多的是追求高效，安全以及扩展性。
这些STP都无法知足，于是设备虚拟化技能就应运而生。

三、堆叠

堆叠是最早的设备虚拟化技能，它将多台支持堆叠特性的设备逻辑上虚拟成一台设备。
堆叠技能实质上是“合并”，它把管理平面、掌握平面、转发平面都合并到了一起，对外呈现唯一的管理IP和MAC地址，对付下贱设备而言便是一台设备。
引入了堆叠之后全体拓扑就变得“高大上”，堆叠的优点：

01 简化了组网

多台设备组建堆叠，虚拟成一台设备，只须要对这台逻辑的设备做管理即可。
简化的组网不再须要运行STP等协议。

▷简化组网▷

02 提高可靠性

堆叠系统中的交流机互为冗余备份，同时还能实现跨设备的链路冗余备份，当堆叠系统中一台设备的上行链路故障，通过该设备的流量可经由堆叠链路进行转发。

▷提高可靠性▷

03 扩展带宽

交流机的上行带宽不敷时，可以增加新交流机与原交流机组成堆叠系统，将交流机的多条物理链路配置成一个链路组，这样就提高了交流机的上行带宽。

▷扩展带宽▷

堆叠的运用带来了以上的好处，但是随着技能的发展，其局限性也越来越明显，这是由堆叠的实质所决定的，堆叠系统的成员交流机管理平面、掌握平面、转发平面紧密耦合，这导致了如下的问题：

掌握平面单一: 堆叠系统中的主交流机掌握管理着全体堆叠系统，一旦堆叠系统分裂，将造成业务中断。
升级繁芜: 堆叠系统由于成员交流机间的紧耦合，只能是两台设备一起升级，升级失落败将导致堆叠系统下所有业务网络中断。
纵然华为交流机有快速升级的办法，只管即便减少了升级过程中业务中断，但是全体升级的过程仍旧会有业务中断的风险。

在数据中央机房中针对不同的设备运用的堆叠技能稍有差异，大致分为了两类，盒式交流机的堆叠iStack，框式交流机的堆叠CSS。

3.1CSS

集群交流系统CSS（Cluster Switch System），框式交流机的堆叠，CSS只支持两台交流机组建堆叠系统。
那框式交流机如何组建堆叠？堆叠的连接办法是怎么样的？事情事理是怎么样的？在这之前有必要对框式交流机的架构有一定的理解，以CE12804为例，组成模块分为：

CE12804

▷CE12804机框槽位分布示意图▷

MPU：Main Processing Unit，（主控处理单元），简称：主控板，卖力系统的掌握和管理事情。

SFU：Switch Fabric Unit，交流网板，卖力系统数据平面的数据线速交流。

CMU：Centralized Monitoring Unit（集中监控单元），简称：监控板，紧张供应设备的监控、管理和节能减排功能。

LPU：Line Processing Unit，（业务处理单元），简称：业务板，接口板。

PM：Power Module，电源模块。

FAN：风扇模块。

3.1.1 CSS连接办法

理解了交流机的组成模块，接着我们来看一下堆叠系统之间如何连接，CSS中连接的链路根据功能的不同分为了两种类型：管理链路和转发链路。
管理链路卖力堆叠系统管理及掩护报文的转发；转发链路卖力堆叠系统跨设备业务数据报文的转发。
根据管理链路的连接办法的不同，堆叠的连接办法分为：主控板直连和业务板直连。

主控板直连：管理链路和转发链路分离，管理链路通过主控板（MPU）的SIP口相连接（SIP口是专用于连接堆叠管理链路的接口，是由一个GE电接口和一个GE光接口组成的Combo接口，每个主控板上有两个SIP口），转发链路通过业务板（LPU）的端口相连接。
业务板直连：管理链路和转发链路合一，管理链路和转发链路都通过业务板（LPU）的端口相连接。

▷堆叠连接办法示意图▷

主控板直连的管理链路和转发链路分离支配互不影响，综合可靠性高，建议优先采取主控板直连办法。
理解的堆叠的连接办法，接着我们来理解一下堆叠中的一些基本观点。

3.1.2 堆叠基本观点

堆叠成员堆叠中的单台交流机称为成员交流机，按照功能不同可以分为以下角色：

主交流机（Master）卖力管理全体堆叠。
堆叠中只有一台主交流机。

备交流机（Standby）是主交流机的备份交流机。
堆叠中只有一台备交流机。

堆叠域：交流机通过堆叠链路连接在一起组成一个堆叠，这些成员交流机的凑集便是一个堆叠域。
为了适应各种组网运用，同一个网络里可以支配多个堆叠，堆叠之间利用域编号（DomainID）来以示差异。
堆叠成员ID：即堆叠成员交流机的编号（Member ID），用来标识和管理成员交流机。
堆叠中所有成员交流机的堆叠成员ID都是唯一的。
堆叠优先级：紧张用于角色选举过程中确定成员交流机的角色，优先级值越大表示优先级越高，当选为主交流机的可能性越大。
堆叠端口：专用与堆叠的逻辑端口，须要和堆叠物理端口绑定。
一个堆叠端口可以绑定多个物理成员端口，用来提高堆叠的可靠性和堆叠带宽。
每台设备支持一个堆叠端口，在堆叠功能未使能时，为Stack-Port1；在堆叠功能已使能时，为Stack-Portn/1，个中n为设备的堆叠成员ID。
堆叠物理成员端口：即被配置为堆叠模式的物理端口，用于堆叠成员交流机之间的连接。

▷CSS基本观点示意图▷

3.1.3 堆叠建立

▷堆叠组建过程▷

▷堆叠组建过程▷

2台交流机用堆叠线连接，并配置好堆叠干系的配置，堆叠系统即可建立。

主交流机选举

堆叠建立时，成员交流机之间互发堆叠竞争报文。
选择出主交流机，卖力管理全体堆叠系统；另一台则成为备交流机，作为主交流机的备份。
主交流机的选举规则如下（依次从第一条开始判断，直至找到最优的交流机才停滞比较）：

1.运行状态比较，优先启动的是主交流机。
--优

2.堆叠优先级比较，优先级高的是主交流机。
--高

3.软件版本比较，软件版本新的是主交流机。
--新

4.主控板数量比较，主控板数量多的是主交流机。
--多

5.桥MAC地址比较，桥MAC地址小的是主交流机。
--小

堆叠建立后主交流机的主用主控板成为堆叠系统主用主控板，作为全体系统的管理主角色。
备交流机的主用主控板成为堆叠系统备用主控板，作为系统的管理备角色。
主交流机和备交流机的备用主控板作为堆叠系统候选备用主控板。

软件版本和配置同步

组建堆叠的两台交流机的软件版本不须要相同，只要版本之间兼容就可以，当选择出主交流机后，如果主备交流机的软件版本不一样，备交流机会从主交流机高下载新的软件版本，利用新的软件版本重启加入堆叠。

堆叠具备严格的配置文件同步机制，用来担保堆叠中的多台交流机能够像一台设备一样在网络中事情。

堆叠建立时，成员交流机在启动开始阶段利用各自的配置文件启动。
启动完成后，备交流机会将本设备的堆叠干系配置合并到主交流机的配置文件中，形成堆叠系统的配置文件。
堆叠正常运行后，主交流机作为堆叠系统的管理节点，卖力将用户的配置同步给备交流机，从而使堆叠内各成员交流机的配置随时保持同等。

通过即时同步，堆叠中的所有成员交流机均保持相同的配置。
纵然主交流机涌现故障，备交流机仍能够按照相同的配置实行各项功能。

3.1.4 堆叠管理

堆叠系统对外呈现为一台虚拟设备，与其他设备通信时，具有唯一的IP地址和MAC地址。
堆叠建立后，成员交流机组成一台虚拟设备存在网络中，主交流机统一管理全体堆叠系统。
我们可以通过任意一台成员设备登录堆叠系统，对全体堆叠系统进行管理。
无论利用什么办法，通过哪台成员交流机登录到堆叠系统，实际上登录的都是主交流机。

登录堆叠系统的办法：

本地登录：通过任意一台成员设备的Console口登录。
远程登录：通过任意一台成员设备的管理网口或其他三层接口，以Telnet、STelnet等办法远程登录。

3.1.5 本地优先转发

Eth-Trunk接口会通过HASH算法选择转发出接口，进入堆叠的流量可能会跨设备转发，但是由于堆叠线的带宽有限，跨设备的流量转发增加了堆叠线的带宽承载压力，也降落了流量转发的效率。
此时，可以通过使能堆叠设备的流量本地转发功能办理此问题，从本设备进入的流量，优先从本设备的出接口转发出口；如果本设备的出接口故障，则流量跨设备从其它成员交流机的接口转发出去。

▷流量本地优先转发示意图▷

如图，堆叠设备未使能流量本地优先转发功能，会有一部分流量经由堆叠线从SwitchB转发，设备启用了流量本地优先转发功能后，从SwitchA进入的 流量优先从SwitchA的出接口转发。

配置的命令：

[~SwitchB] interface eth-trunk 1

[~SwitchB-Eth-Trunk1] undo local-preference disable

#在堆叠设备上使能Eth-Trunk接口流量本地优先转发功能

3.1.6 堆叠分裂以及双主检测

堆叠系统建立后，主备交流机之间会通过堆叠线缆定时的发送心跳报文来坚持堆叠。
当是故障不可避免，一旦堆叠线缆或主控板故障，交流机重启都会使得堆叠系统分裂成为2台独立的交流机。
如图所示：

▷双主故障▷

分裂后的2台交流机，彼此不知道对方的状态，此时原来主交流机的角色不变，原来备交流机的角色成为主交流机，“双主”涌现，这两台交流机在全体网络中表现为一样的信息，会以相同的IP和MAC地址与外界的设备通信，导致IP地址和MAC地址冲突，引起网络故障。
因此我们须要避免双主的涌现----双主检测技能。

双主检测DAD（Dual-Active Detect）是一种检测和处理堆叠分裂的协议。
配置双主检测后，主交流机在检测链路上发送DAD竞争报文。
堆叠分裂后，分裂成多部分的堆叠系统互发竞争报文，并将吸收到的竞争报文信息与本部分竞争信息做比较，如果本部分竞争胜出，则不做处理，保持Active状态（正常事情状态），正常转发业务报文；如果本部分竞争失落败，则除保留端口外的所有业务端口Error-Down，转入Recovery状态（业务禁用状态），停滞转发业务报文。

堆叠分裂与双主检测DAD竞争规则如下（依次从第一条开始判断，直至找到最优的交流机才停滞比较）：

1.（仅主控板直连办法涉及）整机业务口Error-Down状态比较，交流机上不存在以下Error-Down的优先竞争胜出：

a.因无转发链路而导致的整机业务口Error-Down（no-stack-link）。

b.因接口板和交流网板之间的链路故障而导致的整机业务口Error-Down（fabric-link-failure）。
以上Error-Down同时存在时，Error-Down缘故原由是no-stack-link的交流机优先竞争胜出。

2. 堆叠优先级比较，堆叠优先级高的交流机优先竞争胜出。

3. 设备MAC地址比较，MAC地址小的交流机优先竞争胜出。

DAD的检测办法有以下几种：

业务口直连检测办法

特点：堆叠成员交流机间通过业务口连接的专用链路进行双主检测；业务口直连检测办法中DAD报文采取的是BPDU报文，因此直连检测链路还可以通过中间设备连接。

配置

interface 10ge1/0/5

dual-active detect mode direct

interface 10ge2/0/5

dual-active detect mode direct

优缺陷：须要单独占用10GE的业务端口，但是检测速率是最快的Eth-Trunk口代理检测办法

特点：堆叠与代理设备相连的跨设备Eth-Trunk链路进行双主检测；

配置：

堆叠系统

interface eth-trunk10

trunkport 10ge 1/0/5 #框式交流机的端口是10ge 1/1/0/5和10ge 2/1/0/5

trunkport 10ge 2/0/5

dual-active detect mode relay

代理设备

interface eth-trunk10

trunkport 10ge 1/0/1

trunkport 10ge 1/0/2

dual-active proxy

优缺陷：无需占用额外的接口，Eth-Trunk接口可以同时运行DAD代理检测和其它业务，须要代理设备，且代理设备必须为支持DAD代理功能的交流机（目前cloudengine系列交流机支持，S系统交流机自v200R003C00版本开始支持）

管理网口检测办法

特点：通过堆叠成员交流机的管理网口链路进行双主检测；管理网口必须配置IP地址，堆叠后全体系统只显示一个管理网口MEth0/0/0，只须要在这一个管理网口下配置IP地址。

配置：

interface meth 0/0/0/0

ip address 192.168.10.10 24

dual-active detect enable

优缺陷：实现最大略，不须要额外的接口，也不须要代理设备，

堆叠端口检测办法（仅CSS有）

特点：通过堆叠物理成员端口之间的链路进行双主检测。

配置：

interface stack-port 1/1

dual-active detect mode direct

interfacestack-port 2/1

dual-active detect mode direct

优缺陷：只有框式交流机且连接办法为主控板直连时，才可以利用堆叠端口检测办法。

DAD的故障规复机制

堆叠链路故障修复后，分裂成多部分的堆叠系统进行合并。
处于Recovery状态的交流机将重新启动，同时将Error-Down的业务端口规复正常，全体堆叠系统规复。

(未完待续）