数据是人类活动的基础，数据随着人类的发展，产生了爆炸式的增长，数据的管理和传递越来越成为人类活动的基础。海量的数据产生后，相应的提出了数据的安全、数据的集中管理、数据的可靠性传送、数据的快速处理等需求，数据中心就是为了解决和满足这些需求应用而生。为了支持和满足新形势下的数据中心建设要求，位于核心位置的交换机系统成为关键的设备。
以太网经过近30年的发展，带宽从10M开始，分别经历了100M、1000M、10G、40G、100G的发展阶段，现阶段10GE的以太网已经批量的应用，40GE和100GE的以太网开始逐步应用。因此，这也对承载以太网带宽发展的核心交换机提出了要求。
数据中心网络和以太网标准的发展，都对新一代核心交换机提出了更高的要求。什么样的系统架构才能更好的支持数据中心网络建设的发展?才能更有效的支撑以太网标准的演进?本文就是带着这个问题，深刻解析了交换机架构近十几年来的发展，从硬件架构、高速链路、整机系统、端口密度等多个角度、多个领域进行分析，展现给大家一个核心交换机不同阶段的发展历程，从而说明新一代核心交换机的体系架构应具有的核心要素。
核心交换机硬件架构的发展
核心交换机的发展经历了下面几个阶段，从最初提供FE汇聚和GE上行接口，到后来的GE汇聚和10GE上行，目前已经演进到10GE/40GE汇聚，100GE上行阶段。不同的演进阶段对核心交换机的硬件架构要求是不一样的。
2000年～2006年，阶段一，高密FE/GE接入汇聚，少量10GE上行
这个阶段的核心交换机以中心交换加LSW为主构成，中心交换主要是以太交换芯片为主，线卡单板以FE/GE和少量10GE的LSW作为接口芯片，背板链路以1.25G～6.25Gbps为主，线卡提供48GE线速转发，业务处理基本以二层和三层为主，QoS处理主要以简单的优先级队列调度为主。典型的产品有CISCO 4500/6500、H3C 6500/7500等。
▲图1：阶段一的核心交换机架构
这类产品的应用范围满足了FE/GE接入和少量10GE上行的场景，在数据中心领域以GE服务器为主的场景下，可以满足少量服务器组成的小型数据中心网络。
2006年～2012年，阶段二，高密GE/10GE接入汇聚，少量10GE/40GE上行
在这个阶段，中心交换的形态很多，有的是共享缓存的简单交换网，有的是集中仲裁的交换网，还有以6.25G为主的CLOS交换架构。线卡单板以GE和10GE的LSW作为接口芯片，少量40GE上行接口为主。背板链路以5G～10Gbps为主，每线卡槽位的带宽小于480G，目前最大能力16～48*10GE线速转发，业务处理基本以二层和三层为主，具有简单的HQoS调度，缓存范围很广，依赖于LSW芯片，有的交换机是2ms/端口，有的是10ms/端口。典型的产品有CISCO N7000、H3C 10500/12500等。
▲图2：阶段二的核心交换机架构
这类产品的应用范围满足了GE接入和10GE上行的场景，在数据中心领域以GE服务器为主的场景下，可以满足GE服务器组成的中、小型数据中心网络。
2012年～2020年，阶段三，高密10GE/40GE接入汇聚，少量100GE上行
这个阶段的核心交换机以CLOS动态路由交换为主，线卡单板以具有复杂业务处理能力的PP芯片为主，提供高密度的10GE/40GE线速转发和业务处理，少量100GE上行接口为主。背板链路以10G起步，未来可演进到25Gbps，每线卡槽位的带宽是1T～4T为主，目前最大能力48～96*10GE线速转发，或者24*40GE线速转发，具有完善的QoS处理能力，能支持比较大的缓存，可以达到100ms/端口。典型的产品有华为即将推出的CE12800。
▲图3：阶段三的核心交换机架构
这类产品的应用范围满足了高密度10GE/40GE接入的场景，按照服务器的发展演进，从2012年开始将主要以10GE服务器为主，在2015年逐渐出现40GE服务器，因此这个阶段的数据中心核心交换机必须能提供高密度10GE/40GE接口，满足10GE/40GE服务器组成的大、中型数据中心网络。
华为CE12800作为新一代核心交换机产品，具备了高密度10GE/40GE、带宽1T~4T、完善的QoS处理和每端口至少100ms的大缓存能力，是新一代交换机的旗舰产品。通过上述三个阶段的分析，我们可以得出不同阶段的核心交换机的产品竞争力属性：
核心交换机端到端高速链路的发展
我们知道在核心交换机中，最重要的属性是高密度、高带宽，而支撑高密度和高带宽属性的是系统内的高速链路，简单的说如果我们核心交换机的背板是10G的链路，那我们的单板就可以支持48*10GE线速;如果是25G的链路，那我们的单板未来就可以支持48*100GE线速。因此，核心交换机怎样才能支持更高速的链路，是核心交换机长期演进面临的重要课题。下图展示了一个典型的核心交换机系统中，端到端高速链路由哪些部分组成。
▲图4：核心交换机端到端高速链路组成示意图
我们从图中可以很显然的看到，高速链路从一个芯片的一个管脚输出后，经过线卡PCB、背板连接器、背板PCB、背板连接器、线卡PCB输入到芯片输入端，在中间传输过程中，为了更好的提升高速链路的性能，特别需要做好两件事，一是尽量降低到端到链路的长度，二是尽量降低中间连接器的串扰。
1) 降低端到端的走线长度
为什么要降低端到端走线长度，下图很好的解释了这个原因。
▲图5：核心交换机端到端高速链路插损描述
上图中X是信号的通道损耗(db)，Y是信号的误码率。上图综合描述了通道损耗(IL)对误码率(BER)的影响，在板材、层叠等相同的情况下，高速通道的损耗主要由走线长度决定，可以看到在相同误码率条件下通道越短就可以支持更高的信号速率，而在信号速率确定的情况下通道越短，就可以获得更加理想的误码率。
因此如何降低高速通道的走线长度是核心交换机演进能力的重要体现。我们分析核心交换机的架构，可以看到走线长度是由线卡走线+背板走线组成，如果把背板的走线降低为0，就可以大大缩短端到端的链路走线，这就是下图新一代核心交换机采用的正交架构，背板上的高速链路走线为0。
▲图6：核心交换机正交架构
核心交换机的线卡和交换网板，直接通过正交连接器对插，省掉了中间背板的走线连接，因此端到端的走线控制在最短，高速通道的阻抗一致性更好，能够保证在更高的带宽下通道的平顺性，以支持系统实现更高速率演进的能力。
2) 提升高速连接器的性能
前面的分析我们也看到，除了降低走线长度，提升高速链路性能的另外一个重要环节是背板的高速连接器，高速连接器的串扰对性能影响最大，10G~25G链路，最好的连接器串扰小于35dB。
对于高速连接器来说，串扰的属性很大程度上受连接器Wafer之间的距离影响，而目前业界主流的连接器，Wafer距离一般都处于2mm左右，并不能很好的满足高速连接器串扰的要求，新一代核心交换机要支持更高的速率，必须采用新一代的高速连接器。上一代的连接器是无法满足核心交换机长期的演进发展的，目前业界主流的核心交换机都是基于上一代的高速连接器设计，高速链路的性能基本上到10G已经到了极限，不再可能升级到更高速率，也就不具备未来支持48*40GE/100GE的能力。
华为CE12800核心交换机作为新一代的核心交换机，采用了高性能的正交体系架构，与业界主流的连接器厂家合作开发了2.7mm的新一代正交高速连接器，能支持从10G向25G的演进，很好的满足了未来4T的槽位带宽演进需求。
核心交换机整机散热系统的演进
核心交换机的整机散热发展也经历了传统的横向风道设计、前后进风的风道设计，现在正在向严格的前后风道设计方向发展。在原来以FE/GE、非线速10GE为主的系统中，单板功率小，散热要求不高，横向风道或者非严格的前后风道都是可以满足要求的;在后续以高密度线速10GE/40GE为主的核心交换机系统中，单板功率增加，严格的前后散热风道成为必须满足的架构要素。
为什么在数据中心领域，一定是前进风、后出风的散热风道最能满足要求，下图详细描述了数据中心机房建设的风道设计和要求，相应的核心交换机要能满足这个严格的前进风后出风的散热风道。
▲图7：数据中心机房冷热风道严格的隔离散热
在数据中心建设中，节能减排是最重要的属性，为了提升设备的散热效率，降低对机房的能耗要求，因此采用严格的冷热风道隔离，一排机柜是前面集中送冷风进来，通过设备的散热交换，机柜后面集中回收热风，因此要求核心交换机必须是前进风后出风，才能很好的满足数据中心机房建设的要求。
1) 传统的横向散热风道
传统的核心交换机通常以左右横向风道作为整机系统，这类交换机在机柜中应用时，由于是横向风道，热风会在机柜中回流，导致散热不够充分，无法满足大功率单板的散热，因此这类交换机通常支持300W以下的单板散热能力，下图是这类交换机的散热风道。
▲图8：传统横向风道的核心交换机散热
可以看到横向风道的交换机安装在机柜内时，由于风道是从左到右或者从右到左，机柜两侧的侧壁是密封的，当热风碰到机柜侧壁时，热风会沿着机柜侧壁和交换机的上、下空间回流到进风口，导致进风口的温度至少会升高15°C以上，长期运行会影响系统的可靠性和单板的散热能力，也无法支持大功率、高密度的10GE/40GE单板。
这也是为什么数据中心机房建设一直在强调的要区分严格的冷热风道的原因，要严格的把进风口和出风口隔离，避免热风和冷风混合，导致进风口温度提升，带来散热和功耗上升的弊端。所以传统的横向风道的交换机是无法满足数据中心建设的需求的，严格来讲，这类交换机在园区网领域应用时也会有问题，无法支持更大功率的单板。
这类设备的典型代表是H3C S10500/9500E/7500E，CISCO N7018/7009等。
2) 改进型的前、后进风，后出风的散热风道
为了满足数据中心冷热风道严格区分，部分厂家对核心交换机进行了整机系统的改进，其中比较典型的是前后进风、后出风的散热风道，如下图。
▲图9：改进型的前后进风的核心交换机散热
可以看到改进型的核心交换机相比传统的横向风道的交换机，在整机系统上做了一些改进，冷风也可以从设备前面进风，从设备后面出热风，但这种改进在数据中心应用时，还是满足不了要求，因为改进型的设备后面部分的单板还需要从设备的后面进风散热，我们知道数据中心风道是冷热严格区分的，这样就又会像传统横向风道的交换机一样，带来冷热风道混合的问题，无法满足高密度单板的应用。
3) 严格前后风道隔离，高效的前进后出直通风风道
从前面核心交换机的整机系统分析来看，无论是横向风道还是改进型的前后风道，都不能很好的满足数据中心冷热风道严格隔离的要求，因此新一代核心交换机采用了冷热风道严格隔离，前进风、后出风的直通风散热风道，大大提升了核心交换机的散热能力，可以满足每槽位1000W的散热能力，为后续提供48*40GE/100GE的高密度、大带宽的单板提供了基础。下图是新一代核心交换机的整机系统风道。
▲图10：严格的前进风后出风的核心交换机散热
严格的冷热风道隔离的核心交换机非常好的匹配数据中心机房需求，满足了前进风、后出风的散热风道，同时采用直通风的方式，不经过中间任何形式的阻挡，降低了系统的风阻，提升了系统的散热效率，实际测量显示，直通风的散热风道能提升30%的散热效率。
华为CE12800作为新一代核心交换机，采用严格的前进风、后出风的直通风散热风道，大大提升了系统的散热效率，每槽位的散热能力达到1000W，满足未来高密度40GE/100GE单板的散热要求。同时，由于高效的散热效率，使得华为的CE12800系统可以长期工作在高温45度的环境下，如果数据中心机房工作温度提升到45度，整个机房可以节省2/3的能耗。
核心交换机端口速率和密度的演进
核心交换机依托于以太网标准的发展而发展，以太网的端口速率从10M开始，每隔几年会向上发展一个台阶，目前最新的是已经标准化的100GE端口，因此新一代的核心交换机必须能支持高密度的40GE和100GE接口。
▲图11：以太网标准的发展历程
新一代核心交换机除了能支持FE、GE和10GE接口外，还要能支持40GE和100GE接口，同时在端口密度上要能支持24和48等。也就是说，新一代核心交换机要能支持24*40GE、48*40GE、24*100GE等端口的线速转发能力。
华为CE12800是面向高密度100GE接口能力的核心交换机，当前第一个版本就支持24*40GE的线卡，是业界主流友商的4倍。由于采用了先进的体系架构，具备向25G演进的能力，产品后续可以提供48*40GE、24*100GE、48*100GE的能力。
华为CE12800，重新定义了新一代核心交换机华为CE12800是面向新一代10GE/40GE服务器组成的数据中心网络，是建设超大型和大型数据中心网络的核心设备，提供1T～4T的带宽能力，采用了严格的前后散热风道，具备1000W的槽位散热能力，具有100ms的大缓存能力和完善的QoS，是面向未来10年的核心交换机产品，它的出现重新定义了核心交换机的竞争属性，能满足云计算网络建设的需求。