网络设备硬核技术内幕 交换机篇 10 倚天屠龙(上)

武林至尊，宝刀屠龙，倚天不出，谁与争锋？

交换ASIC就是这倚天剑与屠龙刀。想知道倚天剑和屠龙刀里面的秘密吗？请大家继续关注这个专题。

在上一阶段专题最后，我们提到了光模块是连接在交换机的Serdes上的。请大家注意到一个细节：

CFP2 100G光模块是由10个10G拼成的，而QSFP28光模块是由4个25G拼成的。那么，为什么不同交换机的100G以太网接口实现不一样呢？

这就涉及到交换芯片了。

来看一个CFP2 100G交换机接口的实例：

这是Arista 7500E交换机的DCS-7500E-6C2-LC 线卡结构图。

这块接口卡上有6个CFP2 100G 接口，每个接口在交换机上通过10组10G的Serdes实现，连接到CFP2 光模块。

由于包处理ASIC为Broadcom StrataDNX系列的

Arad+ (BCM88660)，它只具有200Gbps/300Mpps的处理能力，单块线卡需要使用3片Arad+实现6个100G接口。各包处理ASIC之间的交换通过交换网板上的FE1600交换网实现。

Broadcom StrataDNX系列的新一代Jericho芯片，由于支持25G Serdes，大大提升了接口密度。

下图是CISCO N9500交换机上X9636C-R线卡的示意图。

每块线卡上有6颗Jericho芯片，每颗芯片有24条25G Serdes到前面板的6个100G QSFP28接口。Jericho芯片之间通过交换网板FE3600互通。

基于10G Serdes的Arad+最多单线卡可以支持12个100G接口，而到了25G Serdes时代，单线卡就可以实现36个甚至48个100G接口了。

对于盒式交换机也如此。让我们看一个栗子：

这是Alpha Networks SNX-61A0-486T的结构框图(局部)。Alpha Networks SNX-61A0-486T

这款交换机采用了Broadcom StrataXGS系列的Maverick (BCM56760)，它支持72组万兆Serdes，其中48个万兆口为RJ45万兆电口。为了让XFI Serdes转换为万兆电口，每4个电口采用了一颗Phy芯片。

另外24个万兆Serdes每4个一组，作为40G接口使用。

盒式交换机的Serdes速率，在Tomahawk时代开始，Trident3（TD3）时代进入主流。

Broadcom的StrataXGS系列中，TD3于2017年下半年正式发布，2018年上半年基于TD3的交换机开始商用。

HPE FlexFabric 5945就是一款基于TD3的交换机。

FlexFabric 5945的32口100G款型的实现框图如下：

而48口25G+8口100G款型的实现如下：

可以看出，由于TD3(BCM56870)系列支持25G Serdes，因此可以支持25G以太网，以及用4个25G Serdes拼成一个100G以太网QSFP28接口。

我们会发现，HPE基于Trident2+的FlexFabric 5940 系列，有两个款型分别是48口万兆光+6口100G QSFP28，48口万兆电+6口100G QSFP28。而大家知道的是，QSFP28内部是4个25G。怎么样可以让Trident2+支持25G Serdes呢？

答案在这里——

如图，我们可以在TD2+交换芯片外面开外挂——

在光模块的专题中，我们提到了一种芯片叫gearbox。BCM82792芯片就是gearbox中的一种。

它可以将24路10G Serdes转换为8路25G，也就是2个100G。

BCM56868支持128组10G Serdes。拿出48组作为48个万兆电或者万兆光。

另外拿出72组Serdes，每24组连到一片BCM82792，可以转换为2个QSFP28，这样实现了48个万兆+6个100G。

老司（交换）机们都知道，对于40G以太网接口，可以通过一条命令

using tengigabits 来把组成40G以太网接口的4个10G分开，通过一分四MPO-LC光纤用来连接4个10G以太网接口。同样地，对于QSFP28形式的100G接口也可以将4个25G一分四。

但是，通过gearbox转换得到的4个25G，是不能做一分四的，只能工作在100G下。这就是FlexFabric 5940的100G口不支持一分四，而FlexFabric 5945可以支持的原因。

本期没有隐藏错误，但是留了一个小问题：

FlexFabric 5940有一种 32口 QSFP+ 40G的款型，也是由支持128个10G的TD2+芯片实现的。它最多只有24个40G口可以一分四，为什么另外八个不支持呢？

上期问题答案：

CFP2光模块单模实现需要将10对serdes信号通过phy复用到1对光纤上，而多模是使用10个LED和10个光电管，通过10对光纤传输100G以太网的。