【云+社区年度征文】带宽利用率提升50%，腾讯云联网架构方案解析

导语| 企业A是一家互联网公司，当前在云上计算资源已经接近10W核，华东地域专线流量24G+，资源部署以华东为主、华北、华南、西南等可用区为辅。该企业属于典型的混合云架构，本文主要分享企业A如何通过云联网架构优化实现带宽利用率提升50%？

云联网背景介绍

1.1.对等连接概述

对等连接（Peering Connection）是一种大带宽、高质量的云上资源互通服务，可以帮助打通腾讯云上的资源通信链路。对等连接具有多区域、多账户、多种网络异构互通等特点，支持 VPC 间互通、VPC 和黑石私有网络互通，满足不同业务的部署需求。

1.2.传统专线概述

混合云架构前期都是使用传统的专用通道打通用户 IDC 与云上 VPC。如果一根物理专线需要打通多个 VPC，您需要通过不同的 VLAN ID 分别创建专用通道来连接多 个VPC。

1.3.云联网概述

云联网（Cloud Connect Network，CCN）为您提供云上不同 VPC间、VPC 与本地数据中心间（IDC）内网互联的服务，具备全网多点互联、路由自学习、链路选优及故障快速收敛等能力。云联网覆盖全球20+地域，支持100+Gbps带宽以及最高可达99.99%的可用性，为您轻松构建极速、稳定、安全、灵活的全球互联网络，典型应用场景如下：

1.VPC 与 VPC 间高质量内网互联：在线教育多个地域的实时音视频系统、游戏加速多地域内网互联、多地域容灾架构。

2.VPC 与 IDC 间内网全互联：一个专用通道打通多个 VPC，实现单次接入全网互联，如混合云场景。

云联网优势：

企业A架构现状介绍

2.1.企业A混合云背景介绍

企业A核心业务位于华东地区，在上海有两个VPC，一个自建IDC。在北京、成都、广州、HK各有一个VPC，其中HK的VPC用于接入海外业务。最终通过对等连接以及传统专线通道实现所有云上VPC与自建IDC的互联互通（由于传统架构互联线路较多暂不提供具体拓扑，2.2和2.3提供了分解拓扑）。

2.2.公有云VPC通过对等连接互联架构

1.企业A上海地域当前是两个VPC，一个是业务VPC，另外一个是用于测试的VPC，同地域两个VPC之间理论上不限制带宽，除非底层数据中心的DCI互联带宽（DCI互联带宽都是上T级别）被打满才会导致同地域对等连接丢包；

2.企业A的少量海外业务通过香港2区的VPC做接入，再通过100Mbps的对等连接实现打通上海5区的核心业务VPC；

3.企业A分布在华东、华北、华南、西南的业务VPC通过对等连接全互连实现业务互访。

2.3.公有云VPC与自建IDC通过传统专线互联架构

名词解释：NGW（底层专线网关集群）QCAR（网络设备）QCPL（网络设备）IDC（数据中心）

1. 企业A公有云VPC到自建IDC每天峰值总流量24Gbps，正常四条10G专线均分流量为24Gbps*25%=6Gbps；
2. 当前企业A的传统专线架构是专线1与2、专线3与4相互备份，当专线1故障，那么专线1的流量会转发到专线2，所以每条专线的带宽使用率不建议超过50%；
3. 由于企业A业务快速增长，当前每条专线的带宽使用率已经达到60%。如果图2的专线1故障，就会有12Gbps的流量转发到专线2，最终导致专线2带宽拥塞而丢包影响业务；

2.4.当前互联架构的挑战

1. 公有云VPC之间互通要建立全互连的对等连接，并且每次增加VPC都有增加大量对等连接和路由，最终导致维护成本越来越高；
2. 跨地域对等连接的底层网关集群故障无法自动切换路由恢复，止损耗时久；
3. 企业A自建IDC到腾讯云的四条专线，如何实现中断任何一条，另外三条专线可用均分故障链路的流量，最终通过最低的成本解决丢包问题；
4. 企业A有四个公有云VPC需要和自建IDC互通，那么需要四个专线网关，以及16个BGP邻居和专线通道。后续每增加一个VPC就会增加四个专线通道，最终导致专线的运维成本增加。

云联网改造方案介绍

3.1.公有云VPC通过云联网互联架构设计

1. 企业A所有VPC只需要加入新建云联网实例，即可实现相互路由自动学习，无需维护大量对等连接和大量手工添加的路由；
2. 所有存量VPC以及后续增量VPC互通的流量都需要通过云联网实现，可以将该云联网实例看作企业A的虚拟骨干网；
3. 多AZ（可用区）网关集群容灾，可用性比对等连接更高；
4. 跨地域云联网网关之间会有拨测，最终选择最优路径来降低延迟，提升业务稳定性。

3.2.公有云VPC与自建IDC通过云联网互联架构设计

名词解释：CCNGW（云联网类型专线网关）QCAR（网络设备）QCPL（网络设备）IDC（数据中心）

1. 企业A所有VPC以及四个专线网关都加入同一个云联网实例最终实现相互访问，并且无论几个VPC和自建IDC互通只需要4个专线通道即可（简化配置复杂度，简单可靠）；
2. 云上VPC路由下一跳是云联网，然后通过ECMP（负载均衡）四份流量到4个云联网专线网关，最终通道底层路由将流量通过四条物理专线转发到自建IDC（逻辑转发路径：VPC---CCN---专线网关---专线---IDC）；
3. 假设企业A的物理专线1再次中断，那么QCPL1无法收到自建IDC的BGP路由。最终通过路由收敛使得云联网将流量转发给云联网专线网关2-4，从而实现任意一条物理专线故障都会将流量均分给其他三条专线；
4. 在成本不增加的情况下，通过云联网的改造将专线带宽利用率从理论值50%提升到75%实现降本增效。

云联网改造总结

4.1.云联网改造对企业A业务的实际收益小结

1. 企业A所有云上VPC不必两两之间创建对等连接，只需要加入云联网即可实现全部的互联互通，降低了云上VPC的运维成本；
2. 企业A跨地域VPC互通的网关集群实现多AZ容灾，提升跨地域互通的可用性；
3. 企业A的四条专线峰值总流量24Gbps情况下中断任意一条都会通过路由收敛自动恢复业务，不必依赖于被动等待专线修复或者降级其他业务来恢复，最终提升专线的高可用性；
4. 企业A云上VPC与IDC互通只需要创建4个BGP邻居即可，也不必为每个云上VPC创建专线网关，最终极大降低专线的运维成本；

4.2.云联网改造注意事项

1. 线上业务改造需要很谨慎，建议前期做好深度调研，比如相关业务特征，带宽容量评估，当前架构的梳理，当前架构的缺点，新架构是否解决老架构缺点，各个地域的改造难度，是否可以平稳切换到新架构等；
2. 双方一起确认新架构灰度基本步骤，基本原则是先灰度测试VPC，然后按VPC业务量从小到大的顺序进行灰度；
3. 未使用过云联网的用户建议先创建测试VPC熟悉云联网配置方法，推荐文档：https://cloud.tencent.com/document/product/877/18752
4. 对等连接迁移云联网配置文档：https://cloud.tencent.com/document/product/877/18854
5. 传统专线网关迁移云联网专线网关配置文档：https://cloud.tencent.com/document/product/877/31037
6. 真正灰度前拉通腾讯云网络专家评估新老架构的底层网关路径差异，网关集群的带宽容量，底层路径MTU差异，云联网限速算法（截止2020年11月依然存在均分算法和分布式算法两种，出于带宽利用率最大化考虑建议分布式算法）等；
7. 每次灰度迁移都需要有明确的变更步骤、验证步骤、回退步骤，最终来确保灰度顺利完成；
8. 每个账号云联网数量限制5个，每个云联网可以绑定的网络实例（例如VPC就是一个网络实例）数量限制25个；
9. 云联网跨地域带宽限速方式有两种，一种是地域出口限速（单地域云联网总的出口限速），另外一种是地域间限速（地域A到地域B之间的带宽限速）；