Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >OCP大会 | 腾讯云Open DCN Networking(附PDF)

OCP大会 | 腾讯云Open DCN Networking(附PDF)

作者头像
腾讯技术工程官方号
发布于 2019-01-29 06:49:07
发布于 2019-01-29 06:49:07
19.3K0
举报

导读:1月15日,首届OCP中国技术研讨会在深圳召开,本次会议是由腾讯云和OCP国际社区合办。在大会现场,腾讯专家工程师瞿孝荣在OCP技术研讨会上发表名为《腾讯云Open DCN Networking 》的演讲,以下为演讲全文。瞿孝荣,长期从事网络系统及软件架构设计工作。早期在思科参与研发多款路由器,核心交换机的工作。其后在华为,博科,擎发等公司负责SDN策略,数据中心系统研发,及超大型数据中心商业交换芯片开发工作。

今天很高兴来跟大家分享见证开放和开源生态环境对腾讯云数据中心网络系统研发帮助。

这里我列出了有关开发性网络所具备的多个关键特性,本意不是来定义什么是OpenNetworking,而是想把观察到的开放式网络里面的关键模块列在这里来讨论。说明一下, 紫色所代表的几个模块是开放性网络重要特征及能力,但不在我这次讨论的范围里,我今天要交流的是Intertion based Proceses, Open Source Software, SDN, Automation,和Open Network Device这几个关键部分,想从这几个部分来说明我们是如何得益于开放和开源的生态环境。

2004年我还在思科工作的时候,陆续有几位同事去了谷歌,后来听说2004年谷歌已经开始做自己的网络交换机的研发项目。那时候我是抱着怀疑的态度,因为那是2004年,谷歌必须自己开发所有网络系统关键部分软件,从一个传统系统研发角度,我以为最后系统稳定性及完整性都会输给系统厂商产品。事实上, 谷歌的确聘请来大量的开发人员, 也确实独立开发了大部分软件平台, 比方说, 其中一个开源IP路由协议软件quagga,谷歌是贡献最多的。但同时,自研系统高度定制化同时大大减少了系统特性, 及复杂性, 谷歌DCN自研系统已经成功部署使用多年了。 超大型数据中心自研系统的必要性不是今天讨论重点, 这里只是想比较14年前后开源开发社区的发展。

大家请看现在我列在这里的开放式生态环境所有的模块,14年后的今天, 几乎每个领域都有非常稳定开源软件。14年来,北美多个OTT公司在自研网络系统上的工作已经向业界证明自研设备系统软件的可行性,并充分体现了自研模式在质量可控性、成本控制力,支持业务所需的灵活性、对业务需求的响应速度各方面为云业务提供竞争所产生的优势。我也是满有信心的在去年加入腾讯,来负责数据中心自研系统开发项目。

来到腾讯后, 我们大家一致同意需要加大力度开发一套数据中心网络系统,包括硬件,操作系统和网络管理平台。 而且要求充分利用开源、开放的生态环境来加速产品落地。这页胶片里面我列出的我们需要在网络系统研发中,需要研究、跟踪的开源模块,在后面还有一些照片会展示这些模块每个功能的使用方式。或直接使用、或共同开发。第一个部分,这些都是网络协议的开源(图),SDN方面也有很多。我这里列了一个Co-development,这指的是不仅享受已有的成熟开源平台,我们也在尝试着和研究所、大学共同开发一些跟SDN相关的网络协议和网络功能。再来看第三块,大家注意到,我把两个模块叠到一块,因为它们是相关的:基于意图的能力和自动化。

最后这个方块是open device, 在这方面,腾讯在硬件方面也开始尝试着和设备厂商直接设计开发,先是开始跟有能力的OEM盒子保证设备稳定性。对我们来说,我们需要的白盒子,生产白盒子的就是我们的ODM。和我们一起合作、一起设计的厂家都是ODM,大家看到我们将来的合作厂商不仅是传统上的ODM,对我们来说就是业务关系,即我们共同开发。

现在,我们来到了有关SONiC的部分,这个基本模块就是网络操作系统,SONIC是在OCP社区力提供的一个开源网络操作系统。左边(图)有四个紫色模块,我不是从技术上说一个小模块是单独的模块,只是想说明到今天为止我们借助于SONIC的开源平台上做了一些再开发。比如 “Tencent NOC”并不是一个单独的模块,意思就是说为了在腾讯内部、网络设备上线部署的时候和网络过程自动化、网络监控、网络配置自动下发要做一些适配工作,这个工作我们已经完成了。其实,这个工作是在多个模块里面,这里为了方便表示, 就用一个柱子来表示。因此, 大家一定又看到我们也在这个网络中开了一些可视化能力,包括INT等。这是我们基于开源的SONIC平台第一个上线的操作系统。腾讯之所以能在短时间里开发出一套灰度上线的DCN网络操作系统,很大程度上得益于SONiC这个非常活跃的开源社区的工作。

我们的工作在2019年先部署在DCN TOR/SPINE的网络位置上, 这页胶片里有个Future SONiCenabled Fabric,这部分工作是我们规划的后一段阶段性工作部分。

刚才讨论的是最基本的网元能力,而下面这页胶片的题目是OpenDCN Network in making,是描述我们计划开发的一套闭环的智能化自运营系统。

这是一个非常复杂的系统平台, 从最右往左讲。第一,这是一个网络拓扑,一个网络能力,我想特意说明在DCNNetwork里面, 基于腾讯云网络架构,智能网卡能力,我们这里有很多可再开发优化与合作的空间、机会。比如说在SDM框架下,大架构一切从简,从芯片到驱动, 到协议软件都会因此而变得简单,稳定。 大家常说网络就是交换网 (network as a fabric),那我们在这个框架下,就可以再看看芯片是否需要特别复杂的特性?将来的网络里面只需要一个基于信元格式转发的概念,从这个概念角度出发,除去其他冗余部分,曾经和一位芯片架构师核实了一下,再fixed的流水线芯片架构基础上,的确能去掉很大一部分的冗余部分。在当今高性能芯片设计里面大家在挣扎的寻找更多空间去装各种特性逻辑的时候,我们特定需求其实可以释放那些压力。 但在芯片转发演进同时, 其相应管理, 控制也可以优化。实际上标准组织IETF已经注意到网络互联协议在特定拓扑的情况下可以优化,这个新draft叫RIFT,大家有兴趣的可以去看看。

腾讯也在跟大学合作,从设备拓扑固定的前提下, 尝试优化协议拓扑计算,取得快速收敛的效果,这也是有很多一起开发、合作的东西。再往左,网络本身在超大规模的情况下离不开自动化,只有自动化才能scale,但自动化是双刃剑,自动化搞得好有效率,但破坏性也很大。我们引进自动化的同时发现还需要抓更多一些辅助能力,我们又要做一些合作开发。我们获得了一些开源工具,包括网络配置解析工具。 胶片前面有这一个模块是在网络验证上的开源工具,当然还有需要产品化优化的空间,但它确实是一个很好的平台。

这张胶片里面还有多个自动化相关模块。 Workflow自动化,可以帮助网络建设高效准确的更加需要创立网络拓扑, 设备选型, 网络配置。

网络策略自动检测,网络互联仿真可以及时发现新配置下的软件bug,或配置逻辑问题。

这个系统从对网络描述语言/模板里获取网络意图, 做到网络拓扑自动生成到自动配置、到所有变更的验证、到最后网络的模拟,再到网络的策略部署,最后是网络运行中的反馈。

这一套工具和自运营系统都需要很多工程开发。我们作为后来者,得天独厚的享受开源和开放社区带来的好处。

今天我更多是作为见证,因为我们这个项目还很年轻,但是不影响我们有一个比较完整的野心。能为云带来价值的不是一套设备操作系统,而是一套能自我智能运行的一套系统,这是腾讯云网络研发项目后面几年想借助于开源开放社区给我们带来的能力,想自己开发、自研合作一套完整的系统,这张图片包括我们后面几年的一些野心和想法(图)。

现在的成果是,第一张照片有两款设备(图),这是TOR设备,48个25G、8个100G上行的,右边是效果图,因为我们的设备要在二月底才能来,这也是我们跟厂商合作设计研究的一款128个100G的设备,是4U的,将来放在Spine的位置。从我们的规格里面可以看见,我们的这款设备时间有明显的OCP影响,在OEM一般看不到BMC的配置,这是我们的设计,完全参考于OCP设计和我们特定的需求。

这页是将来的大致路标规划(图),2019年底希望能把软件和设备测试稳定后有一定规模的部署。大家一定注意到,我们以Broadcom芯片为主。也会迭代最新Broadcom芯片。但同时我们也有意去引进新供应商芯片,灰色的是规划中的,我们的执行风险是人力资源和新型芯片成熟度。

今天我分享到此为止,强调一下,作为一个后来者,腾讯网络研发、系统研发、光模块自采充分体现了现在的生态能力、环境、给我们提供开源开放的资源,非常感谢OCP提供这个平台。谢谢大家。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-01-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 腾讯技术工程 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
开放性数据中心网络系统
欢迎关注公众帐号“鹅厂网事”,我们给你提供最新的行业动态信息、腾讯网络与服务器最接地气的干货分享,还有一大波互动交流板块和有奖活动正在筹备当中,需要您的热情参与哦,敬请期待! 注1:凡注明来自“鹅厂网事”的文字和图片等作品,版权均属于“深圳市腾讯计算机系统有限公司”所有,未经官方授权,不得使用,如有违反,一经查实,将保留追究权利; 注2:本文图片部分来至互联网,如涉及相关版权问题,请联系v_huanjian@tencent.com 导读:1月15日,首届OCP中国技术研讨会在深圳召开,本次会议是由腾讯云和
鹅厂网事
2019/05/16
1.3K0
开放性数据中心网络系统
腾讯自研交换机标准化之路:S³IP实践
前言     云业务高速发展,数据中心网络基础设施的规模也随之爆发式增长,为了应对海量设备在质量、效率、成本方面带来的诸多挑战,腾讯于2018年启动了自研交换机项目。自研交换机采用“白盒硬件”加“自研NOS”模式,通过硬件方面严格把控设计,软件方面基于开源SONiC(Software for Open Networking in the Cloud)深度自研的TCSOS(Tencent Cloud Switch Operating System),从2019年在25G数据中心首次批量部署,到如今在基础网络所
鹅厂网事
2023/01/18
2.5K0
腾讯自研交换机标准化之路:S³IP实践
白盒交换机操作系统混战
白盒交换机的出现给了用户选择最佳软硬件平台的权利,它仅仅提供交换机硬件和ONIE(开放网络安装环境),用户可以自行选择最合适的交换机芯片,降低成本实现最大效益。但是白盒交换机没有软件是无法使用的,因此每个白盒交换机都需要一个操作系统,用于管理交换机硬件和软件。这个OS往下能整合所有芯片硬件,往上又能衔接所有应用。
SDNLAB
2018/08/16
3.1K0
白盒交换机操作系统混战
国外十大白盒网络供应商名单
SDN技术分离了对硬件和软件绑定的依赖,从 10 年前的 SDN 网络开始,许多初创公司开始为数据中心开发开放式网络系统和白盒交换机。
网络技术联盟站
2022/06/12
1.7K0
国外十大白盒网络供应商名单
开源NOS:SONiC大战DENT
近十年来,白盒交换机的市场越来越大,这几年甚至已经侵蚀了霸主思科的市场主导地位。 据IDC最新的全球以太网交换机市场报告显示,“其他”类别占全球以太网交换机收入份额超过五分之一。OEM 市场份额正在缓慢而稳定地增长,白盒交换机销量有时候甚至占到市场的四分之一以上。 随着白盒交换机市场份额的不断增长,人们对开源的网络操作系统需求也越来越强烈。SDN的高速发展促使白盒产业催生了一批开源开放的NOS。 提到开源NOS,很多人可能会第一个想到SONiC,目前SONiC已经打造了一个强大的生态系统,其主要成员包括
SDNLAB
2022/04/21
3K0
开源NOS:SONiC大战DENT
SONiC成为Linux基金会正式项目,阿里巴巴当选为国内唯一的创始成员
由微软在OCP发起的SONiC,历经数年发展,得到了业界的广泛认同,已经成为开源网络操作系统的事实标准,在各大互联网公司、大型企业、运营商得到了广泛的部署。 图1:快速发展的SONiC生态 4月14日,SONiC宣布成为Linux基金会正式项目!这标志着SONiC加入了全球最大的开源生态系统,SONiC可以在安全、网络、云、边缘/IOT、CI/CD、硬件等方面充分利用Linux基金会的成果,加速拓展SONiC的边界——从数据中心、到边缘、到广域网、到智能网卡,为实现SONiC成为网络行业的Linux这一宏
SDNLAB
2022/04/18
1.5K0
SONiC成为Linux基金会正式项目,阿里巴巴当选为国内唯一的创始成员
腾讯汤桢乾:腾讯自研交换机成长之路
“2020 SONiC产业生态研讨会”于9月19日圆满落幕,腾讯网络平台部汤桢乾带来了主题演讲《腾讯自研交换机成长之路》。
SDNLAB
2020/09/27
1.5K0
腾讯汤桢乾:腾讯自研交换机成长之路
一文读懂白盒交换机
We believe that a virtualized, open-source, white box approach is the best way to go.
SDNLAB
2022/12/14
6.5K0
一文读懂白盒交换机
腾讯自研交换机系统优化之路
一、Tencent NOS概述 SONiC is an open source network operating system based on Linux that runs on switches from multiple vendors and ASICs. SONiC offers a full-suite of network functionality, like BGP and RDMA, that has been production-hardened in the data cen
鹅厂网事
2020/09/18
3K0
OCP大会 | 腾讯开放光网络平台(附PDF)
导读:1月15日,首届OCP中国技术研讨会在深圳召开,本次会议是由腾讯云和OCP国际社区合办。在大会现场,腾讯专家工程师陈明刚在OCP技术研讨会上发表名为《腾讯云DWDM光交换系统设计》的演讲,以下为演讲全文。陈明刚,腾讯光网络架构师,负责开放光网络设计。研究方向主要为数据中心互联光网络的硬件解耦合、软件解耦合、光网络系统自动化。 本次分享的大纲 1. 数据中心光网络面临的挑战; 2. OPC-4:开放光网络的光层设备; 3. TOOP:腾讯开放光网络平台。 数据中心光网络面临的挑战 首先讨论一下
腾讯技术工程官方号
2019/01/24
2.2K5
OCP大会 | 腾讯开放光网络平台(附PDF)
SONiC项目的发展及其相关介绍
作者简介:郑敏先,任职于诺云信息系统(上海)有限公司,担任售前工程师。从事SDN、白盒交换机和云计算相关产品的推广工作。 在2015年3月举行的OCP(Open Compute Project,开放计算项目)峰会上, 微软向OCP贡献SAI (Switch Abstraction Interface,交换机抽象接口)。当年7月,OCP正式接纳了SAI 。 2016年3月9日,微软在这届OCP峰会上,正式发布了SONiC ( Software for Open Networking in the Cloud)
SDNLAB
2018/06/11
2.8K0
腾讯全自研200G/400G网络的创新与实践
前言 腾讯云业务的高速发展不但推动了云上层架构的创新,也对基础网络提出了更高的要求。一方面,池化让云资源的获取突破了服务器的边界,大量的数据流往返于服务器间,加大了网内的数据传输量。另一方面,随着存储介质、计算部件的性能提升,使得网络性能陡然成为新的瓶颈。在此趋势下,云基础网络向大规模、高带宽、低延迟的方向演进的诉求更加迫切。如今,腾讯网络平台部通过对自研交换机平台(TONS)以及开放光平台(TOOP)的产品升级,构建了全面自研的100G服务器接入、200G汇聚、400G数据中心互联的网络体系。 如果把当
鹅厂网事
2021/05/31
2.9K0
腾讯DCN——端网协同,极致性能
前言       业务的高速发展驱动了腾讯DCN(Data Center Network)数据中心网络的大规模建设,对此我们通过设备自研、自动化系统等手段打造了高质量、低成本、高效率的智能DCN。近年来,随着大数据以及人工智能时代的来临,对性能有着苛刻诉求的分布式系统对网络提出了更高要求。因此,在规模与应用双重驱动下,我们也将极致性能与极致运营并驾齐驱,通过端网协同,构建高吞吐、低时延、高可用的极致DCN。 1.构建大规模网络的核心能力:    底层极简,上层智能        回顾过去几年DCN的演进历
鹅厂网事
2022/03/24
3K0
网络转型中的设备硬件形态选择初探
江湖,武侠门派众多,武功众多,不一样的武功,有着不同的境界,同一种武功,随习武者悟性与天资的不同,武功境界也是参差不齐。从讲究招式,中规中距,到旁门左道,剑走偏锋;从天下之术,皆为我用,到盖世神功,深不可测;从武学宝典,出神入化,到自创武功,自成一派,不一而足。‍
SDNLAB
2019/05/14
1K0
剖析交换机市场大变动:白盒、裸机交换机蚕食传统市场 & 交换机路由器大融合
过去,网络交换设备需要搭配专有软件或操作系统。2011年,随着Facebook主导的Open Compute Project(OCP)的开展,网络设备绑定专属软件的情况开始发生变化。今天,通过OCP认证的裸机交换已崭露头角,在市场中占据了重要地位。
SDNLAB
2019/12/05
2.4K0
深度:腾讯云数据中心网络是怎么升级改造的?
网络的能力直接决定着数据中心的算力,尤其是随着AIGC时代的到来,人们对算力的需求越来越大,网络的升级改造也成为每个数据中心关注的重点。
了不起的云计算
2023/09/19
1K0
软硬件分离趋势及开放网络发展
1. 前言 一直以来,网络设备给人的感觉就一个或大或小的铁盒子,其貌不扬,让人猜不透里面到底是啥。而这种情况将有所改观,在OCP等开放组织、众多芯片商、ODM商、互联网用户的推动下,业界已经在逐步走向开放,在此基础上网络设备硬件设计也正朝着模块化、开放标准化的方向革新,软硬件分离也成为一种趋势。 事实上,围绕数据中心网络开放相关技术,最近也是动态动作频频:先有Dell联合Cumulus联合发布消息,支持软硬件分离的采购模式,用户可以只购买Dell裸硬件,然后通过ONIE安装Cumulus的网络OS;后有Fa
鹅厂网事
2018/02/02
2.1K0
软硬件分离趋势及开放网络发展
业界预估,对SONiC的支持和创新将从云覆盖至大型企业
2023年,对于开源网络操作系统SONiC来说可能是非常重要的一年,SONiC不光得到了来自全球范围内许多颇具实力的初创公司的企业级支持,业界主流网络设备厂商对它的兴趣也越来越大。
星融元Asterfusion
2023/01/31
8310
开放网络设备关键使能技术
网络设备(如交换机)一般由思科、华为、华三等网络设备商基于Broadcom、Intel、Marvell等网络芯片商的芯片方案进行研发测试并交付最终客户。过去相当长一段时间,芯片厂商为了保护自己的知识产权,通过SDK的形式开放操作芯片的API接口供网络设备商进行设备开发,且获得SDK需要和芯片厂商签署SLA、NDA等保密协议,某种程度上对网络设备商进行了“锁定”。网络设备商基于芯片厂家特有的SDK开发出的网络设备,传统linux的ip、ethtool、brctl等命令统统失效,留给用户的是专用的命令行或网络管理工具,这在某种程度上对网络设备的用户进行了“锁定”。
SDNLAB
2021/04/29
1.2K0
腾讯SDN/ODL的探索、创新与开源实践
"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网络与服务器领域,规划、运营、研发、服务等层面的实战干货,期待与您的共同成长。 业务带来的挑战 互联网创建之初,以IP技术为核心,网络架构简洁高效,网络设备功能简单,在提供高效的计算机间信息交互的同时,也提供了很好的扩展能力,使得计算机网络迅速从实验室走向了世界。 计算工业迅猛发展,推进了互联网业务的创新繁荣。互联网已经从计算机间信息交互,发展为连接人
鹅厂网事
2018/02/05
1.6K0
腾讯SDN/ODL的探索、创新与开源实践
推荐阅读
相关推荐
开放性数据中心网络系统
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档