作者简介:郑敏先,任职于诺云信息系统(上海)有限公司,担任售前工程师。从事SDN、白盒交换机等开放网络关产品的推广工作。
在过去十年里,10G和40G技术占据了以太网市场的大部分。但随着用户对高带宽的需求以及特殊应用的发展需求,25G/50G/100G技术越来越受用户关注,它们凭借着能为高速率提供有效路径,逐渐在网络部署中脱颖而出。下面我们将着重介绍25G/50G/100G技术及其三者的关系。 25G 技术 25G以太网标准是2016年由IEEE面向云数据中心中服务器特推出的标准,该标准推出时间比10G/40G/100G以太网标准晚几年。 25G主要的优势是采用了SerDes技术,该技术是一种主流的时分多路复用(TDM)、点对
背景 随着 AI 模型规模的越来越大,训练数据的越来越多,用户对模型的迭代效率也要求越来越高,单个 GPU 的算力显然无法满足大部分业务场景,使用单机多卡或多机多卡训练成为趋势。单机多卡训练场景的参数同步借助目前 NVIDIA NVLINK 技术已经得到了很好地解决,而多机多卡场景由于对网络通信的强依赖就没有那么简单。 目前网卡厂商提供的 RoCE 等 RDMA 技术,使得多机通信效率大幅提升,但是如何在25G或 50G VPC 网络环境下提升分布式训练系统的通信效率,仍然是目前公有云厂商亟需解决的
冯克环,腾讯云异构计算研发工程师,专注于云上 AI 训练加速相关技术,对 GPU 虚拟化、GPU 训练加速有深厚的积累,目前负责腾讯云 AI 训练加速相关技术的研发以及性能优化工作。 张锐,腾讯云网络虚拟化研发工程师,在之前的工作中专注于 AI 训练网络优化方面的工作,在 RDMA、GPU 通信优化等方面有较多经验,目前专注于做云上AI训练通信优化方面的工作。 背景 随着 AI 模型规模的越来越大,训练数据的越来越多,用户对模型的迭代效率也要求越来越高,单个 GPU 的算力显然无法满足大部分业务场景,使
随着腾讯云100G云服务器的全量发布,在云服务器市场,腾讯云从跟进到引领,再到如今真正挺进无人区,腾讯技术人在云服务器领域走出了一条属于自己的康庄大道。
Gartner每年发布 数据中心网络魔力象限 成为行业内权威的参考指南 由于Cloud Service Provider大行其道 所以2020年叫数据中心与云网络魔力象限 不过 Gartner已经决定 未来会将数据中心网络 与云网络软件两者分别对待 究其原因就是数据中心不够“Cloudiness” 另外Gartner 最新数据中心网络报告 不包含园区网和接入交换机 相关MQ在有线与无线这个报告中 最新报告聚焦非云DC 知微见著从现状看发展值得一读 首先当前数据中心网络面临升级换代
2018年10月份,UCloud数据中心基础网络完成了V4新架构的落地,自此,新建的数据中心(下简称DC)全面升级到25G/100G网络,极大提升了DC容量和DC间互联的性能。V4架构下的单可用区可提供320,000个服务器接入端口,是此前V3架构的4倍。并且支持无损网络特性,提供可用区资源的水平扩展和滚动升级能力。上线以来,新架构有力保障了UCloud福建GPU可用区开放、北京二可用区B/C/D扩容等需求。
调研机构Dell'Oro Group美国时间2月8日发布最新一期的控制器与适配卡市场5年期预测报告《Controller and Adapter 5-Year Forecast Report》。报告预计2020年至2025年全球以太网控制器和适配卡市场的营收将达到27亿美元,复合年增长率(CAGR)为3%。
云计算数据平面发生危机,一般是因为计算机CPU性能的线性增长,难以跟上网络带宽的指数提升,及其带来的“数据中心税”的增加。
“铜”进“光”退的需求 伴随着云业务的快速发展,数据中心互联硬件对高运行稳定性和低成本的诉求也越来越强烈。以25G速率的服务器到交换机互联方案为例,主要的连接方式有两种,DAC和AOC。 DAC(direct attach cable)顾名思义,由于是直连方案,高速通信信号在设备之间传递,处于透传状态,而常用的AOC(active optical cable)由于需要将电信号转换成光信号,再转换成电信号,存在多次信号转换的过程,会引入相应的适配问题,而数据中心互联硬件故障里面因为信号或者协议匹配导致的适
随着交换机 25Gbps端口速率 逐渐成为DC的主流选择 25G网卡出货接连创历史新高 25G交换机品牌繁多 白牌交换机少不了掺乎 但是开放式交换机能否经受 专业测试设备的流量拷打是个疑问 为此 国际权威评测机构 Tolly Group对白牌交换机 做了专业测评并给出Robust的结论 THE BOTTOM LINE Support for 10/25/40/100 GbE LANs Robust L2 support including RSTP/MSTP, VLANs, trun
随着5G、物联网(IoT)的快速发展、社交媒体流量爆炸式增长、从传统办公到远程办公的转变……所有这些变化都伴随着快速增长的数据和带宽密集型应用程序的压力,数据中心面临容量升级。 此外,有数据显示,2021 年大约 94% 的工作负载和计算都由云数据中心处理,而传统数据中心仅处理 6%。云数据中心的带宽需求每 12 到 15 个月就要翻一番,甚至超过广域互联网的增长速度。所有这些驱动因素都在推动数据中心流量的不断增长以及对高容量数据中心网络解决方案的需求。 目前,100G 是被广泛采用的最快的以太网连接,并且
随着云计算、大数据、移动互联网和智慧城市的兴起,互联网数据流量呈爆发式增长趋势,运营商急需将现有的数据中心升级到云数据中心,以提供更加灵活的业务和应用支撑。目前的数据中心主要是基于10G以太网架构,为了能够处理不断增大的数据负载,这些数据中心必须通过增加与现有基础设施并行的带宽能力实现扩展。有趣的是,相比较广为人知的10G→40G→100G的升级路线,如今运营商更倾向于选择10G→25G→100G的演进路径。25G何以能够取代40G成为10G的接力棒?
在UEFI方式下,使用网卡对高密度服务器上的OS进行升级时,设备设置里突然找不到网卡了怎么办?本文依托戴尔易安信PowerEdge C6420,以Linux操作系统为例,实际演示了遇到此种状况该如何解决,供相关人员参考。
随着数据流量的不断增长,特别是大数据时代到来后,各行业业务产生的流量激增,数据中心面临着来自应用和数据的网络压力也在“狂飙”。数据中心亟待解决数据中心之间的海量数据高速迁移问题,消除数据中心间的带宽瓶颈,大幅提升数据中心间的带宽利用率等问题。大数据的时代来临,数据中心网络重要性日益显现。
近些年来,云计算蓬勃发展,上云成为现在软件开发落地的首选。但随着企业业务的不断增长和扩大,传统云计算的劣势也暴露出来:单体硬件性能不够,只能堆集群;租户隔离不够彻底,时有新闻爆出问题。因此,物理机服务器又再一次的被提上了台面。
以太网(Ethernet)无处不在,已经达到开创者最初想到达到的境界—ETHER,成为人类信息社会无处不在的媒介。以太网已经发展了40多年,以太网的发展历史大致是以10倍速来进行的,10M、100M、
NVIDIA于今日宣布推出NVIDIA Mellanox ConnectX-6 Lx SmartNIC,一款高度安全且高效的25/50 Gb/s以太智能网卡(Smart Network Interface Controller ,SmartNIC),用于加速云计算和企业工作负载。
著名的木桶效应告诉我们:“一只水桶能盛多少水取决于最短的那块木板”。在企业纷纷走上数字化转型的过程中,底层支撑的IT基础设施服务能否跟得上企业发展的节奏是关键。过去几年,计算能力通过GPU、FPGA等
2021年9月25日,由“科创中国”未来网络专业科技服务团指导,江苏省未来网络创新研究院、网络通信与安全紫金山实验室联合主办、SDNLAB社区承办的2021中国智能网卡研讨会中,多家机构谈到了智能网卡的网络加速实现,我们对此进行整理,以飨读者。
亿万次指尖与屏幕的轻触,这个信息化时代赋予的特殊仪式每天都为我们星球产生着难以计量的数据。在庞大的数据背后,有数以百万计的机器集群与其交织的网络对数据洪流进行着运算和传输,维持着更加庞大的赛博(Cyber)世界的平衡,以色列炙手可热的公司Mellanox便是驾驭这数据洪流的能力者。
前些时间也给大家分享了【5G超新时代,点燃了25G和100G光模块市场】这篇文章,感兴趣的朋友可以看看!接下来跟易天光通信(etulink.com)一起看看5G网络的特点和25G/100G光模块发展趋势。
“党的十九大提出,中国特色社会主义进入新时代,我国社会主要矛盾已经转化为人民日益增长的美好生活需要和不平衡不充分的发展之间的矛盾。”
著名的木桶效应告诉我们:“一只水桶能盛多少水取决于最短的那块木板”。在企业纷纷走上数字化转型的过程中,底层支撑的IT基础设施服务能否跟得上企业发展的节奏是关键。过去几年,计算能力通过GPU、FPGA等硬件发生了巨大的突破,存储性能也随着SSD固态硬盘的普及大幅提升,作为IT基础架构重要组成部分的网络如何利用SDN、IPv6等技术进行改革,才能避免成为阻碍企业数字化转型的“短板”?
在当今不断发展的数据中心中,带宽需求的增长可以通过向更高传输速度-100G 的转变来实现。要升级到100G,有两种方法:
互联网行业的高速发展促使大部分数据中心的网络部署转向光纤互连,为了提高光纤覆盖率,数据中心的网络布线方式也产生转变,逐渐由叶脊拓扑布线来替代原来的三层布线,网络传输速率也同时逐步从10G向100G 进行升级更迭。
该mdadm实用程序可用于使用Linux的软件RAID功能创建和管理存储阵列。管理员可以非常灵活地协调各自的存储设备,并创建具有更高性能或冗余特性的逻辑存储设备。
十道“技术大餐”提前揭秘 在我国数据中心行业,ODCC(开放数据中心委员会)已经成为一股快速崛起的重要力量。作为由百度、阿里巴巴、腾讯、中国电信、中国移动、中国信息通信研究院、英特尔联合发起成立的非营利性的社会组织,ODCC主导制定了天蝎整机柜服务器、天蝎多节点服务器、模块化数据中心、微模块数据中心、数据中心光模块、AOC线缆、天蝎测试认证技术方法等标准和规范,成功实现了我国在数据中心上从“中国制造”到“中国设计”的华丽转身,得到了市场的高度认可。 2016年9月27日,ODCC将在北京召开“2016开放数
SmartNIC 就是通过从 Host CPU 上 Offload(卸载)工作负载到网卡硬件,以此提高 Host CPU 的处理性能。其中的 “工作负载” 不仅仅是 Networking,还可以是 Storage、Security 等。
随着4K、8K、大视频、5G及互联网/移动互联网、物联网、IDC等的快速发展,新型需求强力推动光传输技术加速革新。“超高速、超大容量、超长距离、超低损耗、超低成本”是光网络的刚性需求,光电集成、SDN/NFV和云化是光网络演进的三大要素,超高速化、IP化、光电集成与硅基化、智能化和开放化是光网络的发展趋势。
互联网联接全球 40 亿多用户,支撑着VR/AR、16K视频、自动驾驶、人工智能、5G、物联网等层出不穷的数字化应用。教育、医疗、办公等用户线上与线下的结合,正在影响和改变人们生活的方方面面。
昨天那篇文章(链接),小枣君给大家介绍了宽带技术从ISDN、xDSL到10G PON的发展历程。
通过我们前面的ELK学习,我们已经深入了解了ELK的相关知识以及腾讯云Elasticsearch 的操作与维护,那么,在实际生产应用中,我们如何根据企业自身业务的数据存量需求去选择合适配置的腾讯云ES集群进而保证企业应用的高效持续安全呢?那么今天我们就来讲讲这个问题:
昨天,我们通过一个案例,对基于大数据的RoCE诊断优化有了感性的认识。我们发现,综合分析来自INT,ERSPAN和gRPC监测到的网络节点信息,是可以先于业务质量的劣化,感知到隐患的存在的。因此,工程师们给这样的解决方案起了一个名字——先知网络。
随着客户数据中心服务器对于来自新的、更智能的应用程序、物联网设备、视频等大量流量的处理逐渐增加,高速以太网正在迅速成为网络规范。
客户需要清理lua内存,于是按照标准动作执行了script flush。发现系统直接hang住了,请求无法执行,超时报错。
随着云计算、大数据、物联网、人工智能、5G等新兴技术的迅速推广和应用普及,不断涌入的数据流量促使各大服务商不断地重新审视数据中心内数据传输速度的升级。数据中心传输设备需要将数据传输速度从原来的10Gbps、25Gbps提升至40Gbps、100Gbps甚至400Gbps。而由于更高速的光互联网必然带来成本、功耗、尺寸等各方面的挑战,作为数据中心的系统架构师必须谨慎考虑,以确保做出最佳组合选择,特别是减少故障率,减少耗能、提升兼容性等等,从而充分发挥硬件升级带来的各项性能的提升。晟科公司从物理连接方面提出10Gbps/25Gbps提升至40G/100Gps升级方案:
在第三届未来网络发展大会SDN/NFV技术与应用创新分论坛上中国银联电子商务与电子支付国家工程实验室周雍恺博士,发表了主题为《开放交换机组网技术和前沿进展》的主题演讲。
9月27日,“2016ODCC开放数据中心峰会”在北京举办,这场一年一度的数据中心行业盛典,为业内人士带来诸多重磅消息——发布多项技术规范、研究成果同比增长近两倍并发布ODCC测试认证LOGO。
作者简介:张渐修,就职于上海同悦信息科技有限公司,高级工程师 话说不看不知道,世界真奇妙。最近国外媒体基于公开资料对交换机市场做了分析,原来交换机市场同样不看不知道,数据真奇妙。 随着思科市场份额的逐
交换ASIC就是这倚天剑与屠龙刀。想知道倚天剑和屠龙刀里面的秘密吗?请大家继续关注这个专题。
上回说到,为了全市人民的幸福和便捷,T姐化身花果山美猴王,能够吹一口气就复制一批虚拟机出来,承担健康码查询的突发流量。
---- 新智元报道 作者:克雷格、肖琴 【新智元导读】国内正在热议“缺芯”的时候,Facebook传出正在招人,计划自己研发AI芯片。至此,美国的四巨头谷歌、苹果、Facebook、亚马逊都与AI芯片产生了交集。同时,高通举步维艰,到了被群雄分食的地步,禁售也可能是压垮它的最后一根稻草。这恰恰证明芯片公司本身也面临非常大的挑战,未来主导AI芯片的或许并非芯片公司,而是谷歌、亚马逊这样的AI巨头,它们重整生态,用云服务来挤压底层硬件供应商的战略布局已经很明显。整个产业生态系统在升级,新智元认为,目前
网络offload主要是指将原本在内核网络协议栈中进行的IP分片、TCP分段、重组、checksum校验等操作,转移到网卡硬件中进行,CPU的发包路径更短,消耗更低,提高处理性能。
9月2日,第二届SmartNIC&DPU技术创新峰会在北京召开。SmartNIC&DPU技术创新峰会由江苏省未来网络创新研究院和SDNLAB联合行业技术先锋力量、产业典型应用企业共同发起。此次峰会聚焦智能网卡与DPU相关的网络芯片与硬件设计、网络架构演进、网络协议与算法优化、标准进展等热点技术与难点问题。 芯启源作为DPU芯片及智能网络系统解决方案头部企业,现场展示了智能网卡SmartNIC系列产品,受到现场专家、观众及媒体广泛关注,并接受现场媒体采访。 大会表彰了在SmartNIC、DPU技术创新与产
前言 11月19日第十一届网络平台部技术峰会在深圳圆满落幕。本次峰会围绕硬件研发、硬件加速、网络产品、网络运营四大领域,深度全面地展示了网络平台部不断精进的研发能力及探索成果。下面让我们共同回顾本次峰会中由硬件研发专家——孙敏博士呈现的《光模块:从自采到自研》的精彩内容。 光模块及应用 光模块首次站在技术大会的舞台,回顾了光模块产品从商用到自采,再到自研的发展历程。着眼未来,我们从“芯”出发,把握关键技术路径,同时探索新型开发模式。 光模块麻雀虽小,五脏俱全,可以说是一套完整的小系统。电信号输入,经过ds
对小H这个对吃和玩更感兴趣的调皮孩子而言,这几个问题好像有点难,所以小H暂且挂起这个问题,跑出去玩几天找找灵感。
领取专属 10元无门槛券
手把手带您无忧上云