随着云原生技术的飞速发展,容器化和函数计算正成为企业和开发者关注的焦点。在这一潮流中,腾讯云凭借其卓越的技术实力和深厚的行业积累,发布了《2023腾讯云容器和函数计算技术实践精选集》,为我们提供了一份深入探索云原生技术实践的宝贵指南。
背景 随着容器、微服务、持续交付等云原生技术普及,大量应用基于K8s容器编排构建。相比传统网络模式,在云原生场景下,存在大量微服务模块间网络调用,集群内东西向通信流量激增,网络边界变得更加模糊。 容器环境中,容器IP和端口变换频繁,应用混合部署带来的通信关系复杂,传统基于静态IP和端口的边界安全规则已无法适用容器环境下细粒度的访问控制要求。默认情况下,K8s集群中不对Pod进行任何请求限制,任意Pod之间可以自由通信。正因此,在面对网络攻击时,没有安全规则的容器网络将给攻击者更多的自由和渗透空间。 如何实施
2021年7 月 27日 - 28日,由中国信息通信研究院指导,中国通信标准化协会主办,云计算开源产业联盟承办的 2021 可信云大会在北京召开。大会上,信通院公布了最新的可信云容器评估结果。 腾讯云弹性容器服务(EKS),云函数 (SCF),弹性微服务(TEM)联合其他相关产品,在2021年 Serverless 平台技术能力评估中,共同获得国内首批 Serverless 平台技术能力先进级认证。 EKS:原生 K8S Serverless 化 产品介绍 弹性容器服务 EKS(Elastic
腾讯云服务网格Tencent Cloud Mesh,是一致、可靠、透明的云原生服务通信网络管控基础平台。基于Istio,TCM与腾讯云基础设施原生集成,提供云原生服务发现、流量管控和端到端可观测管理环境,全面覆盖应用程序的南北向与东西向通信连接,支撑业务轻松打造灵活的分布式高可用架构,高效便捷的变更发布能力和安全可控的服务通信网络。
很多人在实际工作中都使用过Kubernetes,我们的容器服务在2016年年底开始提供全托管的Kubernetes服务,主要提供了四个方面的功能。首先是提供了一键部署的Kubernetes,与其他容器服务的提供商不一样,我们的Kubernetes是完全隔离的,每个用户都会独享所有的计算节点和控制节点,集群网络也在用户自己的VPC中。我们在这个基础上提供了集群的全生命周期管理,包括集群的创建、销毁,还有计算节点的添加、删除,还有一些类似Kubernetes原有组件的初始化以及证书的初始化工作。为了大家更方便地使用Kubernetes,我们在控制台包装了一些界面,使大家可以通过可视化的方式创建一些负载来暴露自己的服务,避免了大家手工编码的烦琐。第三,我们提供了周边的监控能力,包括集群本身pod内存的使用率以及一些Kubernetes事件。这些能力都与腾讯云的云监控产品进行了打通,大家可以直接在云监控产品界面使用这些能力。为了方便大家将自己的一些比较传统的应用部署到云上,我们在Kubernetes集群之外还提供了Docker镜像仓库、TencentHub、CICD的功能,为大家提供了一站式应用的云解决方案。
刚开始接触容器集群的人会发现,与在单节点上使用容器相比,容器集群一个很复杂的领域就是网络。Kubernetes 作为容器编排领域的事实标准,对容器集群的网络进行了合理抽象,并开放了容器网络标准 CNI,供各公司根据自身应用场景和底层基础设施选用开源方案或者自行实现一套网络插件。本文主要介绍腾讯云容器平台针对私有化不同场景的一些网络方案实践。
PART ONE 背景 在边缘计算的场景下,边缘节点和云端为单向网络,从云端节点无法直接访问边缘节点,导致了以下的问题: 云端无法访问边缘端的 service 边访问云端 service 需要以 nodeport 的形式 云边端 podIp 无法直通 2021 年 8 月 2 日,博云正式开源 FabEdge 边缘网络方案。FabEdge 主要解决边缘计算场景下,容器网络配置管理复杂、网络割裂互不通信、缺少服务发现、缺少拓扑感知能力、无法提供就近访问等难题。为了使用户无感知单向网络带来的的差异,S
随着云计算的蓬勃发展,云原生概念被提出并快速发展,公司内部也在推进使用云原生技术进行架构优化,研发模式和基础设施都发生了很大的变化,新的k8s和容器技术正逐步取代传统的物理机和虚拟机。
冯克环,腾讯云异构计算研发工程师,专注于云上 AI 训练加速相关技术,对 GPU 虚拟化、GPU 训练加速有深厚的积累,目前负责腾讯云 AI 训练加速相关技术的研发以及性能优化工作。 张锐,腾讯云网络虚拟化研发工程师,在之前的工作中专注于 AI 训练网络优化方面的工作,在 RDMA、GPU 通信优化等方面有较多经验,目前专注于做云上AI训练通信优化方面的工作。 背景 随着 AI 模型规模的越来越大,训练数据的越来越多,用户对模型的迭代效率也要求越来越高,单个 GPU 的算力显然无法满足大部分业务场景,使
近期,腾讯游戏Tenc容器团队对外开源了Kubernetes(K8s)多集群调度方案tensile-kube, 本文将简单介绍tensile-kube。 tensile-kube 名称由来 tensile名为可扩展的,可延伸的,同时tensile中也包含了tencent 和 tenc的意思。 tensile-kube 诞生背景 腾讯游戏Tenc(容器)计算平台线上有数十个K8s集群,这些集群都存在一些碎片资源,无法得到有效利用。常见的场景是:一个作业需要N个资源,但是现有集群A、B、C等所剩资源都不满足N
2021年11月 VOL:19 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ 云说新品 容器产品新特性11月上新 腾讯云边缘服务TKE@Edge 从中心云管理边缘云资源的容器系统 边缘容器服务(Tencent Kubernetes Engine for Edge,简称 TKE Edge)是腾讯云容器服务推出的用于从中心云管理边缘云资源的容器系统。 公有云 TKE-Edge 支持边缘节点绑定 ENI 公有云 TKE-Edge 支持边缘节点 Pod 直通能
魏后民,腾讯云后台开发工程师,关注容器、Kubernetes、Cilium等开源社区,负责腾讯云 TKE 混合云容器网络等相关工作。 王昌宇,腾讯云高级工程师,关注OpenStack、Kubernetes,ServiceMesh等社区,负责TCNS高性能网络研发。 徐凌云,腾讯云高级工程师,关注 Linux 内核网络、Cilium等开源社区,负责 TCNS 高性能网络研发。 前言 在 腾讯云TKE - 基于 Cilium 统一混合云容器网络(上) 中,我们介绍 TKE 混合云的跨平面网络互通方案和 TK
背景 随着 AI 模型规模的越来越大,训练数据的越来越多,用户对模型的迭代效率也要求越来越高,单个 GPU 的算力显然无法满足大部分业务场景,使用单机多卡或多机多卡训练成为趋势。单机多卡训练场景的参数同步借助目前 NVIDIA NVLINK 技术已经得到了很好地解决,而多机多卡场景由于对网络通信的强依赖就没有那么简单。 目前网卡厂商提供的 RoCE 等 RDMA 技术,使得多机通信效率大幅提升,但是如何在25G或 50G VPC 网络环境下提升分布式训练系统的通信效率,仍然是目前公有云厂商亟需解决的
国内某大型金融机构通过自建的行业云为各机构、服务商和开发者提供自主可控、安全可信的金融级云平台产品和服务。在全产业加速数字化转型的关键阶段,A金融机构为了更好的支持产品创新和业务拓展,更快地响应客户和市场的需求,不断夯实金融云平台技术底座,保障金融业务安全、稳定运行。
文 | SuperEdge 研发团队 FabEdge 研发团队 腾讯云容器中心边缘计算团队 来源|腾讯云原生加速器首期项目-博云 ---- 背景 在边缘计算的场景下,边缘节点和云端为单向网络,从云端无法直接访问边缘节点,导致了以下的问题: 云端无法访问边缘端的 service ; 边访问云端 service 需要以 nodeport 的形式; 云边端 podIp 无法直通。 为了使用户无感知单向网络带来的差异,FabEdge 与 SuperEdge 合作,实现在云边 pod
2021年5月 VOL:13 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ 云说新品 容器产品新特性 5月上新 腾讯云边缘服务TKE@Edge 从中心云管理边缘云资源的容器系统 边缘容器服务(Tencent Kubernetes Engine for Edge,简称 TKE Edge)是腾讯云容器服务推出的用于从中心云管理边缘云资源的容器系统。 开源SuperEdge项目发布 v0.3.0 版本,支持更快捷部署,更强大的边缘自治能力。 点击查看 v0.
刘旭,腾讯云高级工程师,专注容器云原生领域,有多年大规模 Kubernetes 集群管理及微服务治理经验,现负责腾讯云服务网格 TCM 数据面产品架构设计和研发工作。 引言 目前以 Istio[1] 为代表的服务网格普遍使用 Sidecar 架构,并使用 iptables 将流量劫持到 Sidecar 代理,优点是对应用程序无侵入,但是 Sidecar 代理会增加请求时延和资源占用。 性能一直是用户十分关心的一个点,也是用户评估是否使用服务网格产品的关键因素,腾讯云 TCM 团队一直致力于优化服务网格性能
贺佰元,腾讯高级工程师,硕士毕业于北京邮电大学计算机专业,先后在唯品会和腾讯从事容器和云原生方面的研发工作,有近9年的虚拟化及云计算行业经验,16年开始专注于容器、微服务、云原生平台的研发和设计,目前在腾讯IEG蓝鲸产品中心负责腾讯游戏业务的云原生上云的研发和建设。 引言 蓝鲸容器服务(Blueking Container Service,以下简称BCS)是腾讯 IEG 互动娱乐事业群的容器上云平台,底层基于腾讯云容器服务(Tencent Kubernetes Engine, TKE),为 IEG 的自研
本次内容根据2017年11月4日 K8S Geek Gathering 沙龙深圳站腾讯云高级工程师王天夫的演讲内容整理而成。 本次分享的主要内容涉及腾讯云容器的顶层整体设计,包括产品功能,及提供的
上篇文章,总体上分析了chaosmesh和chaosblade两个工具的对比和原理,本文继续分析chaosmesh的原理;几个常用的项dnsChaos、stressChaos、NetworkChaos和IOChaos注入项的原理。
边缘计算模式下,云端的控制中心和边缘端的设备之间网络环境较复杂,网络质量差次不齐没有保障。用户往往希望在弱网环境下,边缘容器能提供高可用的业务能力。TKE 边缘容器团队在弱网环境下提出了边缘自治功能。本文着重介绍了边缘容器在弱网环境下为了保证业务高可用而做的工作。 问题背景 边缘计算使用的边缘设备数量庞大、分布全国各地,网络环境复杂,因特网、以太网、5G、WIFI 等形态均有可能。因此,云端的控制中心和边缘端的设备之间网络环境较复杂,网络质量差次不齐没有保障。 kubernetes 传统工作模式是所有组件
TKE(Tencent Kubernetes Engine) 是腾讯云提供的容器服务PAAS 平台,基于kubernetes, 集成了腾讯云vpc网络,负载均衡,存储等IAAS 资源,提供容器调度、日志、监控、镜像仓库,Helm编排,自动弹性伸缩,微服务治理,DevOps 等功能,为客户提供完整的企业级容器服务。
SuperEdge 研发团队 FabEdge 研发团队 腾讯云容器中心边缘计算团队 背景 在边缘计算的场景下,边缘节点和云端为单向网络,从云端节点无法直接访问边缘节点,导致了以下的问题: 云端无法访问边缘端的 service 边访问云端 service 需要以 nodeport 的形式 云边端 podIp 无法直通 2021 年 8 月 2 日,博云正式开源 FabEdge 边缘网络方案。FabEdge 主要解决边缘计算场景下,容器网络配置管理复杂、网络割裂互不通信、缺少服务发现、缺少拓扑感知能力、无法提
作者陈凯悦,腾讯云容器工程师,腾讯云边缘容器、开源项目 SuperEdge 核心开发成员。 导语 边缘场景下网络常常不可靠,容易误触发 Kubernetes 驱逐机制,引起不符合预期的 Pod 驱逐动作,TKE Edge 首创分布式节点状态判定机制,该机制可以更好地识别驱逐时机,保障系统在弱网络下正常运转,避免服务中断和波动。 边缘计算情境下,边缘节点与云端的网络环境十分复杂,网络质量无法保证,容易出现 APIServer 和节点连接中断的场景。如果不加改造直接使用原生 Kubernetes,节点状态会经
互联网后台架构技术的发展一日千里。身处技术变革浪潮的后台同学,应该都深切地感受到了云原生技术在公司内外的蓬勃发展。云原生技术正在逐渐成为后台工程师与架构师们的必修课,而 kubernetes 正是云原生的基石,聚光灯下的焦点。
6月30日,腾讯云联合InfoQ举办的云+社区技术沙龙,以Kubernetes 上云一键部署、云上大规模计算平台构建、CIS底层技术实现、Tencent Hub技术架构与DevOps落地实践等五大主题内容,分享容器与k8s技术的部署优化与应用实践。本文整理了讲师演讲精彩内容!
run container in container engine-在容器引擎中运行容器
2022年5月 VOL:25 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ 云说新品 容器产品新特性5月上新 腾讯云容器服务公有版TKE 高可扩展和高性能容器管理服务 腾讯云容器服务(Tencent Kubernetes Engine,TKE)是高度可扩展的高性能容器管理服务,您可以在托管的云服务器实例集群上轻松运行应用程序。 TKE集群支持 Kubernetes 1.22 版本 (白名单体验中) 扩展组件 Addon 支持组件升级 CBS/CFS/COS-CSI 组件支持
今天我讲的主要是关于腾讯云最近新上的一款产品CIS。我自加入腾讯云以来就一直在负责CIS的开发工作。不多说,我们直接进入主题。
唐聪,腾讯云资深工程师,极客时间专栏《etcd实战课》作者,etcd活跃贡献者,主要负责腾讯云大规模K8s/etcd平台、有状态服务容器化、在离线混部等产品研发设计工作。 背景 随着 Kubernetes 成为云原生的最热门的解决方案,越来越多的传统服务从虚拟机、物理机迁移到 Kubernetes,各云厂商如腾讯自研上云也主推业务通过Kubernetes来部署服务,享受 Kubernetes 带来的弹性扩缩容、高可用、自动化调度、多平台支持等益处。然而,目前大部分基于 Kubernetes 的部署的服务都是
导语:边缘计算模式下,云端的控制中心和边缘端的设备之间网络环境较复杂,网络质量差次不齐没有保障。用户往往希望在弱网环境下,边缘容器能提供高可用的业务能力。TKE 边缘容器团队在弱网环境下提出了边缘自治功能。本文着重介绍了边缘容器在弱网环境下为了保证业务高可用而做的工作。
在这份CKAD考试实操指南中,我将为你详细介绍如何利用CKAD-exercises项目和知十平台进行CKAD考试的准备和复习。通过CKAD-exercises提供的练习题,你可以在知十平台的云原生环境中进行实践和模拟。在这个过程中,你将熟悉Kubernetes的各种操作和场景,并在实践中加深对知识的理解。这种结合实践和理论的学习方式将为你在考试中取得优异成绩提供强有力的支持。
高策,腾讯高级工程师,Kubeflow 社区训练和自动机器学习工作组 Tech Lead,负责腾讯云 TKE 在 AI 场景的研发和支持工作。 张望,腾讯高级工程师,从事 GPU 虚拟化和分布式训练加速,负责腾讯云 TKE 在 AI 场景的研发和支持工作。 引言 随着模型规模和数据量的不断增大,分布式训练已经成为了工业界主流的 AI 模型训练方式。基于 Kubernetes 的 Kubeflow 项目,能够很好地承载分布式训练的工作负载,业已成为了云原生 AI 领域的事实标准,在诸多企业内广泛落地。 尽管
Network Policy是k8s提供的一种资源,用于定义基于pod的网络隔离策略。它描述了一组pod是否可以与其它组pod,以及其它network endpoints进行通信。
之前在中通负责过缓存平台的建设工作,当时的缓存系统使用搜狐 TV 开源的 CacheCloud 缓存服务平台进行托管,但随着公司业务发展,随着而来的是资源隔离、集群访问权限粒度、资源不均衡、仅支持 Redis 类型的集群等问题,为了解决公司当下使用缓存的痛点,当时决定构建下一代缓存服务平台,它是基于 Kubernetes Operator 自动化部署与运维的思想,当时还写下了一篇文章:「中通缓存服务平台基于 Kubernetes Operator 的服务化实践」。
朱瑜坚,腾讯云后台开发工程师,熟悉 CNI 容器网络相关技术,负责腾讯云 TKE 的容器网络的构建和相关网络组件的开发维护工作,作为主力开发实现了 TKE 下一代容器网络方案。 问题背景 问题描述 最近,某内部客户的 TKE VPC-CNI 模式的独立网卡集群上出现了 pod 间访问不通的情况,问题 pod ping 不通任何其他 pod 和节点。 查看 dmesg 内核日志,有如下报错信息:neighbour: arp_cache: neighbor table overflow!(下图为后续复现的日志
你是否经常会遇到这样的困难:处理不同进程的应用程序时,需求方会要求包含所有进程以实现更多隔离。在这种情况下,一个常见的问题是:如何在同一 Node 中的 Pod 间实现共享内存。王涛是腾讯云的高级工程师,在本文中,他将阐述一种在 Pod 间利用 Posix/SystemV 来实现共享内存的解决方案,一起来看看吧。
作者薛磊,腾讯高级软件工程师,服务于腾讯星辰算力平台,是Kubeflow的maintainer以及Volcano、 Kubernetes等其他开源项目的贡献者,致力于通过开源项目以及云原生架构改进AI基础架构,提升算法工程师以及整体AI研发的工程效率。
早期服务器集中于腾讯云,开始是传统网络。后面是自定义的私有网络vpc.当然了vpc中还有容器网络,容器的网络方案使用了默认的Global Router,并没有使用VPC-CNI的容器网络与云主机网络在同一个 VPC 内的方案(腾讯云官方文档还有了Cilium-Overlay 的方案,恩还有个测试环境的k8s集群是kubeadm自建的集群网络插件用的cilum).今年45月份有些新业务又跑在了某云上面,集群环境直接用了某云的ACK PRO。网络插件使用了Flannel ,也没有使用某云的Terway。现在的需求就是要把两个网络打通!
作者刘飞鸿,腾讯游戏高级工程师,热衷于开源、云计算相关技术。目前主要负责腾讯游戏后台架构设计和运维工作。 预备知识 1. K8S 上 Service 类型 ClusterIP 通过集群的内部 IP 暴露服务,选择该值,服务只能够在集群内部可以访问,这也是默认的 ServiceType。 NodePort 通过每个 Node 上的 IP 和静态端口(NodePort)暴露服务。NodePort 服务会路由到 ClusterIP 服务,这个 ClusterIP 服务会自动创建。通过请求:,可以从集群的外部访问
在本教程中,您将使用Ansible和Kubeadm从头开始设置Kubernetes集群,然后给它部署一个容器化的Nginx程序。
第一时间获取文章,可以关注本人公众号 月牙寂道长 yueyajidaozhang
“ 无服务器架构(Serverless)是一种将应用与基础设施彻底分离的架构理念,开发人员无需关心基础设施的运维工作,只需专注于应用逻辑的开发,真正实现了弹性伸缩与按需付费。当前各大云服务商和头部互联网企业的内部业务 Serverless 化升级改造已经开始小范围试水;中小企业基于 Serverless 的业务应用也初见端倪,已然可见初具规模的企业级应用,未来可期。Serverless 生态已初具规模,可以预见,Serverless 将成为下一代云计算服务形态的趋势。 ” 在此背景下,云函数(SCF)、弹
腾讯云Status Page(Tencent Cloud Health Dashborad ),作为腾讯云官方的产品可用信息对外窗口,需要保障在极端的故障情形下,还能及时且正确地对外呈现关键信息,这要求在架构设计和部署上做到多地域级别的容灾效果。为了达到目标,我们除实施针对性的架构设计和部署外,还对各类故障场景做了故障演练验证。
吴连火,腾讯游戏专家开发工程师,负责欢乐游戏大规模分布式服务器架构。有十余年微服务架构经验,擅长分布式系统领域,有丰富的高性能高可用实践经验,目前正带领团队完成云原生技术栈的全面转型。 导语 欢乐游戏这边对 Istio 服务网格的引进,自 2019 开始,从调研到规模化落地,至今也已近三年。本文对实践过程做了一些思考总结,期望能给对网格感兴趣的同学们以参考。 在正文开始之前,先明确一下本文所说的服务网格(service mesh)概念 —— 基于 sidecar 通信代理,网状拓扑的后端架构级解决方案。目前
作者:kevinyfsun(孙勇福) 腾讯CSIG云产品研发工程师 导语| 随着2B行业的蓬勃发展,数据库产品中心原有烟囱式发展模式,在资源调度和统一管控上面临的挑战越来越多。同时腾讯云IaaS产品经过十几年的发展,可以提供可靠稳定的服务。当前 Kubernetes 已经成为资源编排的事实标准,TKE 产品形态在腾讯公有云运行多年,基于 TKE 实现数据库领域的 PaaS on IaaS 成为一个可行方案。 本文主要分享数据库产品中心基于 TKE 实现 PaaS On IaaS 的实践整体过程,未来会有
2020年受突如其来的疫情影响,人们生活方式发生翻天覆地的变化,直播呈现出井喷式发展,各大平台直播流量持续暴增。 今年,各大平台频频推出新功能,比如视频号,推出短短半年火爆全网;前段时间,还推出群直播内测版,迅速引起大家的关注。 群直播的出现意味着无需借助其他平台,在群内即可直接进行一站式直播,简直就是绝大多数用户福音。用户可以在直播期间,随时进行点赞和评论,成员在直播间也可发起语音连麦功能,在主播同意后即可连麦互动。 如何拥有火爆全网的同款群直播? 使用 TUIKit 即可拥有! TUIKit 是
高策,腾讯高级工程师,Kubeflow 训练和自动机器学习工作组 Tech Lead,负责腾讯云 TKE 在 AI 场景的产品研发和支持工作。 Jupyter Notebooks 在 Kubernetes 上部署往往需要绑定一张 GPU,而大多数时候 GPU 并没有被使用,因此利用率低下。为了解决这一问题,我们开源了 elastic-jupyter-operator[1],将占用 GPU 的 Kernel 组件单独部署,在长期空闲的情况下自动回收,释放占用的 GPU。这篇文章主要介绍了这一开源项目的使用方式
领取专属 10元无门槛券
手把手带您无忧上云