有些TKE老客户早期创建的集群，默认勾选的GlobalRouter网络模式，控制台选择的"容器子网"默认单节点最大pod数64，也可能当时节点规格不高调到更小(比如16)，这个最大pod数和每个节点的gr网段相匹配。

后期客户集群添加了大规格的节点(或者裸金属)，单节点需要调度的pod数更多，但是节点最大pod数调不了，节点装箱率并不够，造成资源浪费

确认后期添加的大规格节点是否支持弹性网卡，有些裸金属机器不支持弹性网卡，比如BMI5，BMGNV4，BMS4等

该方案用于存量集群GlobalRouter网络模式新增节点pod数无法调大的背景，主要是把podIP从GlobalRouter的网段改成vpc-cni的子网IP，从而跳过gr的网段限制

开启vpc-cni网络模式需要确定节点支持弹性网卡，需要注意有些裸金属不支持弹性网卡，

比如BMI5，BMGNV4，BMS4等，具体需要裸金属相关团队确认。参考

裸金属云服务器 实例规格_腾讯云

创建TKE集群，网络模式选择GlobalRouter。添加节点规格:32C64G  单节点最大pod调度数:16

尝试运行16个副本，每个pod规格1C1G，通过pod事件可以看到节点pod数超过max-pods，无法调度pod，但节点的cpu和内存分配率很低。因为创建集群配置的单节点pod数是16(实际会减去3)，有pod会无法调度，调度事件"Too many pods"，实际节点分配率很低。

GlobalRouter网络模式的集群，控制台可以开启vpc-cni模式

选择pod需要的子网，等待控制台开启成功

开启成功后查看组件Daemonset: tke-eni-agent和deployment：tke-eni-ipamd的副本pod运行正常

查看节点yaml会有网络设备插件上报的tke.cloud.tencent.com/eni-ip资源

普通节点池，需要重新创建节点池，修改kubelet参数，设置--max-pods为业务期望的最大pod数，之后增量节点都会配置max-pods参数

原生节点池可以在控制台编辑 Management，添加KubeletArgs，设置--max-pods为业务期望的最大pod数。建议存量新规格机型的原生节点池可以这样操作，该操作可以设置 存量生效。

查看kubelet的max-pos参数是否修改生效

注意：存量节点使用该方法会自定义修改kubelet参数，如果节点后续升级，切记要把该参数加到升级的kubelet参数里。

登录节点调整kubelet的max-pods参数，修改/etc/kubernetes/kubelet里的MAX_PODS="--max-pods=13"为MAX_PODS="--max-pods=256"，修改max-pods客户自行决定。修改完之后

调整业务workload，需要在resources.requests和resources.limits中加上

tke.cloud.tencent.com/networks: tke-route-eni

查看业务pod是否全部调度成功，并且业务podIP是vpc子网网段IP

TKE集群GlobalRouter网络模式如何调整单节点max-pods数

GlobalRouter(gr)网络模式单节点pod数限制

架构师

云计算

运维

网络与通信

TKE集群GlobalRouter模式下单节点pod数限制导致资源浪费问题解决方案：支持弹性网卡的节点建议切换为VPC-CNI模式；不支持弹性网卡的裸金属节点需重建集群调大pod数。通过调整kubelet参数和开启VPC-CNI模式可突破GR网络限制，提升节点资源利用率。

裸金属云服务器

云服务器

弹性网卡

服务器

容器

AI驱动 智领未来

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

TKE集群GlobalRouter网络模式如何调整单节点max-pods数

TKE集群GlobalRouter网络模式如何调整单节点max-pods数

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐