Pod在集群资源充足情况下，依然调度到超级节点上？

原创

keke.wang

修改于 2023-08-23 16:39:16

2100

文章被收录于专栏：腾讯云原生实践教程腾讯云原生实践教程

超级节点是 TKE 集群中的一种节点类型，保证客户在集群中资源不足的情况下（pod发生了 pending 现象），依然有算力资源可以满足pod运行。

当 TKE 集群使用了 VPC-CNI 网络模式，在非固定 ip 模式下，可能会出现 ip 资源（关联的子网ip资源）充足，但是还是调度到了超级节点上的情况。这种行为是不符合预期的，接下来一起看下问题。

问题原因

非固定 ip 模式支持弹性。当节点资源不够了，会动态扩容一定数量的ip；当节点资源富盈了，会自动缩容一定数量的ip。

ip触发扩容和ip可用是有一定的等待时间的。在pod调度时，如果是ip不足，相关组件（tke-eni-ipamd）会自动扩容ip，这个过程包括底层ip资源甚至是网卡资源的创建，当ip资源就绪之后，还需要反馈到 node 的 Allocatable 资源中，使得 pod 可以调度上来。而在整个扩容期间，pod是会一直停在 pending 状态。

超级节点的调度是由调度器（scheduler）负责的，与负责ip扩容组件（tke-eni-ipamd）是相互独立的组件。超级节点的调度策略也是观察 pod 是否发生了 pending 现象，而观察的时间对比上面的 ip 扩容时间是有差异的，就会发生 pod 被调度到了超级节点上的情况。