文章/答案/技术大牛

发布

社区首页 >专栏 >k8s系列(9)-容忍、污点、亲和

k8s系列(9)-容忍、污点、亲和

原创

爽朗地狮子

修改于 2022-10-21 02:00:31

8593

文章被收录于专栏：云原生系列云原生系列

完整系列

一. 介绍

1. Kubernetes 里面有三个 taints 行为

NoSchedule：表示 k8s 不会将Pod调度到具有该污点的Node上
PreferNoSchedule：表示 k8s 将尽量避免将Pod调度到具有该污点的Node上
NoExecute：表示 k8s 将不会将Pod调度到具有该污点的Node上，同时会将Node上已有的Pod驱逐出去（相当于结婚了还得离婚）

2. Taint 和 Toleration

Taints： 避免Pod调度到特定Node上

Tolerations： 允许Pod调度到持有Taints的Node上

二. 实战

1. 用法

下面是一个简单的示例：在 node1 上加一个 Taint，该 Taint 的键为 key，值为 value，Taint 的效果是 NoSchedule。这意味着除非 pod 明确声明可以容忍这个 Taint，否则就不会被调度到 node1 上

kubectl taint nodes node1 key=value:NoSchedule

然后需要在 pod 上声明 Toleration。下面的 Toleration 设置为可以容忍具有该 Taint 的 Node，使得 pod 能够被调度到 node1 上：

apiVersion: v1  
 kind: Pod  
 metadata:  
 name: pod-taints  
 spec:  
 tolerations:  
\- key: "key"  
 operator: "Equal"

 value:"value" effect: "NoSchedule"

  
 containers:  
 - name: pod-taints  
 image: busybox:latest

也可以写成如下：

tolerations:  \- key: "key"   operator: "Exists"   effect: "NoSchedule"

operator 的值为 Exists，这时无需指定 value
operator 的值为 Equal 并且 value 相等
如果不指定 operator，则默认值为 Equal。

2. 实验

参考之前文章，腾讯云上配置一主两从，主机master，从机node1和node2

添加节点污点为node2添加污点，污点程度为NoSchedule，type=calculate为标签 kubectl taint node node2 type=calculate:NoSchedule
查看节点污点 kubectl describe nodes node2 | grep Taints

创建pod配置文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: taint-deploy
spec:
  replicas: 3
  selector:
    matchLabels:
      app: taint-pod
  template:
    metadata:
      labels:
        app: taint-pod
    spec:
      containers:
      - image: busybox:latest
        name: taint-pod
        command: [ "/bin/sh", "-c", "tail -f /etc/passwd" ]

创建pod

[root@master demo]# kubectl apply -f taint-pod.yaml
deployment.apps/taint-deploy created

查看pods 可以看到创建了3个pod，都在node1节点

[root@master demo]# kubectl get pods -o wide | grep taint
taint-deploy-69f9b6874c-2pbkd   1/1     Running   0          8m22s   10.40.0.4   node1   <none>           <none>
taint-deploy-69f9b6874c-h6kpj   1/1     Running   0          8m22s   10.40.0.3   node1   <none>           <none>
taint-deploy-69f9b6874c-qblnx   1/1     Running   0          8m22s   10.40.0.5   node1   <none>           <none>

扩容Pod 我们将Pod扩容至9台，可以直观的展现污点可以看出，全部在node1节点

[root@master demo]# kubectl scale --replicas=9 deploy/taint-deploy -n default
deployment.apps/taint-deploy scaled
[root@master demo]# kubectl get pods -o wide | grep taint
taint-deploy-69f9b6874c-2pbkd   1/1     Running             0          11m   10.40.0.4   node1   <none>           <none>
taint-deploy-69f9b6874c-5j8rx   0/1     ContainerCreating   0          14s   <none>      node1   <none>           <none>
taint-deploy-69f9b6874c-5ws25   0/1     ContainerCreating   0          14s   <none>      node1   <none>           <none>
taint-deploy-69f9b6874c-f7lck   0/1     ContainerCreating   0          14s   <none>      node1   <none>           <none>
taint-deploy-69f9b6874c-h6kpj   1/1     Running             0          11m   10.40.0.3   node1   <none>           <none>
taint-deploy-69f9b6874c-l686n   0/1     ContainerCreating   0          14s   <none>      node1   <none>           <none>
taint-deploy-69f9b6874c-qblnx   1/1     Running             0          11m   10.40.0.5   node1   <none>           <none>
taint-deploy-69f9b6874c-r2nln   0/1     ContainerCreating   0          14s   <none>      node1   <none>           <none>
taint-deploy-69f9b6874c-vjbqq   0/1     ContainerCreating   0          14s   <none>      node1   <none>           <none>

删除node2污点root@master demo# kubectl taint node node2 type:NoSchedule- node/node2 untainted
缩容再扩容

[root@master demo]# kubectl scale --replicas=1 deploy/taint-deploy -n default
[root@master demo]# kubectl get pods -o wide | grep taint
taint-deploy-69f9b6874c-2pbkd   1/1     Running   0          24m   10.40.0.4   node1   <none>           <none>
[root@master demo]# kubectl scale --replicas=9 deploy/taint-deploy -n default
deployment.apps/taint-deploy scaled
[root@master demo]# kubectl get pods -o wide | grep taint
taint-deploy-69f9b6874c-2pbkd   1/1     Running   0          38m     10.40.0.4   node1   <none>           <none>
taint-deploy-69f9b6874c-8cq67   1/1     Running   0          8m29s   10.32.0.6   node2   <none>           <none>
taint-deploy-69f9b6874c-bskp5   1/1     Running   0          8m29s   10.32.0.7   node2   <none>           <none>
taint-deploy-69f9b6874c-gbv66   1/1     Running   0          8m29s   10.40.0.6   node1   <none>           <none>
taint-deploy-69f9b6874c-jrz79   1/1     Running   0          8m29s   10.40.0.5   node1   <none>           <none>
taint-deploy-69f9b6874c-k7cvp   1/1     Running   0          8m29s   10.40.0.7   node1   <none>           <none>
taint-deploy-69f9b6874c-pj6d9   1/1     Running   0          8m29s   10.32.0.4   node2   <none>           <none>
taint-deploy-69f9b6874c-rqw8k   1/1     Running   0          8m29s   10.32.0.5   node2   <none>           <none>
taint-deploy-69f9b6874c-zdtxz   1/1     Running   0          8m29s   10.40.0.3   node1   <none>           <none>

三. 亲和

1. 用节点亲和性把 Pods 分配到节点

选择一个节点，给它添加一个标签：

kubectl label nodes <your-node-name> disktype=ssd

其中 <your-node-name> 是你所选节点的名称。

验证你所选节点具有 disktype=ssd 标签：

kubectl get nodes --show-labels

输出类似于此：

NAME      STATUS    ROLES    AGE     VERSION        LABELS

worker0   Ready     <none>   1d      v1.13.0        ...,disktype=ssd,kubernetes.io/hostname=worker0

worker1   Ready     <none>   1d      v1.13.0        ...,kubernetes.io/hostname=worker1

worker2   Ready     <none>   1d      v1.13.0        ...,kubernetes.io/hostname=

2. 依据强制的节点亲和性调度 Pod

下面清单描述了一个 Pod，它有一个节点亲和性配置 requiredDuringSchedulingIgnoredDuringExecution ， disktype=ssd 。这意味着 pod 只会被调度到具有 disktype=ssd 标签的节点上。

apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: disktype
            operator: In
            values:
            - ssd            
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent

执行（Apply）此清单来创建一个调度到所选节点上的 Pod：

kubectl apply -f https://k8s.io/examples/pods/pod-nginx-required-affinity.yaml

验证 pod 已经在所选节点上运行：

kubectl get pods --output=wide

输出类似于此：

NAME     READY     STATUS    RESTARTS   AGE    IP           NODE
nginx    1/1       Running   0          13s    10.200.0.4   worker0

3. 使用首选的节点亲和性调度 Pod

本清单描述了一个Pod，它有一个节点亲和性设置 preferredDuringSchedulingIgnoredDuringExecution ， disktype: ssd 。这意味着 pod 将首选具有 disktype=ssd 标签的节点。

apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  affinity:
    nodeAffinity:
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 1
        preference:
          matchExpressions:
          - key: disktype
            operator: In
            values:
            - ssd          
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent

执行此清单创建一个会调度到所选节点上的 Pod：

kubectl apply -f https://k8s.io/examples/pods/pod-nginx-preferred-affinity.yaml

验证 pod 是否在所选节点上运行：

kubectl get pods --output=wide

输出类似于此：

NAME     READY     STATUS    RESTARTS   AGE    IP           NODE
nginx    1/1       Running   0          13s    10.200.0.4   worker0

三. 亲和

1. 用节点亲和性把 Pods 分配到节点

选择一个节点，给它添加一个标签：

kubectl label nodes <your-node-name> disktype=ssd

其中 <your-node-name> 是你所选节点的名称。

验证你所选节点具有 disktype=ssd 标签：

kubectl get nodes --show-labels

输出类似于此：

NAME      STATUS    ROLES    AGE     VERSION        LABELS
worker0   Ready     <none>   1d      v1.13.0        ...,disktype=ssd,kubernetes.io/hostname=worker0
worker1   Ready     <none>   1d      v1.13.0        ...,kubernetes.io/hostname=worker1
worker2   Ready     <none>   1d      v1.13.0        ...,kubernetes.io/hostname=

2. 依据强制的节点亲和性调度 Pod

apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: disktype
            operator: In
            values:
            - ssd            
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent

执行（Apply）此清单来创建一个调度到所选节点上的 Pod：

kubectl apply -f https://k8s.io/examples/pods/pod-nginx-required-affinity.yaml

验证 pod 已经在所选节点上运行：

kubectl get pods --output=wide

输出类似于此：

NAME     READY     STATUS    RESTARTS   AGE    IP           NODE
nginx    1/1       Running   0          13s    10.200.0.4   worker0

3. 使用首选的节点亲和性调度 Pod

pods/pod-nginx-preferred-affinity.yaml

image

apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  affinity:
    nodeAffinity:
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 1
        preference:
          matchExpressions:
          - key: disktype
            operator: In
            values:
            - ssd          
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent

执行此清单创建一个会调度到所选节点上的 Pod：

kubectl apply -f https://k8s.io/examples/pods/pod-nginx-preferred-affinity.yaml

验证 pod 是否在所选节点上运行：kubectl get pods --output=wide

输出类似于此：

NAME     READY     STATUS    RESTARTS   AGE    IP           NODE
nginx    1/1       Running   0          13s    10.200.0.4   worker0

参考文章

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

kubernetes

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

kubernetes

登录后参与评论

3 条评论

热度

最新

lyushine

2022-10-25

通俗易懂

回复回复点赞举报

用户10045219

2022-10-24

通俗易懂

回复回复点赞举报

用户10133241

2022-10-24

通俗易懂

回复回复点赞举报

编辑精选文章

换一批

万字详解高可用架构设计

1755

Go 开发者必备：Protocol Buffers 入门指南

亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？

823

60页PPT全解：DeepSeek系列论文技术要点整理

1621

再战 k8s（11）：污点、容忍，亲和性

node.js kubernetes

看、未来

2022/05/06

5800

浅入Kubernetes(10)：控制节点的部署，选择器、亲和性、污点

node.js kubernetes

在前面的学习中，我们学到了 Deployment 部署，以及副本数(ReplicaSet)，但是 Pod 部署到哪个 Worker 节点是随机，即使有 3个 Woker 和设定 3个副本，不一定每个 Node 刚刚好运行一个 Pod，也可能其中 Node 运行着三个副本。

痴者工良

2021/04/26

8540

关于K8s中Pod调度[选择器,指定节点,主机亲和性]方式和节点[coedon,drain,taint]标记的Demo

github git 开源 kubernetes api

众多周知，Kubernetes Scheduler 是 Kubernetes中负责Pod调度的重要功能模块，运行在k8s 集群中的master节点。

山河已无恙

2023/01/30

1.3K0

关于K8s中Pod调度[选择器,指定节点,主机亲和性]方式和节点[coedon,drain,taint]标记的Demo

Kubernetes 的亲和性污点与容忍

kubernetes 部署服务集群数据中心

我们在使用k8s过程中经常有这样的需求：我的k8s集群有多台服务器，配置不尽相同。我想把数据库部署到CPU、内存比较好的这几台机；我想把静态承载服务部署到有固态硬盘的机器等；而这些需求，就是我们今天要讲的k8s的调度：

乔达摩@嘿

2023/03/23

7760

Kubernetes (K8S)中深入理解Pods调度

kubernetes app 部署集群主机

我们部署的 Pod 是通过集群的自动调度策略来选择节点的，默认情况下调度器考虑的是资源足够，并且负载尽量平均，但是有的时候我们需要能够更加细粒度的去控制 Pod 的调度，比如我们希望一些机器学习的应用只跑在有 GPU 的节点上；但是有的时候我们的服务之间交流比较频繁，又希望能够将这服务的 Pod 都调度到同一个的节点上。这就需要使用一些调度方式来控制 Pod 的调度了，主要有两个概念：亲和性和反亲和性，亲和性又分成节点亲和性(nodeAffinity)和 Pod 亲和性(podAffinity)。

王先森sec

2023/10/17

6920

这应该是最全的K8s-Pod调度策略了

node.js kubernetes

API Server接受客户端提交Pod对象创建请求后的操作过程中，有一个重要的步骤就是由调度器程序kube-scheduler从当前集群中选择一个可用的最佳节点来接收并运行它，通常是默认的调度器kube-scheduler负责执行此类任务。

小小科

2020/06/15

19K0

【K8S专栏】Kubernetes调度管理

node.js kubernetes apache

在日常工作中，每个机场都有调度室，用来管理飞机应该从哪里降落，停在什么地方。在Kubernetes也有这样的调度器，主要作用就是将Pod安排到合适的节点上。

没有故事的陈师傅

2022/09/15

6450

k8s中pod的状态包括_k8s pod状态

容器 kubernetes node.js

可以在根容器上设置Ip地址，其它容器都共享此ip，以实现Pod内部的网路通信，同时外部服务要访问容器也可以通过此ip

全栈程序员站长

2022/09/22

2.3K0

Kubernetes之调度篇

node.js kubernetes

这边肯定会有其他场景也会有对pod的调度有特殊要求，这边只是列举了其中几个情况，对于上述遇到的情况我们需要怎么处理，其实k8s给我们提供了丰富的调度策略来满足我们的需求。下面我们来一一说下这些调度策略。

聂伟星

2020/08/25

1.5K0

kubernetes亲和性和反亲和性，污点和容忍

kubernetes

在 Kubernetes 中，亲和性和反亲和性可以用来控制 Pod 如何调度到节点上，而污点和容忍则可以用来控制节点是否接受 Pod。在本文中，我们将介绍 Kubernetes 中亲和性、反亲和性、污点和容忍的概念，并提供一些示例来帮助读者更好地理解这些概念。

堕落飞鸟

2023/04/01

1.7K1

Kubernetes K8S之Taints污点与Tolerations容忍详解

kubernetes node.js

节点和Pod亲和力，是将Pod吸引到一组节点【根据拓扑域】（作为优选或硬性要求）。污点（Taints）则相反，它们允许一个节点排斥一组Pod。

踏歌行

2020/11/24

3.1K1

k8s 污点和容忍

node.js kubernetes

在 Kubernetes 中，节点亲和性 NodeAffinity 是 Pod 上定义的一种属性，能够使 Pod 按我们的要求调度到某个节点上，而 Taints(污点) 则恰恰相反，它是 Node 上的一个属性，可以让 Pod 不能调度到带污点的节点上，甚至会对带污点节点上已有的 Pod 进行驱逐。当然，对应的 Kubernetes 可以给 Pod 设置 Tolerations(容忍) 属性来让 Pod 能够容忍节点上设置的污点，这样在调度时就会忽略节点上设置的污点，将 Pod 调度到该节点。一般时候 Taints 通常与 Tolerations 配合使用。

看、未来

2022/09/27

8470

Kubernetes 漫游：kube-scheduler

容器 kubernetes scheduler 部署集群

Kubernetes 集群的核心组件之一，它负责为新创建的 Pods 分配节点。它根据多种因素进行决策，包括：

phoenix.xiao

2023/11/29

3240

8-Kubernetes入门基础之调度器与亲和性介绍

node.js kubernetes

priority 选项描述: 优先级由一系列键值对组成，键是该优先级项的名称，值是它的权重（非常重要)一般得权重越高即优先级越高，通过算法对所有的优先级项目和权重进行计算得出最终的结果; 这些优先级选项包括:

全栈工程师修炼指南

2022/09/29

7770

K8s调度策略

kubernetes node.js

在K8s中，调度是指将Pod放置到合适的节点上。调度器通过 K8s 的监测机制来发现集群中新创建且尚未被调度到节点上的Pod。调度器会将所发现的每一个未调度的Pod调度到一个合适的节点上来运行。

谢公子

2023/02/27

1K0

k8s 实践经验（五）pod 详解（2）

node.js kubernetes

在讲解本章之前，我先通过一个故事，来描绘一下 k8s 中 node 和 pod 的爱恨情仇。

看、未来

2022/05/09

6590

k8s实践(14)--scheduler调度器和pod调度策略

scheduler 工作实践算法主机

k8s实践(10) -- Kubernetes集群运行原理详解介绍过kube-scheduler。

黄规速

2024/01/08

3.6K0

K8S Pod调度策略

node.js kubernetes

kube-scheduler是K8S集群默认的调度器，如果你愿意，也可以自己写一个调度组件来替代kube-scheduler，在实际应用中，kube-scheduler也有许多不尽如人意的地方，很多大厂也或多或少的修改或开发自己的调度器。参见《美团点评Kubernetes集群管理实践》

用户2020431

2019/08/27

3.7K0

kubernetes | 调度

kubectl requests resources scheduler yaml

基于centos7.9，docker-ce-20.10.18，kubelet-1.22.3-0

Amadeus

2022/10/25

2760

不背锅运维：K8S之污点、污点容忍

kubernetes node.js 腾讯云测试服务 https 网络安全

K8s CKA+CKS认证实战班》2023版：https://mp.weixin.qq.com/s/h1bjcIwy2enVD203o-ntlA

不背锅运维

2023/03/01

9890