想同时使用多个CNI? 想往容器里塞多张网卡?试试这款CNI插件 CNI-Genie
genie可以引用CNI插件,包含默认CNI插件如(bridge macvlan ipvlan loopback)第三方插件如 calico,romana,weave-net
或者一些专用CNI插件如SR-IOV,DPDK等,可以调用在宿主机上的任意CNI插件.
甚至可以让容器一张网卡通过calico分配,另一张网卡走flannel走。
现在,在node节点上运行的kubelet最多只连接一个CNI插件,即Canal或Romana或Weave。CNI-Genie可以在运行时选用在该特定节点上运行的任何现有CNI插件。
当前Kubernetes无法做到这一点的原因是,当您启动kubelet时,您需要将cni-plugin详细信息作为“kubelet”进程的一部分传递。在这种情况下,您只需选择一个现有的CNI插件,并将其传递给kubelet。如果我们想让某些pod使用Canal网络和其他一组pod来使用weave网络怎么办?这在Kubernetes目前是不可能的。对于任何多网络支持,我们需要对Kubernetes进行更改,这会导致向后兼容性问题。
因此,CNI-Genie“多个CNI插件”功能旨在解决此问题,而无更改及Kubernetes代码
如下:
控制面数据面网卡分离,高速网络与低速分离,流媒体控制流与数据流分离
NetworkAttachmentDefinition 是一个用户可指定网络配置的CRD,然后pod选用该CRD. 这块一般人我不告诉他。
根据用户关注的性能指标自动选择CNI,例如占用率,子网数量,延迟,带宽这些“KPI” 去选择CNI
为租户提供专用的“物理”网络 在共享的“物理”网络上为不同租户隔离的“逻辑”网络
用于网络级ACL的CNI-Genie网络策略引擎
价格最小化:随着网络价格的变化,将工作负载动态切换到更便宜的网络 最大化网络利用率:在阈值时动态地将工作负载切换到较不拥挤的网络
安装略
下面针对几个主要功能对genie进行介绍:
选择不同的CNI只需要在pod中加一个annotations即可
apiVersion: v1
kind: Pod
metadata:
name: nginx-canal-master
labels:
app: web
annotations:
cni: "canal"
spec:
containers:
- name: key-value-store
image: nginx:latest
imagePullPolicy: IfNotPresent
ports:
- containerPort: 6379
上图最重要的就是4,5,6三个步骤:
多网卡不同CNI:
annotations:
cni: "weave,canal"
kubectl get pod只会显示一个ip, describe能看到两张网卡的ip:
annotations:
cni: canal,weave
multi-ip-preferences: '{"multi_entry":2,"ips":{"":
{},"ip1":
{"ip":"10.244.0.201","interface":"eth0"},
"ip2":{"ip":"10.32.0.4","interface":"eth1"}}}'
进容器也可以看到两张网卡了:
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
3: eth0@if49589: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc noqueue state UP group default
link/ether 7e:99:f7:87:81:c6 brd ff:ff:ff:ff:ff:ff
inet 10.244.0.201/32 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::7c99:f7ff:fe87:81c6/64 scope link
valid_lft forever preferred_lft forever
49590: eth1@if49591: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1376 qdisc noqueue state UP group default
link/ether 36:b0:8c:f0:9f:58 brd ff:ff:ff:ff:ff:ff
inet 10.32.0.4/12 scope global eth1
valid_lft forever preferred_lft forever
inet6 fe80::34b0:8cff:fef0:9f58/64 scope link
valid_lft forever preferred_lft forever
定义一个NAD(NetworkAttachmentDefinition)
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
name: weavenet
spec:
config: '{
"cniVersion": "0.3.0",
"plugins": [
{
"name": "weave",
"type": "weave-net",
"hairpinMode": true
},
{
"type": "portmap",
"capabilities": {"portMappings": true},
"snat": true
}
]
}
'
pod使用该NAD,还可指定默认插件,没写annotation就走默认CNI
apiVersion: v1
kind: Pod
metadata:
name: nginx-netattachdef-flannel-weave
annotations:
k8s.v1.cni.cncf.io/networks: flannel@eth1, network/weavenet@eth5
spec:
containers:
- name: key-value-store
image: nginx:latest
imagePullPolicy: IfNotPresent
ports:
- containerPort: 80
CNI-Genie可以与cAdvisor交互,收集每个容器的网络使用信息,以决定网络走哪个CNI
支持以下KPI:
使用时直接不指定CNI即可
apiVersion: v1
kind: Pod
metadata:
name: nginx-smart-pick
labels:
app: web
annotations:
cni: ""
你可以把一个CNI的流量打满,那么新创建的pod就会自动选择别的CNI
apiVersion: alpha.network.k8s.io/v1
kind: Logicalnetwork
metadata:
name: net1
namespace: default
spec:
physicalNet: "phynet1"
sub_subnet: "10.32.0.0/24"
pod 使用时用 networks字段指定即可
apiVersion: v1
kind: Pod
metadata:
name: nginx-single-network-pod
labels:
app: web
annotations:
cni: ""
networks: net1
genie在很多复杂网络场景还是非常有作用的,我们主要用其来管理虚拟机网络,以达到虚拟机与容器在同一个平台上运行