当SRS遇到K8s：如何构建海量推流源站？

Photo by Oscar Ivan Esquivel Arteaga on Unsplash

本文来自流媒体直播集群SRS的官方wiki（https://github.com/ossrs/srs/wiki/v4_CN_K8s），由SRS的创始作者杨成立授权发布。

文 / 杨成立

相关文章：当SRS遇到K8s：快速构建高并发直播集群

本章描述了基于K8s，如何构建Origin Cluster支持超多推流场景。

Origin Cluster通过配置其他源站的信息，在本源站没有流时查询到流的位置，通过RTMP302定向到指定源站，具体原理可以参考#464。主要应用场景如下：

• 源站灾备：即使流比较少，也可以用两个源站，这样可以将流分散到不同的源站，避免源站出现问题时影响所有的流。
• 海量推流：单源站可以支持1000到3000路流，高码率的流支持的路数更少，有DVR和HLS时支持的路更少，源站集群有多个源站同时接收推流，可以支持10k~100k推流，参考规格。
• 复杂源站业务：源站除了支持推流和拉流，还有重要的功能是DVR、转码、转HLS，DVR和HLS涉及磁盘，转码涉及CPU，都是容易发生瓶颈的资源依赖，源站集群扩展能力更强。

在这个场景下，对比K8s和传统使用方式的差异：

Step 1: 由于SRS和Nginx不在一个Pod可能也不在一个Node，需要创建依赖的PV(Persistent Volume)持久化卷，可购买NAS例如：

• 驱动类型(PV driver)：alicloud/nas
• 挂载点(PV server)，可在控制台创建、查看和复制：1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com
• NFS版本(PV vers)：3

在NAS基础上可以创建PV，以及PVC：

• pv-nas，从NAS存储创建的PV，支持多写和多读，Pod不使用存储后会回收，也就是删除这些数据。
• pvc-nas，SRS和Nginx源站使用的PVC，具有读写权限。读取SRS的静态文件和HLS并分发。

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: PersistentVolume

metadata:

name: pv-nas

labels:

pv: nfs-pv

spec:

capacity:

storage: 100Gi

storageClassName: nas

accessModes:

-ReadWriteMany

-ReadOnlyMany

persistentVolumeReclaimPolicy: Retain

flexVolume:

driver: "alicloud/nas"

options:

server: "1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com"

path: "/k8s"

vers: "3"

options: "nolock,tcp,noresvport"

---

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

name: pvc-nas

spec:

accessModes:

-ReadWriteMany

storageClassName: nas

resources:

requests:

storage: 100Gi

selector:

matchLabels:

pv: nfs-pv

EOF

Note:请将上面的挂载点(PV server)替换成你的。

Step 2: 创建SRS源站集群和Nginx源站应用和服务。

• srs-origin-config: 创建一个配置k8s ConfigMap，存储了SRS Origin Server使用的配置文件。
• socs: 创建一个Headless服务k8s service，基于Headless Service提供Origin服务，每个Origin都有自己的服务地址，例如srs-origin-0.socs，供内部Edge Server调用。
• srs-origin: 创建一个有状态应用k8s StatefulSet，运行SRS Origin Cluster，HLS写入共享存储PV。
• nginx-origin-deploy: 创建一个无状态应用k8s deployment，运行Nginx，将SRS静态文件写入PV，从共享存储PV读取HLS和静态文件。
• srs-http-service: 创建一个服务k8s service，基于SLB提供HTTP服务，Nginx对外提供HLS服务。
• srs-api-service: 创建一个服务k8s service，基于SLB提供HTTP服务，SRS第一个源站提供API服务，标签为statefulset.kubernetes.io/pod-name: srs-origin-0。

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: ConfigMap

metadata:

name: srs-origin-config

data:

srs.conf: |-

listen 1935;

max_connections 1000;

daemon off;

http_api {

enabled on;

listen 1985;

}

http_server {

enabled on;

listen 8080;

}

vhost __defaultVhost__ {

cluster {

origin_cluster on;

coworkers srs-origin-0.socssrs-origin-1.socs srs-origin-2.socs;

}

http_remux {

enabled on;

}

hls {

enabled on;

}

}

---

apiVersion: v1

kind: Service

metadata:

name: socs

spec:

clusterIP: None

selector:

app: srs-origin

ports:

-name: socs-1935-1935

port: 1935

protocol: TCP

targetPort: 1935

---

apiVersion: apps/v1

kind: StatefulSet

metadata:

name: srs-origin

labels:

app: srs-origin

spec:

serviceName: "socs"

replicas: 3

selector:

matchLabels:

app: srs-origin

template:

metadata:

labels:

app: srs-origin

spec:

volumes:

- name: cache-volume

persistentVolumeClaim:

claimName: pvc-nas

- name: config-volume

configMap:

name: srs-origin-config

containers:

- name: srs

image: ossrs/srs:3

imagePullPolicy: IfNotPresent

ports:

- containerPort: 1935

- containerPort: 1985

- containerPort: 8080

volumeMounts:

- name: cache-volume

mountPath: /usr/local/srs/objs/nginx/html

readOnly: false

- name: config-volume

mountPath: /usr/local/srs/conf

---

apiVersion: apps/v1

kind: Deployment

metadata:

name: nginx-origin-deploy

labels:

app: nginx-origin

spec:

replicas: 1

selector:

matchLabels:

app: nginx-origin

template:

metadata:

labels:

app: nginx-origin

spec:

volumes:

- name: cache-volume

persistentVolumeClaim:

claimName: pvc-nas

containers:

- name: nginx

image: nginx

imagePullPolicy: IfNotPresent

ports:

- containerPort: 80

volumeMounts:

- name: cache-volume

mountPath: /usr/share/nginx/html

readOnly: true

- name: srs-cp-files

image: ossrs/srs:3

imagePullPolicy: IfNotPresent

volumeMounts:

- name: cache-volume

mountPath: /tmp/html

readOnly: false

command: ["/bin/sh"]

args: ["-c", "cp -R ./objs/nginx/html/* /tmp/html/; sleepinfinity"]

---

apiVersion: v1

kind: Service

metadata:

name: srs-http-service

spec:

type: LoadBalancer

selector:

app: nginx-origin

ports:

-name: nginx-origin-service-80-80

port: 80

protocol: TCP

targetPort: 80

---

apiVersion: v1

kind: Service

metadata:

name: srs-api-service

spec:

type: LoadBalancer

selector:

statefulset.kubernetes.io/pod-name: srs-origin-0

ports:

-name: srs-api-service-1985-1985

port: 1985

protocol: TCP

targetPort:1985

EOF

Remark:假设SRS源站有状态服务srs-origin配置的Replicas为2，则会生成两个源站srs-origin-0.socs和srs-origin-1.socs，若新增了源站比如Replicas为3，则需要在配置中加上srs-origin-2.socs。

Remark:我们启动了一个srs-cp-files的container，拷贝SRS默认的文件，参考#1603.

Note:Origin Server在集群内部提供流媒体源站服务，内部域名为srs-origin-0.socs和srs-origin-1.socs，EdgeServer会通过该域名连接到OriginServer。

Note:Nginx通过SharedVolume(PV)读取SRSOrigin生成的切片，对外提供HLS服务。

Note:这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。

Step 3: 创建SRS边缘配置、应用和服务。

• srs-edge-config: 创建一个配置k8s ConfigMap，存储了SRS Edge Server使用的配置文件。
• srs-edge-deploy: 创建一个无状态应用k8s deployment，运行多个SRS Edge Server。
• srs-edge-service: 创建一个服务k8s service基于SLB对外提供流媒体服务。

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: ConfigMap

metadata:

name: srs-edge-config

data:

srs.conf: |-

listen 1935;

max_connections 1000;

daemon off;

http_api {

enabled on;

listen 1985;

}

http_server {

enabled on;

listen 8080;

}

vhost __defaultVhost__ {

cluster {

mode remote;

origin srs-origin-0.socssrs-origin-1.socs srs-origin2.socs;

}

http_remux {

enabled on;

}

}

---

apiVersion: apps/v1

kind: Deployment

metadata:

name: srs-edge-deploy

labels:

app: srs-edge

spec:

replicas: 4

selector:

matchLabels:

app: srs-edge

template:

metadata:

labels:

app: srs-edge

spec:

volumes:

- name: config-volume

configMap:

name: srs-edge-config

containers:

- name: srs

image: ossrs/srs:3

imagePullPolicy: IfNotPresent

ports:

- containerPort: 1935

- containerPort: 1985

- containerPort: 8080

volumeMounts:

- name: config-volume

mountPath: /usr/local/srs/conf

---

apiVersion: v1

kind: Service

metadata:

name: srs-edge-service

spec:

type: LoadBalancer

selector:

app: srs-edge

ports:

-name: srs-edge-service-1935-1935

port: 1935

protocol: TCP

targetPort: 1935

-name: srs-edge-service-8080-8080

port: 8080

protocol: TCP

targetPort: 8080

EOF

Remark:假设SRS源站有状态服务srs-origin配置的Replicas为2，则会生成两个源站srs-origin-0.socs和srs-origin-1.socs，若新增了源站比如Replicas为3，则需要在配置中加上srs-origin-2.socs。

Note:Edge Server的配置中，通过源站在HeadlessService注册的内部域名srs-origin-0.socs等等，连接到OriginServer。

Note:这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。

Step 4: 大功告成。你可以推拉流了，其中HLS流可以从Nginx(80)播放，RTMP和HTTP-FLV从SRS播放：

• Publish RTMP to rtmp://28.170.32.118/live/livestream or to origin or to edge.
• Play RTMP from rtmp://28.170.32.118/live/livestream
• Play HTTP-FLV from http://28.170.32.118:8080/live/livestream.flv
• Play HLS from http://28.170.32.118/live/livestream.m3u8

Note:请将上面的EIP换成你自己的，可用命令kubectlget svc/srs-http-service或kubectl get svc/srs-edge-service查看你的EIP。

Note:如果是自动创建SLB和EIP，那么HLS和RTMP/HTTP-FLV的IP是不一样的，你可以选择手动指定SLB，这两个服务可以用同一个SLB，参考指定购买的SLB和EIP。

这里我们选择的是有状态集群方式，也可以选择以无状态应用(Deployment)方式部署源站，区别在于每个源站都需要创建一个Deployment和Service，参考源站集群部署方式，例如：

• 第0个源站，Deployment命名为srs-origin-0-deploy，ClusterIP服务命名为srs-origin-0。
• 第1个源站，Deployment命名为srs-origin-1-deploy，ClusterIP服务命名为srs-origin-1。
• 第2个源站，Deployment命名为srs-origin-2-deploy，ClusterIP服务命名为srs-origin-2。
• 源站配置改成coworkers srs-origin-0 srs-origin-1 srs-origin-2;。
• 边缘配置改成origin srs-origin-0 srs-origin-1 srs-origin-2;。

LiveVideoStackCon 2020

上海/北京/旧金山 讲师招募

2020年LiveVideoStackCon将持续迭代，LiveVideoStackCon将分别在上海（6月13-14日），北京（9月11-12日）和旧金山（11月）举行。欢迎将你的技术实践、踩坑与填坑经历、技术与商业创业的思考分享出来，独乐不如众乐。请将个人资料和话题信息邮件到 speaker@livevideostack.com 或点击【阅读原文】了解成为LiveVideoStackCon讲师的权益与义务，我们会在48小时内回复。