【腾讯云容器服务】在 TKE 上自建 Gitlab 代码仓库
原创【腾讯云容器服务】在 TKE 上自建 Gitlab 代码仓库
原创
本文介绍如何在腾讯云容器服务上部署 Gitlab 代码仓库。
前提条件
准备 chart
Gitlab 官方提供了 helm chart，可以下载下来:
helm repo add gitlab https://charts.gitlab.io/
helm fetch gitlab/gitlab --untar
helm fetch gitlab/gitlab-runner --untar不过要愉快的部署到腾讯云容器服务，要修改的配置项较多:
- 如果存储使用默认的云硬盘(cbs)，容量必须是 10Gi 的倍数，官方 chart 有一些 8Gi 的定义，会导致 pvc 一直 pending，pod 也一致 pending，需要修改一下配置。
- gitlab 相关组件的容器镜像地址使用的是 gitlab 官方的镜像仓库，在国内拉取可能会失败，需要同步到国内并修改镜像地址。
- 很多组件和功能可能用不到，建议是最小化安装，不需要的通通禁用，如 nginx-ingress, cert-manager, prometheus 等。
- 服务暴露方式和 TLS 证书管理，不同平台差异比较大，建议是单独管理，helm 安装时只安装应用本身，ingress 和 tls 相关配置禁用掉。
修改这些配置比较繁琐，我已经维护了一份 Gitlab 适配腾讯云容器服务的 chart 包，相关 gitlab 镜像也做了同步，可以实现一键安装。可以通过 git 拉下来:
git clone https://github.com/tke-apps/gitlab.git
cd gitlabStorageClass 注意事项
像 gitaly, minio 这些组件，是需要挂载持久化存储的，在腾讯云容器服务，默认使用的是云硬盘(CBS)，块存储，通常也建议使用这种，不过在使用之前，建议确保默认 StorageClass 支持磁盘容量在线扩容，这个特性需要确保集群版本在 1.18 以上，且安装了 CBS CSI 插件(Out-of-Tree)，新版本集群默认会安装。
然后找到默认 StorageClass，通常名为 "cbs":
编辑 yaml:
先确保以下两点，如果不满足，可以删除重建:
- 默认 StorageClass 的
is-default-class注解为 true。 - provisioner 是
com.tencent.cloud.csi.cbs。
如果满足，添加字段 allowVolumeExpansion: true 并保存。
另外，也可以通过 kubectl 修改，先查询 default StorageClass:
然后使用 kubectl edit sc <NAME> 进行修改。
部署 Gitlab
准备配置
创建 gitlab.yaml 配置，分享一下我的配置:
redis:
install: true
master:
nodeSelector:
node.kubernetes.io/instance-type: eklet
persistence:
enabled: false
postgresql:
install: false
minio:
persistence:
enabled: true
volumeName: gitlab-minio
accessMode: ReadWriteMany
size: '100Gi'
gitlab:
gitaly:
persistence:
enabled: true
volumeName: 'gitlab-gitaly'
accessMode: ReadWriteMany
size: 100Gi
global:
hosts:
domain: imroc.cc
https: true
gitlab:
name: gitlab.imroc.cc
https: true
nodeSelector:
node.kubernetes.io/instance-type: eklet
psql:
password:
useSecret: true
secret: gitlab-psql-password-secret
key: password
host: 'pgsql-postgresql.db'
port: 5432
username: gitlab
database: gitlab- redis 作为缓存，不想持久化数据，降低成本。
- postgresql 使用现有的数据库，不安装，配置上数据库连接信息(数据库密码通过secret存储，提前创建好)。
- minio 和 gitaly 挂载的存储，使用了 NFS，提前创建好 pv，在
persistence配置里指定volumeName来绑定 pv。 - 我的集群是标准集群，有普通节点和超级节点，我希望 gitlab 所有组件都调度到超级节点，global 和 redis 与 minio 里指定 nodeSelector，强制调度到超级节点。
- 服务暴露方式我用的 istio-ingressgateway，证书也配到 gateway 上的，对外访问方式是 https，在
global.hosts下配置对外访问域名，https置为 true(用于页面内的连接跳转，避免https页面跳到http链接)。
gitlab-psql-password-secret.yaml(存 postgresql 密码的 secret):
apiVersion: v1
kind: Secret
metadata:
name: gitlab-psql-password-secret
namespace: gitlab
type: Opaque
stringData:
password: '123456'gitaly 和 minio 挂载的存储我使用 NFS，提前创建好 CFS 实例和相应的文件夹路径，并 chmod 0777 <DIR> 修改目录权限，避免因权限问题导致 pod 启动失败。以下分别是它们的 pv yaml 定义:
minio-nfs-pv.yaml:
apiVersion: v1
kind: PersistentVolume
metadata:
name: gitlab-minio
spec:
accessModes:
- ReadWriteMany
capacity:
storage: 100Gi
nfs:
path: /gitlab/minio
server: 10.10.0.15
persistentVolumeReclaimPolicy: Retain
volumeMode: Filesystem
storageClassName: 'cbs'gitaly-nfs-pv.yaml:
apiVersion: v1
kind: PersistentVolume
metadata:
name: gitlab-gitaly
spec:
accessModes:
- ReadWriteMany
capacity:
storage: 100Gi
nfs:
path: /gitlab/gitaly
server: 10.10.0.15
persistentVolumeReclaimPolicy: Retain
volumeMode: Filesystem
storageClassName: 'cbs'storageClassName我使用默认的 StorageClass 名称，因为部署配置里没指定 storageClass 会自动给 pvc 加上默认的，如果 pv 跟 pvc 的storageClassName不匹配，会导致调度失败。
上述 pv 和 secret 是 gitlab 应用依赖的，需要在部署 gitlab 之前先 apply 到集群:
kubectl apply -f gitlab-psql-password-secret.yaml
kubectl apply -f minio-nfs-pv.yaml
kubectl apply -f gitaly-nfs-pv.yaml安装 gitlab
使用 helm 安装:
helm upgrade -n gitlab --install gitlab -f gitlab.yaml ./gitlab检查 gitlab 组件是否正常运行:
$ kubectl -n gitlab get pod
NAME READY STATUS RESTARTS AGE
gitlab-gitaly-0 1/1 Running 0 8m
gitlab-gitlab-exporter-7bc89d678-d4c7h 1/1 Running 0 8m
gitlab-gitlab-shell-77d99c8b45-kbfmd 1/1 Running 0 8m
gitlab-kas-549b4cf77c-thjrv 1/1 Running 0 8m
gitlab-migrations-1-2pnx7 0/1 Completed 0 8m
gitlab-minio-7b57f77ccb-g9mqb 1/1 Running 0 8m
gitlab-minio-create-buckets-1-hvz9g 0/1 Completed 0 6m
gitlab-redis-master-0 2/2 Running 0 6m
gitlab-sidekiq-all-in-1-v2-5f8c64987f-jhtv9 1/1 Running 0 8m
gitlab-toolbox-66bbb6d4dc-qff92 1/1 Running 0 8m
gitlab-webservice-default-868fbf9fbc-9cb8g 2/2 Running 0 8m后续想卸载可使用这个命令:
helm -n gitlab uninstall gitlab
暴露 Gitlab 服务
查看 service:
$ kubectl -n gitlab get service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
gitlab-gitaly ClusterIP None <none> 8075/TCP,9236/TCP 8m
gitlab-gitlab-exporter ClusterIP 172.16.189.22 <none> 9168/TCP 8m
gitlab-gitlab-shell ClusterIP 172.16.251.106 <none> 22/TCP 8m
gitlab-kas ClusterIP 172.16.245.70 <none> 8150/TCP,8153/TCP,8154/TCP,8151/TCP 8m
gitlab-minio-svc ClusterIP 172.16.187.127 <none> 9000/TCP 8m
gitlab-redis-headless ClusterIP None <none> 6379/TCP 8m
gitlab-redis-master ClusterIP 172.16.156.40 <none> 6379/TCP 8m
gitlab-redis-metrics ClusterIP 172.16.196.188 <none> 9121/TCP 8m
gitlab-webservice-default ClusterIP 172.16.143.4 <none> 8080/TCP,8181/TCP,8083/TCP 8m其中带 webservice 的 service 是 Gitlab 访问总入口，需要特别注意的是，端口是 8181，不是 8080 那个。
我使用 istio-ingressgateway，Gateway 本身已提前监听好 443 并挂好证书:
kubectl -n external get gw imroc -o yamlapiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
name: imroc
namespace: external
spec:
selector:
app: istio-ingressgateway
istio: ingressgateway
servers:
- port:
number: 443
name: HTTPS-443-pp0c
protocol: HTTPS
hosts:
- imroc.cc
- "*.imroc.cc"
tls:
mode: SIMPLE
credentialName: imroc-cc-crt-secret只需创建一个 VirtualService，将 gitlab 服务与 Gateway 绑定，暴露出去。
gitlab-vs.yaml:
apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
name: gitlab-imroc-cc
namespace: gitlab
spec:
gateways:
- external/imroc
hosts:
- 'gitlab.imroc.cc'
http:
- route:
- destination:
host: gitlab-webservice-default
port:
number: 8181 # 注意这里端口是 8181，不是 8080执行创建:
kubectl apply -f gitlab-vs.yaml除了暴露 https，如果需要通过 ssh 协议来 push 或 pull 代码，需要暴露 22 端口，使用单独的 Gateway 对象来暴露(绑定同一个 ingressgateway)，shell-gw.yaml:
apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
name: shell
namespace: external
spec:
selector:
app: istio-ingressgateway
istio: ingressgateway
servers:
- port:
number: 22
name: shell
protocol: TCP
hosts:
- "*"创建 Gateway:
kubectl apply -f shell-gw.yaml为 22 端口创建 VirtualService 并绑定 Gateway，gitlab-shell-vs.yaml:
apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
name: gitlab-shell
namespace: gitlab
spec:
gateways:
- external/shell
hosts:
- '*'
tcp:
- match:
- port: 22
route:
- destination:
host: gitlab-gitlab-shell
port:
number: 22创建 VirutalService:
kubectl apply -f gitlab-shell-vs.yaml获取 root 初始密码并登录
服务暴露出来之后，确保 DNS 也正确配置，解析到网关的 IP，我这里则是 istio-ingressgateway 对应的 CLB 的外网 IP。
在浏览器中打开 gitlab 外部地址:
自动跳转到登录页面，管理员用户名为 root，密码可通过自动生成的 secret 获取:
$ kubectl -n gitlab get secret | grep initial-root-password
gitlab-gitlab-initial-root-password Opaque 1 38m
$ kubectl -n gitlab get secret gitlab-gitlab-initial-root-password -o jsonpath='{.data.password}' | base64 -d
kxe***********************************************************k5拿到密码后输入然后登录即可。
部署并注册 gitlab-runner
Gitlab 有很强大的 CI 功能，我们可以在集群中也部署一下 gitlab-runner，如果为代码仓库设置了 CI 流程，可以自动将任务分发给 gitlab-runner 去执行 CI 任务，每个任务再创建单独的 Pod 去运行:
下面介绍 gitlab-runner 的部署与注册方法。
获取注册 token
在【Admin】-【Overview】-【Runners】 复制注册 token:
也可以通过 kubectl 获取 secret 得到 token:
$ kubectl -n gitlab get secret gitlab-gitlab-runner-secret -o jsonpath='{.data.runner-registration-token}' | base64 -d
AF************************************************************kF准备配置
gitlab-runner.yaml:
runnerRegistrationToken: AF************************************************************kF
gitlabUrl: 'https://gitlab.imroc.cc'
runners:
locked: false
config: |
[[runners]]
[runners.kubernetes]
image = "ubuntu:20.04"注意:
runnerRegistrationToken替换为上一步获取到的 token。gitlabUrl替换为 gitlab 访问地址。
安装 gitlab-runner
使用 helm 安装:
helm upgrade -n gitlab --install gitlab-runner -f gitlab-runner.yaml ./gitlab-runner检查 runner 是否正常运行:
$ kubectl -n gitlab get pod | grep runner
gitlab-runner-6fb794bb6b-s6n5h 1/1 Running 0 2m17s后续想卸载可使用这个命令:
helm -n gitlab uninstall gitlab-runner
检查是否注册成功
进入 Gitlab 【Admin】-【Overview】-【Runners】页面检查 runner 是否注册成功:
附录
测试场景
如果只是测试下 Gitlab，不长期使用，在不需要的时候可以把所有副本缩为 0 以节约成本:
kubectl get deployments.v1.apps | grep -v NAME | awk '{print $1}' | xargs -I {} kubectl scale deployments.v1.apps/{} --replicas=0
kubectl get sts | grep -v NAME | awk '{print $1}' | xargs -I {} kubectl scale sts/{} --replicas=0在需要用的时候置为 1:
kubectl get deployments.v1.apps | grep -v NAME | awk '{print $1}' | xargs -I {} kubectl scale deployments.v1.apps/{} --replicas=1
kubectl get sts | grep -v NAME | awk '{print $1}' | xargs -I {} kubectl scale sts/{} --replicas=1如果使用了 https://github.com/tke-apps/gitlab 这个仓库，可以直接用以下命令缩0:
make scale0扩到1:
make scale1原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
腾讯云开发者
