腾讯云TKE集群迁移之velero: 使用velero-plugin-for-tencent插件

背景

velero 是备份和还原kubernetes集群资源的和持久卷的工具, 主要提供了以下功能:

• 备份还原集群
• 不同集群间进行迁移
• 集群复制

tke官方文档中以及有了velero的最佳实践(https://cloud.tencent.com/document/product/457/50122)，本篇文章是在原官方文档中内的补充，针对velero-plugin-for-tencent 插件的使用.

Velero 工作原理图如下图所示（来源于 Velero 官网），当用户执行备份命令时，备份过程说明如下：

1. 调用自定义资源 API 创建备份对象(1)
2. BackupController 控制器检测到生成的备份对象时（2）执行备份操作（3）。
3. 将备份的集群资源和存储卷快照上传到 Velero 的后端存储（4）和（5）。

image.png

本次测试使用cos作为存储创建cos存储

1. 打开腾讯云对象存储控制台, 创建存储桶(https://cloud.tencent.com/document/product/436):

image.png

1. 依次打开腾讯云控制台->访问管理--> 访问密钥--> AP密钥管理--> 新建密钥:SecretId： xxx SecretKey: xxx
2. 创建credentials-velero 内容如下:

TENCENT_CLOUD_SECRETID=<SecretId>
TENCENT_CLOUD_SECRETKEY=<SecretKey>

安装velero

1. mac 下安装:

brew install velero

1. Linux下安装:

1.  wget https://github.com/vmware-tanzu/velero/releases/download/v1.5.2/velero-v1.5.2-linux-amd64.tar.gz

2. tar -xvf velero-v1.5.2-linux-amd64.tar.gz

3. mv velero-v1.5.2-linux-amd64/velero /usr/bin/

1. 部署velero到集群中

先设置环境变量:

BUCKET=<YOUR_BUCKET>
REGION=<YOUR_REGION>

执行一下命令进行部署：

 velero install \
--provider tencentcloud \
--plugins ccr.ccs.tencentyun.com/ruiqingzhu-tke/velero-plugin-for-tencentcloud:v1 \
--bucket  $BUCKET \
--secret-file  ./credentials-velero \
 --default-volumes-to-restic  --use-restic  --backup-location-config  region=$REGION,insecureSkipTLSVerify="true"

安装过程如下:

image.png

添加环境变量:

kubectl set env deployment/velero TENCENT_CREDENTIALS_FILE=/credentials/cloud -n velero

1. 检查组件状态, 执行以下命令, 状态为Available， 说明集群访问cos正常:velero backup-location get

image.png

备份

测试场景从A集群迁移到B集群

1. 备份A集群

velero backup create cluster-a --exclude-namespaces=velero,kube-system,kube-node-lease

查看备份状态:

velero backup get cluster-a

image.png

Status为Completed 表明备份结束。

1. 备份完成后执行以下命令，将备份存储位置临时更新为只读模式（非必须，可以防止在还原过程时， Velero 在备份存储位置中创建或删除备份对象）。示例如下：kubectl patch backupstoragelocation default --namespace velero \ --type merge \ --patch '{"spec":{"accessMode":"ReadOnly"}}' backupstoragelocation.velero.io/default patched

迁移数据

1. 在B集群同样部署velero velero install \ --provider tencentcloud \ --plugins ccr.ccs.tencentyun.com/ruiqingzhu-tke/velero-plugin-for-tencentcloud:v1 \ --bucket \ --secret-file ./credentials-velero \ --default-volumes-to-restic --use-restic --backup-location-config region=$REGION,insecureSkipTLSVerify="true --kubeconfig kubeconf-b.config" 注意如果在同一台机器上执行，一定要注意指定集群的kubeconfig文件避免部署到原来的集群中(--kubeconfig 参数)
2. 迁移命令: velero restore create cluster-b --from-backup cluster-a --kubeconfig kubeconf-b.config

➜ velero_test velero restore create cluster-b --from-backup cluster-a --kubeconfig kubeconf-b.config

Restore request "cluster-b" submitted successfully.

Run velero restore describe cluster-b or velero restore logs cluster-b for more details.

1. 等待还原任务完成后查看还原日志，执行以下命令查看还原是否有报错和跳过信息。示例如下：

# 查看迁移时是否有错误的还原信息
velero restore logs <BACKUP-NAME> | grep error 
# 查看迁移时跳过的还原操作
velero restore logs <BACKUP-NAME> | grep skip

验证

使用一下命令查看迁移过后的集群应用信息：

kubectl get po --all-namespace

如果部分有问题，需要进步排查，可能需要手动调整。