首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >容器化项目镜像从构建到清理完整生命周期管理

容器化项目镜像从构建到清理完整生命周期管理

作者头像
DevOps云学堂
发布于 2020-03-17 09:31:08
发布于 2020-03-17 09:31:08
1K00
代码可运行
举报
文章被收录于专栏:DevOps持续集成DevOps持续集成
运行总次数:0
代码可运行

将应用构建成镜像、将镜像上传到镜像仓库非常简单。通过命令就能解决。镜像仓库巨大爆满如何解决?我们需要在开始使用前就应该设置好镜像的构建策略。(每个公司中管理不一样,具体可根据分支策略决定)。

分支开发策略

  • 主干分支 master
  • 特性分支 f1 f2
  • 版本分支 release

master分支是仓库的主干分支,当我们收到新的需求需要开发的时候。我们会基于master分支创建一个或多个特性分支,进行开发。开发完成后,首先基于master分支创建一个版本分支,然后将一个或多个特性分支合并到版本分支,进行发布。发布完成后将版本分支合并到主干分支。

发布验证:

  • 特性分支需要构建发布到特性环境验证。
  • 版本分支需要构建发布到UAT/STAG/PROD环境验证。

带来问题:

  • 特性分支产生的镜像会很多,而且并不重要可以定时清理掉。
  • 版本分支产生相对较少(考虑到版本修复情况),每个版本只有一个镜像。(上线发布完成后清除掉其他)

容器镜像管理规范

命名规范

  • 仓库类型
    • snapshot :开发版本仓库
    • release :生产正式版本仓库
  • 仓库命名
    • snapshot : 业务/项目名称-snapshot demo-snapshot
    • release : 业务/项目名称-release demo-release
  • 镜像命名
    • DEV : demo-snapshot/demo-devops-service:branch_commitid
    • PRD: demo-release/demo-devops-service:version_commitid
    • (业务/项目名称)/应用名称/标签
  • 标签命名
    • 分支名_提交ID
    • 版本号_提交ID

提交ID的意义: 减少重复构建。 每次发布获取当前发布分支中的最后一次提交的id进行匹配,在harbor镜像仓库中进行搜索,如果存在则跳过构建直接发布,如果不存在则进行构建步骤再发布。

镜像清理策略

随着镜像越来越多,频繁更新导致Harbor镜像仓库容量很快爆满。

  • snapshot仓库:每定时清理几天前的镜像
  • release仓库:版本发布完成后,清除版本其他镜像

因为版本分支进行正式环境发布的时候,可能会出现问题。进行修复后镜像仓库中会出现 1.1.1_xxxxxx1,1.1.1_xxxxxx2的镜像标签。假如1.1.1_xxxxxx2是我们正式发布的版本,则发布完成后。清理掉1.1.1_xxxxxx1。


构建容器镜像

编写Dockerfile

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
FROM nginx:latest

COPY dist /usr/share/nginx/html

构建镜像

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
docker build -t demo-web-app:1.1.1 .

上传镜像

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
docker push demo-web-app:1.1.1

一个完整的Jenkinsfile

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pipeline {
    agent {node {label "master"}}
    stages {
        stage('WebBuild') {
            steps {
                script {
                    docker.image('node:10.19.0-alpine').inside('-u 0:0 -v /var/jenkins_home/.npm:/root/.npm') {


                        sh """
                            id 
                            ls /root/.npm

                            ls /root/ -a
                            npm config set unsafe-perm=true
                            npm config list
                            npm config set cache  /root/.npm
                            #npm config set registry https://registry.npm.taobao.org
                            npm config list
                            ls 
                            cd demo && npm install  --unsafe-perm=true && npm run build  && ls -l dist/ && sleep 15 
                        """
                    }
                }
            }
        }

      stage("BuildImage"){
        steps {
          script{


            sh """
                #构建镜像
                cd demo
                docker build -t demo/demo-web-app:1.1.1_xxxxxxxx1 .

                #docker push demo/demo-web-app:1.1.1_xxxxxxxx1

            """

          }
        }
      }
    }
}

构建完成后,运行镜像进行测试

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
docker run -itd -p 8080:80 --name nginx-server demo/demo-web-app:1.1.1_xxxxxxxx1

测试成功

镜像清理策略

如果我们使用的是Harbor镜像仓库,我们可以给每个项目管理员授权定时手动清理镜像,我们也可以通过Harbor的接口进行自动化清理。在此举例通过Jenkins自动化清理。

这里列举了 获取镜像标签和根据标签删除镜像的方法。(注意这个实例仅供参考,在生产请慎用。不是说不能用,而是涉及到删除镜像,如果误删影响很大。)

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#!groovy
@Library('jenkinslibrary@master') _

def tools = new org.devops.tools()

String registryName = "${env.registryName}"
String serviceName = "${env.serviceName}"
String tagName = "${env.tagName}"
def harborProjects = []

currentBuild.description = "Trigger by ${serviceName} ${tagName}"


pipeline {
    agent { node { label "build"} }

    stages{

        stage("GetHarborTags"){
            steps{
                timeout(time:5, unit:"MINUTES"){
                    script{
                        tools.PrintMes("获取Harbor仓库中的项目信息","green")
                        println(serviceName)

                        try {
                            response = httpRequest authentication: 'harbor-admin,
                                                   url: "https://registry.demo.com/api/repositories/${registryName}/${serviceName}/tags",
                                                   ignoreSslErrors: true
                            //println(response.content)
                            response = readJSON text: """${response.content}"""

                        } catch(e){
                            response = ['name':'']
                            println(e)
                            println("Harbor镜像不存在此标签!")

                        }

                        /*println(tagName)
                        for (tagname in response){
                            //println(response)
                            harborProjects << tagname['name']
                        }

                        println(harborProjects)*/

                    }
                }
            }
        }



        stage("DeleteHarborTags"){
            steps{
                timeout(time:20, unit:"MINUTES"){
                    script{
                        tools.PrintMes("总共找到 ${harborProjects.size()} 个标签","green")
                        sumImageNum = harborProjects.size()
                        for (tag in harborProjects){
                            sumImageNum -= 1

                            tools.PrintMes(" ${sumImageNum}  Delete Tags ---> ${registryName} --> ${serviceName} --> ${tag} ","green")

                            httpRequest httpMode: 'DELETE',
                                       authentication: 'c016027e-0573-4246-93cf-f4a55b08a86a',
                                       url: "https://registry.demo.com/api/repositories/${registryName}/${serviceName}/tags/${tag}",
                                       ignoreSslErrors: true

                            sleep 1
                        }
                    }
                }
            }
        }
    }


    post {
        always{
            script{
                cleanWs notFailBuild: true 
            }
        }
    }
}

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-03-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 DevOps持续集成 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
kubernetes 基于jenkins spinnaker的ci/cd实践一增加制品镜像扫描
早期jenkins承担了kubernetes中的ci/cd全部功能Jenkins Pipeline演进,这里准备将cd持续集成拆分出来到spinnaker!
对你无可奈何
2021/11/20
1.2K0
Jenkins把GitHub项目做成Docker镜像
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
程序员欣宸
2019/09/25
1.7K0
Jenkins把GitHub项目做成Docker镜像
​微服务CI/CD实践-GitOps完整设计与实现
首先准备一个代码库:https://github.com/DevOpsCICDCourse/microservicescicd/blob/main/microservice-demo-service-master.zip
DevOps云学堂
2021/02/26
1.3K0
『中级篇』docker之CI/CD持续集成-项目生成镜像(76)
解决方法:在”/etc/docker/“目录下,创建”daemon.json“文件。在文件中写入
IT架构圈
2018/10/12
1.3K0
『中级篇』docker之CI/CD持续集成-项目生成镜像(76)
PS:实际上这个例子,就是特定版本的docker image的产生。一个版本的发布代表我们这个软件的稳定的版本的问世,接下来就可以进行对稳定版本的部署,我们对稳定版本的部署,稳定版本的部署具体是docker swarm还是k8s,最重要的是我们已经有了一个docker image,我们可以通过手动,或者自动的升级。update docker image 实现服务的不中断。 总体言之这几次的流程是:开发代码提交到分支后,分支下进行校验pipline,没有问题,进行deploy的,在deploy测试没有问题,打包tag,形成稳定的dockerimage版本。
IT架构圈
2019/07/08
7100
jenkins-5:参数化构建结合jenkinsfile对go服务进行容器化部署
因为不同的服务需要的资源不一样,如cpu,内存等,需要做一个通用模版,对这些差异化资源通过参数来进行定制。
千里行走
2022/08/31
9450
jenkins-5:参数化构建结合jenkinsfile对go服务进行容器化部署
Jenkins 构建自动化 .NET Core 发布镜像
在本章中,将介绍如何在 Linux 下使用 Docker 部署、启动 Jenkins,编写脚本,自动化构建 .NET Core 应用,最终将 .NET Core 应用打包为 Docker 镜像。
痴者工良
2021/06/29
2.7K0
基于Jira的运维发布平台的设计与实现
环节看似简单,但是中间其实是有断层的。一般企业在走上线流程都是通过一些公共渠道,比如邮件、钉钉、飞书的流程,这些都很难和运维执行上线发布平台进行关联上,而且也不够直观。所以我们就需要解决以下几个问题:
没有故事的陈师傅
2021/06/24
1.6K0
基于Jira的运维发布平台的设计与实现
持续集成流水线中的制品管理(Nexus)
我们可以在该工作流中通过Maven和CI服务器来构建,存储,管理已编译完成的制品。
DevOps云学堂
2021/10/18
1.8K0
持续集成流水线中的制品管理(Nexus)
Gitlab+Jenkins+k8s+Helm 的自动化部署实践
本文从实践角度介绍如何结合我们常用的 Gitlab 与 Jenkins,通过 K8s 来实现项目的自动化部署,示例将包括基于 SpringBoot 的服务端项目与基于 Vue.js 的 Web 项目。
kubernetes中文社区
2021/11/12
3.9K0
基于Jenkins+Argocd+Argo Rollouts的DevOps实现并用金丝雀发布
本文主要介绍使用Jenkins配合argocd以及argo rollouts实现CI/CD。其中jenkins配合argocd做CI/CD前面已经介绍过了,这里不再赘述,不懂的地方可以移步《使用Jenkins和Argocd实现CI/CD》。
没有故事的陈师傅
2021/01/04
4.9K1
基于Jenkins+Argocd+Argo Rollouts的DevOps实现并用金丝雀发布
[Jenkins]5分钟系列之十Jenkins pipeline和k8s集成
一、准备工作 1.1、环境准备 软件版本功能jenkins2.95提供平台Pipeline2.5提供平台1.2、推荐阅读 分分钟部署安装jenkins 二、jenkins和k8s集成相关事宜 2.1、大致的流程相关
追马
2020/07/03
7190
Kubernetes配合Jenkins实现轻量自动持续集成
之前写的Spinnaker自动化部署,部署复杂,依赖环境多,所以才有这一篇比较轻量级的自动化持续集成,需要用到的环境有Kubernetes-1.23、harbor、Jenkins、Helm、gitlab都是devops常见组件。
王先森sec
2023/04/24
3.1K0
Kubernetes配合Jenkins实现轻量自动持续集成
一键部署 SpringCloud 微服务,yyds!
一键部署springcloud微服务,需要用到 Jenkins K8S Docker等工具,自行安装即可。
码猿技术专栏
2024/01/29
3470
一键部署 SpringCloud 微服务,yyds!
基于gitlab ci构建devops平台
devops的概念很多,理解也很多。我的理解,它属于软件工程范畴。它定义了一种理念,基于这种理念,能够快速的开发,交付软件及成果物。各个团队直接在这个体系中,高效的沟通,协作等。
暮雨
2018/10/11
4.7K2
基于gitlab ci构建devops平台
使用 Google Jib 构建 Java 容器
随着近些年的技术发展,Java 领域微服务已经成为主流的技术方向。随着微服务化,云原生的概念也逐渐火热起来,不了解云原生仿佛就是一个原始人。而在云原生中,应用容器化 是其核心属性之一。
CNCF
2021/02/23
2.8K0
使用 Google Jib 构建 Java 容器
Kubernetes中spinnaker的使用一
spinnaker 1.26.6 on kubernetes,现在想到的做的跟jenkins流水线联动(添加多个jenkins环境配置)and 多kubernetes集群配置。
对你无可奈何
2021/11/12
5680
DevOps整合Jenkins+k8s+CICD
基于现在的互联网现状,更推崇敏捷式开发,这样就导致项目的迭代速度更快,但是由于开发团队与运维团队的沟通问题,会导致新版本上线的时间成本很高。这又违背的敏捷式开发的最初的目的。 那么如果让开发团队和运维团队整合到成一个团队,协同应对一套软件呢?这就被称为DevOps。 DevOps,字面意思是Development &Operations的缩写,也就是开发&运维。 然字面意思只涉及到了开发团队和运维团队,其实QA测试团队也是参与其中的。 网上可以查看到DevOps的符号类似于一个无穷大的符号
IT运维技术圈
2022/10/24
3.1K1
Jenkins file一行代码部署.NET程序到K8S
随着微服务的增多,每个项目的都需要pipline文件,这样的话Pipeline代码冗余度高,并且pipeline的功能越来越复杂。
Chester Chen
2022/08/18
7020
Jenkins file一行代码部署.NET程序到K8S
使用Kaniko在Kubernetes集群中快速构建推送容器镜像
kaniko 执行器镜像负责从 Dockerfile 构建镜像并将其推送到注册表,其流程大致如下:
全栈工程师修炼指南
2022/09/29
4.7K0
使用Kaniko在Kubernetes集群中快速构建推送容器镜像
推荐阅读
相关推荐
kubernetes 基于jenkins spinnaker的ci/cd实践一增加制品镜像扫描
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档