社区首页 >专栏 >基于Super-Jacoco的精准测试实践之路

基于Super-Jacoco的精准测试实践之路

公号:咻咻ing

发布于 2021-12-07 06:59:41

3K00

代码可运行

文章被收录于专栏：公众号:咻咻ing公众号:咻咻ing

运行总次数：0

代码可运行

灵魂拷问

这个版本的影响范围到底有多大？
研发改动了代码，为什么不通知测试？
测试用例真的全面覆盖了吗？
测试同学的测试覆盖情况该怎么评估？

什么是精准测试

概念

借助技术手段、通过辅助算法对软件测试过程进行可视化、分析及优化的过程，使得测试过程更加可视化、智能、可信和精准。

目标

测试质量的评估不在完全依靠个人经验和业务熟练度，而是通过精准的数据来判定。在测试资源有限的条件下，将用例精简到更加有针对性，提高测试效率，减少漏测风险。

核心

研发：研发人员可以看到测试执行用例的代码细节，帮助快速定位和修复缺陷。
测试：测试人员可以通过代码修改范围快速确定测试用例，减少测试的盲目性，提升测试覆盖率。

精准测试实践

无需对开发代码做任何改造，只需在服务启动命令中添加javaagent即可。
依托于Super-Jacoco，基于Jacoco、Git二次开发，收集两个版本间增量代码差异。
用户执行测试用例，用例执行过程中Jacoco会记录代码覆盖情况。
生成可视化的HTML覆盖率报告，协助用例覆盖情况精准分析。

整体流程图

详细使用流程

业务部署

修改env下虚拟机参数 env: - name: OTHER_VM_OPTIONS value: '-javaagent:/jacoco-agent.jar=includes=*,output=tcpserver,address=0.0.0.0,port=28048 super-jacoco服务需要通过agent启动的服务中拉取exec文件 address指定为0.0.0.0即可，但是port必须为对外暴漏的端口
/home/xxx/org.jacoco.agent-0.8.5runtime.jar：agent Jar包存放路径
port: 部署服务器的空闲port，用于精准测试服务来拉取exec文件
物理机部署业务方服务在启动业务方服务时，添加javaagent启动参数 java -javaagent:/home/xxx/org.jacoco.agent-0.8.5runtime.jar=includes=*,output=tcpserver,address={address},port={port} -jar service.jar

启动覆盖率收集

在用例执行之前，先启动覆盖率收集，获取两个Git Commit点之间的代码差量报告

❝Host为Super Jacoco服务启动的ip和port ❞

Host: http://ip:port
Path: /cov/triggerEnvCov
Method: POST application/json
Body: 
{
  "uuid": "{随机ID}",
  "type": 1,
  "gitUrl": "ssh://gitUrl/{your project name}",
  "subModule": "",
  "baseVersion": "commit id",
  "nowVersion": "commit id",
  "address": "{address}",
  "port": "{port}"
}
Response：
{
  "code": 200,
  "msg": "success",
  "data": null
}

参数说明：

可以把接口配置到PostMan中，调用启动覆盖率收集，之后即可执行测试用例

uuid：随机值，全局唯一；可手动输入，getEnvCoverResult接口需要使用
baseVersion: 基准的Git CommitID
address：步骤1中的address

获取覆盖率报告

在测试用例执行后，通过接口/cov/getEnvCoverResult获取覆盖率报告

Host: http://ip:port
Path: /cov/getEnvCoverResult
Method: GET
Query:
 uuid: {uuid}
Response：
{
  "code": 200,
  "msg": "success",
  "data": {
    "coverStatus": 1,
    "reportUrl": "http://ip:port/uuid/index.html",
    "lineCoverage": 60.3,
    "branchCoverage": 50.62,
    "errMsg": "",
    "logFile": "http://ip:port/logs/uuid.log"
  }
}

参数说明：

uuid：步骤2中的uuid

访问reportUrl中的地址即可获取覆盖率报告，报告解读：

上图为某项目的报告截图示例，对报告理解作简单介绍：

绿色：用例执行覆盖到了该代码
红色：该代码逻辑未被覆盖到
代码标记颜色说明：

精准测试使用场景

1. 提测阶段

版本提测后，通过触发【启动覆盖率收集】步骤2中的操作，通过【步骤3】获取覆盖率报告，可以获得本次迭代版本相比上个版本的代码变更范围，为测试同学制定测试方案和测试范围提供参考。同时可以评估研发的自测程度。

2. 测试阶段

测试完成后，通过获取【获取覆盖率报告】步骤3来查看测试覆盖情况，测试同学可以根据代码染色结果来分析本次测试的完成度。同时也可以驱动测试同学加强代码阅读和分析，提升测试深度。

3. 回归阶段

通过PostMan测试集合执行回归用例，除了可以查看测试集合的用例执行结果外，还可以通过覆盖率报告进行分析。

常见问题

Super-Jacoco的git地址是否支持ssh？

支持，application.properties中的gitlab.username和gitlab.password配置为空值时使用默认的SSH值。你也可以修改super-jacoco中com.xiaoju.basetech.util.GitHandler的源码来指定SSH配置，示例代码如下：

private String private_key = "/Users/wang/.ssh/y";
SshSessionFactory sshSessionFactory = new JschConfigSessionFactory() {
            @Override
            protected void configure(OpenSshConfig.Host host, Session session) {
                session.setConfig("StrictHostKeyChecking", "no");
            }

            @Override
            protected JSch createDefaultJSch(FS fs) throws JSchException {
                JSch sch = super.createDefaultJSch(fs);
                sch.addIdentity(private_key); //添加私钥文件
                return sch;
            }
        };

        Git git = Git.cloneRepository()
                .setURI(gitUrl)
                .setTransportConfigCallback(transport -> {
                    SshTransport sshTransport = (SshTransport) transport;
                    sshTransport.setSshSessionFactory(sshSessionFactory);
                })
                .setCredentialsProvider(new UsernamePasswordCredentialsProvider(username, password))
                .setDirectory(new File(codePath))
                .setBranch(commitId)
                .call();
        // 切换到指定commitId
        checkoutBranch(git, commitId);
        return git;