前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >DI/FS/ETL系统中数据准确性验证的羽量级实现

DI/FS/ETL系统中数据准确性验证的羽量级实现

作者头像
张树臣
修改2019-07-30 17:14:59
1.1K0
修改2019-07-30 17:14:59
举报
文章被收录于专栏:软件测试经验与教训

DI/ETL/FS系统是什么?

DI :数据集成,数据集成系统是为用户访问多个有效的、异构的数据源提供统一的应用系统,从而使用户真正将注意力集中在他们想要的特定结果上,而不必关心如何获得这些结果。现在一些企业在做的数据整合平台就是数据集成系统。

FS :财务系统。

ETL:数据仓库,也可以称为DW或DWH。是数据库概念的升级。从逻辑上理解,数据库和数据仓库没有区别,都是通过数据库软件实现存放数据的地方,只不过从数据量来说,数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数据分析,辅助领导做决策。

这三类系统有一种共通点,就是数据量庞大,且“抽数”、“洗数”的动作较多,而且很可能没有直接观察的页面,所以在测试过程中验证如何验证数据的准确性是一道难题。

DI/ETL/FS系统测试的痛点

测试该类系统的痛点:

  1. 数据来源于不同数据库,又缺少集成的页面来比对数据,导致数据比对工作量巨大且过程繁琐易出错。我们希望能有一款工具,用它来跨多数据库类型进行数据比对;
  2. 数据量庞大,只能抽检,难以保证每条数据都正确,测试结果受到质疑。若人工比对,显然不可接受,我们希望能有工具进行自动化比对;
  3. 测试环境造数困难,难以做到仿真的数据量和各种异常数据;
  4. 系统“抽数”、“洗数”的动作决定了我们要对来源数据(即数据进入数据库之前或者被系统处理之前)进行准备和校验,对数据处理结果进行校验,我们希望有工具能帮助我们快速、准确且全面的完成这个过程。
  5. ......

这个过程的测试比较复杂,今天我们先讲讲如何应对第一个痛点。

若要解决这个问题,理想的工具应该具备哪些基本功能呢?

  • 可以连接不同数据库,执行SQL或者类SQL脚本;
  • 可以对数据库返回结果进行判断;
  • 可以把判断结果打印输出;

这样的工具有很多,今天以JMeter比较ORACLE和MYSQL内两表数据为例,说明如何操作:

(1)建立ORACLE和MYSQL的连接:

(2)在源表和目的表分别执行SQL操作:

(3)将SQL返回存入变量:

vars.put("result1",String.valueOf(prev.getResponseDataAsString()));

vars.put("result2",String.valueOf(prev.getResponseDataAsString()));

(4)比较两变量并做出判断:

if (!vars.get("result1").equals(vars.get("result2"))) {

Failure = true; FailureMessage = "错了,两个SQL返回不一致";

}

else {

FailureMessage = "靠谱";

}

(5)打印输出判断结果(不符合期待输出):

(5)打印输出判断结果(符合期待输出):

羽量级实现是什么?

之所以称为羽量级实现:

  • 需要掌握的语法点只有四处:String.valueOf()、vars.put()、.equals()、if_else,其他都在JMeter图形界面中配置,学习成本很低;
  • JMeter是开源工具,随手可得,安装方便;
  • 执行效率很高,笔者尝试对源表和目的表50字段,百万行数据,10表UNION查询结果进行比对,执行时间不超过20秒,时间消耗主要在数据库端;
  • SQL语法灵活,为后期比对方便,可以在SQL里插入TO_CHAR()、TRIM()等函数;
  • JMeter可以轻松嵌套判断循环等逻辑,能够将比对异常结果定义到具体某一行位置;
  • 可以连接多种类型数据源,只要下载对应驱动,无额外成本,即使Hadoop这样的非关系数据库。

能力不在于掌握了多少奇巧,在于你对解决问题的渴望。

再多一句,JMeter是个好东西,有机会和大家聊聊用JMeter做UI自动化测试。 作者:9016 链接:https://www.jianshu.com/p/b331f2e83645

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-07-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 软件测试经验与教训 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档