首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

数据测试方法

检查全表条数或者检查分区条数。这种方式依赖接口自动化平台,通过调用dubbo接口,判断接口返回的数据指标是否为0,监控数据是否产出。...数据不多:一般是检查全表数据、重要枚举值,看数据有没有多余、重复或者数据主键是否唯一。 数据不少:一般是检查全表数据、重要字段(比如主键字段、枚举值、日期等),看字段的数值是否为空、为null等。...数据有效性判断:判断数据格式是否满足预期,防止字段的数据格式不正确导致数据统计的错误以及缺失。常见的有日期格式yyyymmdd。 一旦出现数据完整性问题,对数据质量的影响很大。...4.1 自身检查 数据自身检查,是指在不和其他数据比较的前提下,用自身数据来检查准确的情况,属于最基本的一种检查。常见的自身检查包括:检查数值类指标大于0、比值类指标介于0-1范围。...4.3 表间横向数据对比 表间横向对比可以理解为两张表或多张表之间,其中具有业务关联或者业务含义一致的字段,可以用来做数据对比: 同类型表之间对比:针对hive里的支付表A和支付表B,里面都有支付金额字段

1.1K41
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数仓链路保障体系与数据测试方法经验分享(好文收藏)

    检查全表条数或者检查分区条数。这种方式依赖接口自动化平台,通过调用dubbo接口,判断接口返回的数据指标是否为0,监控数据是否产出。...数据不多:一般是检查全表数据、重要枚举值,看数据有没有多余、重复或者数据主键是否唯一。 数据不少:一般是检查全表数据、重要字段(比如主键字段、枚举值、日期等),看字段的数值是否为空、为null等。...数据有效性判断:判断数据格式是否满足预期,防止字段的数据格式不正确导致数据统计的错误以及缺失。常见的有日期格式yyyymmdd。 一旦出现数据完整性问题,对数据质量的影响很大。...4.1 自身检查 数据自身检查,是指在不和其他数据比较的前提下,用自身数据来检查准确的情况,属于最基本的一种检查。常见的自身检查包括:检查数值类指标大于0、比值类指标介于0-1范围。...4.3 表间横向数据对比 表间横向对比可以理解为两张表或多张表之间,其中具有业务关联或者业务含义一致的字段,可以用来做数据对比: 同类型表之间对比:针对hive里的支付表A和支付表B,里面都有支付金额字段

    1.6K10

    MySQL基础SQL编程学习2

    非活动默认(NO ACTION)、(约束/限制)RESTRICT: 当取值为No Action或者Restrict时,则当在主键表中删除对应记录时,首先检查该记录是否有对应外键,如果有则不允许删除。...(即外键表约束主键表) SET NULL:则当在主键表中删除对应记录时,首先检查该记录是否有对应外键,如果有则设置子表中该外键值为null(一样是外键表约束主键表,不过这就要求该外键允许取null) 5...---- 0x01 SQL 基础函数 描述:SQL 拥有很多可用于计数和计算的内建函数,可以帮助我们更方便的存储以及获取数据; Date 函数 描述:在处理日期的时候我们需要确保所插入的日期的格式,与数据库中日期列的格式相匹配...() 从日期减去指定的时间间隔 DATE_SUB(date,INTERVAL expr type) DATEDIFF() 返回两个日期之间的天数 DATEDIFF(date1,date2) DATE_FORMAT...() 返回两个日期之间的时间 CONVERT() 用不同的格式显示日期/时间 MSSQL Date 数据类型存储格式: DATE - 格式:YYYY-MM-DD DATETIME - 格式:YYYY-MM-DD

    7.3K30

    SQLserver基础语句大全

    2) 语义分析,检查语句中涉及的所有数据库对象是否存在,且用户有相应的权限。 3)视图转换,将涉及视图的查询语句转换为相应的对基表查询语句。...between BETWEEN 操作符在 WHERE 子句中使用,作用是选取介于两个值之间的数据范围。...BETWEEN 操作符 操作符 BETWEEN … AND 会选取介于两个值之间的数据范围。这些值可以是数值、文本或 者日期。...SQL join SQL join 用于根据两个或多个表中的列之间的关系,从这些表中查询数据。 Join 和 Key 有时为了得到完整的结果,我们需要从两个或更多的表中获取结果。...函数 描述 GETDATE() 返回当前日期和时间 DATEPART() 返回日期/时间的单独部分 DATEADD() 在日期中添加或减去指定的时间间隔 DATEDIFF() 返回两个日期之间的时间 CONVERT

    3.8K30

    MySQL数据库基础知识_MySQL数据库的特点

    BIT数据类型保存位字段值,并且支持MyISAM、MEMORY、InnoDB和BDB表。 作为SQL标准的扩展,MySQL也支持整数类型TINYINT、MEDIUMINT和BIGINT。...日期和时间类型 表示时间值的日期和时间类型为DATETIME、DATE、TIMESTAMP、TIME和YEAR 每个时间类型有一个有效值范围和一个”零”值,当指定不合法的MySQL不能表示的值时使用”零...IN的使用:判断查询的数据是否是给予的多个选项之一 例如:select * from tb_stu where name in(“韩云溪”,“夏紫藤”);—–查询名字为韩云溪或夏紫藤的项,符合则显示...,不符合则忽略 between A and B 的使用:查询范围介于AB两者之间项 select * from tb_name where id between 1 and 3; —–查询id...介于1和3之间的项 LIKE 模糊匹配的使用:查询一个数据看起来像某个条件 select * from tb_stu where name like ‘韩%’;—–查询表中姓名以韩开头的项,

    6.2K20

    ASP.NET验证控件之RangeValidator「建议收藏」

    RangeValidator 控件用于检测用户输入的值是否介于两个值之间。可以对不同类型的值进行比较,比如数字、日期以及字符。我们一般会用来验证输入的年龄或者考试的分数等。...EnableClientScript 布尔值,规定是否启用客户端验证。true为启用,false为不启用。 Enabled 布尔值,规定是否启用验证控件。true为启用,false为不启用。...IsValid 布尔值,指示由 ControlToValidate 指定的输入控件是否通过验证。true为通过,false为未通 过。 MaximumValue 规定输入控件的最大值。...下面是两个小实例: 输入2012-01-01到2012-12-31之间的日期: 为空或者都为空格,则不会有错误提示。我们可以用其他控件配合使用,例如RequiredFieldValidator ,可以使输入框变成必选字段。

    1.4K20

    Flutter Utils 全网最齐全的工具类

    FlutterUtils 目录介绍 01.事件通知bus工具类 02.颜色Color工具类 03.日期转化工具类 04.File文件工具类 05.Sql数据库工具类 06.Json转化工具类 07.Log...包含绝大多数的日期格式 DateUtils 日期工具类,获取日期时间,各种时间之间的转换操作 EncryptUtils 加解密工具类,主要是md5加密,base64加密和解密,异或加解密等 ExtensionXxx...主要是获取当前日期,按指定格式格式化时间,以及多种格式化日期工具方法getNowDateTime : 获取当前日期返回DateTime getYesterday...: 格式化日期字符串,第一个字段例如:'2021-07-18 16:03:10',第二个字段例如:"yyyy/M/d HH:mm:ss" formatDateMilliseconds...: 格式化日期毫秒时间,第一个字段例如:1213423143312,第二个字段例如:"yyyy/M/d HH:mm:ss" getWeekday

    3.5K00

    sql server中部分函数功能详解

    ROUND 函数 用于把数值字段舍入为指定的小数位数。...DateDiff() DATEDIFF 函数计算指定的两个日期中第二个日期与第一个日期的时间差的日期部分。换句话说,它得 出两个日期之间的间隔。...inner join(等值连接) 只返回两个表中联结字段相等的行 13. group by group by 对结果集分组,针对每一组返回一行。...RAND函数调用​可以产生随机数 Select rand()获取介于0和1之间的一个数(小数) Select rand()*10获取0和10之间的一个数(小数) Select str(rand()*10...ON 语句用法 SET QUOTED_IDENTIFIER 为ON时,标识符可以由双引号分隔,文字必须由单引号分隔 SET ANSI_NULLS,就是说NULL是否可以进行=和比较; 当设置为ON

    1.6K30

    RangeValidator 控件

    RangeValidator 控件用于检测用户输入的值是否介于两个值之间。可以对不同类型的值进行比较,比如数字、日期以及字符。我们一般会用来验证输入的年龄或者考试的分数等。...EnableClientScript 布尔值,规定是否启用客户端验证。true为启用,false为不启用。 Enabled 布尔值,规定是否启用验证控件。true为启用,false为不启用。...IsValid 布尔值,指示由 ControlToValidate 指定的输入控件是否通过验证。true为通过,false为未通 过。 MaximumValue 规定输入控件的最大值。...下面是两个小实例: 输入2012-01-01到2012-12-31之间的日期: [html] view plain copy print ?...PS:如果输入内容为空或者都为空格,则不会有错误提示。我们可以用其他控件配合使用,例如RequiredFieldValidator ,可以使输入框变成必选字段。

    69910

    JavaScript笔记

    isNaN() 函数用于检查其参数是否是非数字值。如果参数值为 NaN 或字符串、对象、undefined等非数字值则返回 true, 否则返回 false。...sum; function myFunction(total, value, index, array) { return total + value; } Array.every() 方法检查所有数组值是否通过测试...Array.some() 方法检查某些数组值是否通过了测试 Array.indexOf() 方法在数组中搜索元素值并返回其位置 Array.lastIndexOf() 与 Array.indexOf...-1 与 1 之间的值) Math.cos(x) 返回角 x(以弧度计)的余弦(介于 -1 与 1 之间的值) Math.min() 和 Math.max() 可用于查找参数列表中的最低或最高值 Math.random...x 的反余弦值,以弧度计 asin(x) 返回 x 的反正弦值,以弧度计 atan(x) 以介于 -PI/2 与 PI/2 弧度之间的数值来返回 x 的反正切值。

    2.1K10

    MySQL技能完整学习列表3、SQL语言基础——3、SQL运算符和函数

    模(%或MOD):用于求两个数相除的余数。 SELECT 2 + 3; -- 结果为5 SELECT 10 % 3; -- 结果为1 比较运算符:用于比较两个值并返回布尔值。...等于(=):检查两个值是否相等。 不等于(或!=):检查两个值是否不相等。 大于(>)、大于等于(>=)、小于(sql SELECT AVG(salary) FROM employees; 返回员工的平均工资 转换函数 如 `CAST()`, `CONVERT()` 等,用于数据类型之间的转换。...例如:sql SELECT CAST(age AS CHAR) FROM users; 将age字段从数值转换为字符类型 条件函数 如 `IF()`, `CASE`, `COALESCE()` 等,用于根据条件返回值...例如: SELECT IF(age >= 18, 'Adult', 'Minor') FROM users; 根据年龄判断是否为成年人。

    17810

    sql学习

    SQL BETWEEN操作符 操作符BETWEEN会选取介于两个值之间的数据范围。...AS alias_name FROM table_name SQL JOIN SQL join用于根据两个或多个表中的列之间的关系,从这些表中查询数据。...() 返回日期 DATE ADD() 给日期添加指定的时间间隔 DATE SUB() 从日期减去指定的时间间隔 DATEDIFF() 返回两个日期之间的天数 DATE FORMAT() 用不同格式显示日期.../时间 SQL SERVER Date函数 函数 描述 GETDATE() 返回当前日期和时间 DATEPART() 返回日期或之间的单独部分 DATEADD() 在日期中添加或减去指定的时间间隔 DATEDIFF...() 返回两个日期之间的时间 CONVERT() 用不同的格式显示日期或时间 SQL NULL值 NULL值是遗漏的未知数据,默认的,表的列可以存放NULL值。

    4.7K30
    领券