去年(2021年)年底,软件质量报道公众号 联合 腾讯WeTest及多家技术社区 继续发起 “年度国内软件质量调查”。还有最后2天(适当延长一天,另有技术社区也参与进来了)就要结束了,不妨先透露一些调查结果(基于1000+个答卷)。完整的调查报告,春节前会发布。这次调查在去年21个题目的基础上还增加了一些问题,如:
• 测试团队/人员配置情况;
• 目前您团队已/正在开展下列哪些质量工程活动?
• 软件测试自动化水平,功能测试用例数的多大比重已经实现自动化了?
• 您所在的团队现在使用了下列哪个工具组合构建质量门禁?
• 明年贵公司希望在哪几个质量专项增加更多的自动化测试/工具的投入?
• .....
这样,这次调查数据更全面、更有价值。正如参加本次调查的一位同学说:参与调查,其实就是对照自己的团队进行反思的过程。虽然只有那么20多个问题,但差不多是对你的灵魂拷问,从需求质量、设计质量、代码质量、测试质量到上线后的质量,贯彻整个生命周期。
调查快结束了,不妨透露一些结果。今年调查的结果可以和去年进行对比——相对的比较也会带来更多的价值。
开发模式更敏捷了,虽然Scrum模式只增加了·1.5%,但整个敏捷开发模式(包括BDD/FDD、其它)增加了5.5%,还算不错。
既然更敏捷了,整个交付周期缩短了,虽然按天交付的故事/团队基本稳定(数据非常接近,说明调查数据基本靠谱),但交付周期3个月内的增加了5.3%(和敏捷开发模式增加5.5% 非常接近,算是对数据的又一次验证)。
需求是源头,需求的质量更应该受到我们的关注,但人们常常抱怨的是需求质量,满意度比较低,去年满意的(含 “满意”或 “很满意” )24.8%,低于1/4,但今年有较大改善,提升到35.1%,超过了1/3。也许正是在本公众号不断呼吁大家重视需求质量而带来的效果,希望是这样,那也是本公众号对行业的一大贡献。
设计质量会好些,但总体上看对UI设计最不满意,其次就是对系统架构、整体设计不满意。今年有所改善,UI设计、架构设计不满意度下降了4%左右,整体设计不满意度下降显著,超过 9%。
我们最终交付出去的是代码,代码质量倒也不容忽视,代码质量也是许多公司比较关注的,但从调查结果看,接近1/3的人并不清楚自己公司的代码质量处在什么水平。从调查数据看,高质量代码(<1%)的公司比较稳定,接近10%,1.0~8.0/KLOC都有提升,因为不清楚自己公司的代码质量的同学在2021年下降了7%,也许是在去年调查之后有些同学开始关注代码质量的度量了。
内建质量,不仅体现在定义好需求、做好设计和写好代码,也包括开发多做测试,特别是多做单元测试,这也是敏捷开发所提倡的。由于前面说了,敏捷开发模式有提升,大家对单元测试的要求也提高了,反映到单元测试调查数据上:对单元测试有要求有显著改善,分支覆盖、行覆盖分别增加了7%、6%。
虽然需求质量、设计质量和代码质量有改善,但整体质量基本持平(略有改善),虽然线上严重崩溃事件降低了(2%)。你可能觉得奇怪,或者感叹“需求质量、设计质量和代码质量提升”没有价值啊!其实有价值,因为系统和运行环境都更复杂了,而且交付周期更短了,这些因素带来的负面影响被内建质量提升抵消了。如果内建质量不提升,那么整体质量一定会显著下降。
QA团队(组织)没有什么改变,但人们更关注人员能力建设,这是对的,毕竟人是决定的因素,我们也在研发效能的底层逻辑中讨论过。
很多年前就喊“测试已死”、“去QA”等,的确微软公司的测试团队也转型了,但国内独立的测试团队还是如神一样存在,这和敏捷有些冲突,所以国内有一些搞敏捷的,可能是伪敏捷,是小瀑布,或流程上是敏捷的,思维方式、组织上不够敏捷。
自动化测试也是大家比较关注的,做得特别好的(超过90%)的团队只有8%,不到10%,但比之前有所提升(3年前,只有4%)。自动化测试超过50%的团队达39.5%,不到40%,大部分团队还做得不够好。一般来说,70-80%才显著见效益(RoI效果明显)。
更精彩的内容,敬请关注后续发布的调查报告。
扫描二维码,继续参与调查:
或点击最下面 “ 阅读原文”,参与调查。