AB test是数据分析师必须掌握的知识点之一,并且在互联网行业尤其重要,下面我们来由浅入深的学习一下ABtest的流程及要点。
实验目的:为什么要做AB test
做AB测试有两个目的:
第一:可以分辨哪一个方案效果更好;
第二:可以用来计算活动收益。
第一个目的很好理解,第二个目的主要是通过对比分析,计算活动所带来的收益或者ROI,举个例子:某店铺做了一场直播活动之后,由1000个人产生了购买,共产生了10W的GMV,花了1W元的推广费用,那这场直播的ROI是多少呢?是不是10W/1W=10呢?答案肯定不是的,因为肯定有些人即使不看直播也会来消费,看直播只是「赶巧了」,所以到底有多少这样的人,需要我们前期就设定好ABtest实验。
实验流程:流量分配/效果评价/结论分析
1、怎样分配流量
流量的分配方法取决于实验的种类,但流量分配一般要遵循三个原则:
速度尽量快
影响尽量小
收益尽量大
就是要用最快的速度花最小的代价获得最大的收益,因为这是老板最希望看到的。
其次根据具体实验的目标性质,流量的分配方法可以分为三类:
第一类是不影响用户体验的实验,这种实验一般不会对用户的决策产生重大的影响,比如UI和文案等等,往往可以采用平均分配法:即实验组1、实验组2、对照组均分流量;
第二类:不确定性较强,也就说弄不好会对用户的决策产生重大影响,比如「产品改版」,这样的重大改变稍有不慎就有可能流失大批用户,这可不是我等小小数据分析师可以承担的,所以,新版本用小流量来测试,老版本用大流量;
第三类:活动运营。一般的活动都会有相应的利益点,为了是活动效果最大化,对活动1、活动2都应该分配大流量,无活动的对照组分配小流量。
2、怎样评价实验效果
实现效果的好坏要根据实验目的来看。也就是从方案的效果和ROI两个方面出发进行判断。如果是「漏斗类」指标(转化率/渗透率),一般使用卡方检验;如果是「均值类」指标(访问时长/消费金额/平均客单),一般使用t检验,涉及到统计学方面知识点的我会在下一篇文章中专门讲解。评价ROI需要用到以下计算方法:
1、流量与收益正相关,首先需要计算实验组流量在没有活动的情况下能够带来多少收益:
实验组无活动时收益 = 对照组收益 / 对照组流量 * 实验组流量
2、计算实验组活动带来的实际收益:
实验组实际收益 = 实验组收益 - 实验组无活动收益
3、计算ROI:
实验组活动ROI = 实验组实际收益 / 实验组成本
除此之外,还要把评估时间延长,因为某些用户表现具有「新奇效应」,他们倾向于追求新的方案,所以当新方案初步实施的时候数据可能表现较好,但之后会有明显的波动,所以,评价一个方案的好坏还需要长期跟踪。
对于实验的结果,还可以分析不同的人群的差异,例如把实验组的人按以下维度划分:
新老客
单身、恋爱、已婚
男性、女性...
对于不同的人群可以尝试深入挖掘,找出与活动有契合点的人群,便于下次实验的设计。
3、从哪些维度得出实验结论
按照由浅入深的顺序,可以把结论分为3个方面
第一:定性定量的描述判断:以直接效果/ROI来描述实验的好坏;
第二:以实验数据为基础,挖掘不同的人,在不同的场景下,针对不同的货品有什么不同的表现,进行探索性数据分析;
第三:根据本次实验所产生的现象,以及数据结果,提出假设性的问题,并且通过下次实验予以验证。
以上就是设计一个AB test的流程,下一篇我们会讲一下如何设计一个更为复杂的实验,以及从统计学的角度评估实验效果。
领取专属 10元无门槛券
私享最新 技术干货