首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >机器学习面试题集 - 如何进行 A/B 测试

机器学习面试题集 - 如何进行 A/B 测试

作者头像
杨熹
发布于 2019-06-11 08:55:45
发布于 2019-06-11 08:55:45
8190
举报
文章被收录于专栏:杨熹的专栏杨熹的专栏
  1. 什么是 A/B 测试?
  2. A/B 测试什么时候用?
  3. 如何应用 A/B 测试?

什么是A/B 测试

A/B 测试是最简单的对照实验方法,可以用来对产品的两个版本进行比较。

将用户随机分成两组,这样两组数据可以来自同一分布。

一组叫做对照组,使用产品的旧版,一组叫做实验组,使用产品的新版。

两组同时做线上测试,然后采集指标,分析结果,

什么时候需要用到A/B 测试

当要决定一个产品或者新功能是否真的可以上线时,就要做A/B 测试,我们要看这个新的产品或者新的特征是否会对一些商业指标产生影响,A/B 测试的结果决定了产品是否可以上线。

当产品模式比较成熟,进入快速迭代的阶段时,用

A/B 测试的效果比较明显。

如何应用A/B 测试

A/B 测试的一般流程为:

  1. 首先明确需要进行测试的特征是什么
  2. 然后要正确的定义指标,比较常见的重要的指标如点击率,转化率,例如,我们想看如果把某产品主页上免费体验会员的按钮颜色由红色改成绿色,是否会增加转化率。
  3. 做出假设,例如按钮由红色变成绿色,会有更多人愿意点击
  4. 设计测试计划,包括提升目标,测试的系统,地点等等。
  5. 相关部门沟通协作,比如要改界面需要和UI工程师沟通。
  6. 运行测试方案
  7. 分析测试结果,看数据结果对不对,评估指标有没有变化,有没有达到显著性水平,对其他指标有没有影响
  8. 得到结论,例如点击率提高了多少,转化率提高了多少,而且对其他的特征没有影响,然后制定相应的商业计划。

用一个具体例子来看:

例如 A 组有 2000 个样本,有200个样本转化,

B 组有1943个样本,有298个样本转化,

我们希望达到的 Confidence level 是95%,

希望 significance 是0.03。

首先计算A和B的转化率:

Pa=200/2000=0.1,

Pb=298/1943=0.153

再计算一下 difference=0.153-0.1=0.053

然后计算 standard error=0.0106

根据公式计算它的 Confidence Interval=(d-m, d+m)=(0.0326, 0.0741)

0.0326>0.03

那么就可以上线这个功能。


学习资料:

《百面机器学习

https://youtu.be/u4YnEczu_OE

https://youtu.be/YJeWrniW48k

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019.06.05 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
A/B Test︱一轮完美的A/B Test 需要具备哪些要素(一)
文章[2] 策略的改变,不是由我们随便“拍脑袋”得出,而是一种建立在数据基础上的思维方式,数据反馈会告诉我们做的好不好,哪里有问题,以及衡量可以带来多少确定性的增长。
悟乙己
2022/01/21
9.5K0
A/B Test︱一轮完美的A/B Test 需要具备哪些要素(一)
AB测试实战
严谨的产品迭代过程(策略,算法, 界面调整, 功能调整), 一定要先经过AB测试, 在少部分流量上进行测试, 没问题了再逐渐放量
@小森
2024/06/06
2540
AB测试实战
Python实战:A/B试验提升课程转化率的成效分析(二)
数据集和完整代码移步知识星球:https://t.zsxq.com/aAMByVv
数据万花筒
2021/09/17
6360
Python实战:A/B试验提升课程转化率的成效分析(二)
备战春招 | 120 道机器学习面试题!
直到今天,在各类媒体口中,数据科学家依然是“21世纪最性感的职业”。但事实上,希望进入这个行业的初级数据科学家已经供过于求。
Python数据科学
2019/04/09
1.3K0
备战春招 | 120 道机器学习面试题!
AB test 业务价值、原理流程和实际案例
当我们设计了一个新的功能模块、策划了某种活动或者有多种方案不知如何抉择时,想要验证新的功能模块或者活动上线是否能给业务带来显著的收益,但由于受到个人思维的局限性以及全量用户的不可调研性,可能会导致一个功能的预期效果与实际线上后的效果存在认知、实用上的差异。
猴子数据分析
2022/05/19
1.7K0
AB test 业务价值、原理流程和实际案例
「原理」AB测试-详细过程和原理解读
AB测试最核心的原理,就四个字:假设检验。检验我们提出的假设是否正确。对应到AB测试中,就是检验实验组&对照组,指标是否有显著差异。
巡山猫说数据
2021/05/18
3.2K0
「原理」AB测试-详细过程和原理解读
深度学习应用篇-推荐系统[11]:推荐系统的组成、场景转化指标(pv点击率,uv点击率,曝光点击率)、用户数据指标等评价指标详解
在网络技术不断发展和电子商务规模不断扩大的背景下,商品数量和种类快速增长,用户需要花费大量时间才能找到自己想买的商品,这就是信息超载问题。为了解决这个难题,个性化推荐系统(Recommender System)应运而生。
汀丶人工智能
2023/06/13
1K0
深度学习应用篇-推荐系统[11]:推荐系统的组成、场景转化指标(pv点击率,uv点击率,曝光点击率)、用户数据指标等评价指标详解
AB试验(三)一次试验的规范流程
8规则详述: · 流量从上往下流过分流模型 · 域1和域2拆分流量,此时域1和域2是互斥的 · 流量流过域2中的B1层、B2层、B3层时,B1层、B2层、B3层的流量都是与域2的流量相等。此时B1层、B2层、B3层的流量是正交的 · 流量流过域2中的B1层时,又把B1层分为了B1-1,B1-2,B1-3,此时B1-1,B1-2,B1-3之间又是互斥的 应用场景 · 如果要同时进行UI优化、广告算法优化、搜索结果优化等几个关联较低的测试实验,可以在B1、B2、B3层上进行,确保有足够的流量 · 如果要针对某个按钮优化文字、颜色、形状等几个关联很高的测试实验,可以在B1-1、B1-2、B1-3层上进行,确保实验互不干扰 · 如果有个重要的实验,但不清楚当前其他实验是否对其有干扰,可以直接在域1上进行,确保实验结果准确可靠
HsuHeinrich
2023/09/22
1K0
AB试验(三)一次试验的规范流程
没有最好,只有A/B测试!
“A/B测试不一定是最好的评估方法。它不是万能的,但不会A/B测试肯定是不行的。”
阿泽 Crz
2021/07/06
1.7K0
没有最好,只有A/B测试!
技术干货 | 如何选择上班路线最省时间?从A/B测试数学原理说起
当面对众多选择时,如何选才能最大化收益(或者说最小化我们的开销)?比如,怎么选择最优的上班的路线才能使途中花费的时间最少?假设每天上下班路线是确定的,我们便可以在账本中记下往返路线的长度。 A/B测试便是基于数据来进行优选的常用方法,在记录多次上班路线长度后,我们便会从数据中发现到一些模式(例如路线A比路线B花的时间更少),然后最终一致选择某条路线。 当A/B测试遇到非简单情况时(如分组不够随机时,或用户量不够大到可以忽略组间差异,或不希望大规模A/B测试长期影响一部分用户的收益),该怎样通过掌握理论知
达观数据
2018/04/02
1.7K0
技术干货 | 如何选择上班路线最省时间?从A/B测试数学原理说起
A/B Test 的统计原理和效果解读
持续快速有效的 A/B Test 是实现业务从十到百增长的必杀器,而背后的黑科技来源于基础的统计理论。为此,本文将介绍做 A/B Test 所涉及的重要统计学知识,以帮助更好的设计实验和解读实验结果,做出科学有效的数据驱动决策。
阿泽 Crz
2020/12/11
2.1K0
A/B Test 的统计原理和效果解读
增长黑客之道:你真的了解 A/B测试吗
作者:billpchen,腾讯VTeam技术团队 相信任何一位有互联网公司工作经验的同学对“A/B 测试”这个概念一定不陌生,简单理解就是将用户随机分成实验组和参照组,然后让两组用户分别使用改版后和改版前的产品,最后对实验结果进行分析比较,如果实验组结果较好,则全量推广改版后的产品,否则就维持旧版不动。这样理解完全没毛病,但这只是 A/B 测试的最基本的概念,这篇文章通过在 To C 业务的实践跟你聊聊你不知道的 A/B 测试。 1. 只有互联网公司才会用 A/B 测试吗? 如果你认为只有互联网公司才会用
腾讯VTeam技术团队
2020/10/14
8780
一文助你上年薪30w,史上最全AB-Test知识点
越来越多的公司重视AB测试,按照猫哥的经验,之前会Excel就行,SQL是加分项。后来变成了必须懂SQL,AB测试是加分项。再到后来变成了,AB测试和SQL都是必会的东西。
巡山猫说数据
2021/12/15
1.5K0
一文助你上年薪30w,史上最全AB-Test知识点
A/B测试:一个互联网公司的标配,一切皆可A/B测试
任何接触过互联网产品开发的人都知道,无休止的测试,对用户所有的改动发布以数据经验作为决策依据是构建出色产品的一部分。字节跳动2012年成立之初便开始使用A/B测试;Amazon不仅使用A/B测试优化用户的购物体验提升订单转化,还开放给平台商家使用;谷歌每个月从上百个实验中找到有效方案,有营收提升2%,10亿美元的规模。A/B测试是一个互联网公司的标配。
产品言语
2022/06/02
7300
A/B测试:一个互联网公司的标配,一切皆可A/B测试
抛弃P值,选择更直观的A/B测试!
在两个选项中做出选择,该如何选?一个简单而又智能的方法就是A/B。本篇文章将简要地解释A/B测试背后的动机,并概述其背后的逻辑,以及带来的问题:它使用的P值很容易被误解。
Datawhale
2021/07/12
8970
抛弃P值,选择更直观的A/B测试!
大数据AI时代的产品修炼之路:A/B测试
作者:brainzhou  腾讯IEG增值服务部 产品策划 |导语 随着大数据和人工智能技术的成熟,互联网产品现在越来越依赖数据,作为产品经理如果不懂数据,就好比没有牙齿的鲨鱼一样,战斗力大大下降。 关于硅谷那些互联网巨头早就开始A/B测试的佳话就不说了,中心思想只有一个:互联网公司的产品,如果要创新,必须得搞A/B test。A/B测试,就像它的名字一样,听起来如此简单,但是真正要把它能规模化地应用在自己的产品当中,还是需要深入了解下其原理和实施过程的。 1 A/B测试的定义及特点 1、在互联网产品迭
腾讯大讲堂
2021/02/23
1.1K0
智能营销增益(Uplift Modeling)模型——模型介绍(一)
Uplift Modeling在智能营销中非常重要,一般来说个性化营销人群中存在四类:
悟乙己
2021/12/07
12.9K0
智能营销增益(Uplift Modeling)模型——模型介绍(一)
Python实战:A/B试验提升课程转化率的成效分析(一)
A/B 试验是对比分析中的较为经典的方法,通过控制试验变量研究对照组与试验组之间是否存在显著差异,从而决定是否大规模推广新策略。A/B试验是探究因果关系最为有效的方法,作为数据分析师除了设计A/B试验流程之外,还需要结合试验数据对试验结果进行分析和评估,这个过程就涉及到各类统计学知识的应用。这篇文章会以Udacity A/B 试验案例为背景,通过Kaggle提供的公开数据集,利用Python实现对A/B 试验数据的处理。
数据万花筒
2021/08/25
7160
Python实战:A/B试验提升课程转化率的成效分析(一)
(十)如何进行A/B测试?
对于平台化产品,产品和运营一直在解决的核心价值问题是---如何让用户用最快的速度找到并消费自己感兴趣的、急切需要的、超越期待的好内容,好服务。每一次的产品优化都应该经过数据精确的衡量,A/B测试是一个提供决策数据的好方法。
砖家认证
2019/12/25
6750
(十)如何进行A/B测试?
经典机器学习 | 如何做到预流失与流失挽回?
导语:预流失用户,即有流失倾向,但还没有开始真正流失的用户。相较于流失用户而言,预流失用户处于观望阶段,或许对现有产品有所顾虑,或许对于潜在的流向(竞品)有所顾虑,或许是在等待些什么;流失用户,即已经流失了的用户,或许是因为游戏弃坑,或许选择了其他产品,用户肯定还在玩些什么,只是不再来你这儿了。文章介绍了如何通过经典的机器学习(Machine Learning, ML)方法来寻找那些流失可能性比较高的用户、寻找那些回流意愿比较大的用户。运营同学针对这些用户就可以重点干预,降低预流失用户比例,拉高用户的
腾讯技术工程官方号
2019/08/06
2.4K1
经典机器学习 | 如何做到预流失与流失挽回?
推荐阅读
相关推荐
A/B Test︱一轮完美的A/B Test 需要具备哪些要素(一)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档