当不能在用户级别上随机化时进行A/B测试的方法
当不能在用户级别上随机化时进行A/B测试的方法
提问于 2017-01-29 04:13:14
当不可能随机分配用户测试和控制水桶时，我试图为运行测试的不同方法找到建议。
例如，如果我拥有10家商店，并且有一种用于定价的算法，也许我想测试一种会导致价格变化的新算法。有几种方法我可以看到，但我不清楚，如果我是想念其他人，并希望听到更多。
标准A/B测试：
如果我随机分配购物者测试或控制桶，那么这显然是他们的坏体验(考虑到价格是可见的)。
开关实验
也许相反，我决定运行一个切换实验，其中控制定价算法运行6小时，然后测试定价算法，运行6小时，等等，在我的整个测试期间。这显然比标准的A/B方法要好，但我觉得它仍然存在问题(即如果价格变化导致了长期客户行为的改变，但这种行为需要一段时间才能改变-也许这种转换不会抓住这一点)。
因果影响方法
另一种方法可能是使用因果影响风格的分析，在这种分析中，我将某些商店设置为“控制”商店，将其他商店设置为“测试”商店，然后更改测试商店的算法并分析我的兴趣度量，在这里我们在测试商店的时间序列中寻找对控制商店的因果效应。这里的缺点是，您似乎高度依赖于控件在多大程度上代表了测试商店。
除了A/B测试之外，有没有人有其他的建议，或者甚至在我能读到更多关于不同实验设置的地方？
回答 1
Data Science用户
发布于 2017-01-29 07:00:03
我建议不要再转回去，因为购买数据可能会呈现季节性(例如，下午2点至下午6点/星期二的成交量较低，12月的成交量较高，公司在某些月份进行广告等)，这将成为一个不必要的外生因素，使实施后的分析复杂化。
我倾向于因果关系方法。然而，在选择商店作为控制和测试(这是一个启动列表，请随时适应您的业务领域)之前，有一些事情需要检查。
- 决定以KPI作为衡量的目标，这是每个客户的收入吗？每个客户的利润？还是每家商店的总利润？设计的算法是为了增加每个客户的KPI还是更多的客户？
- 检查选中的商店是否有一定的历史记录，以确保在实现测试之前，它们在选定的KPI方面是相似的。记住要删除离群的客户/交易。
- 检查是否在控制桶和测试桶中选择了足够的存储，以检测期望的阈值增加，这在统计上是显着的。
希望这会有帮助！)
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/16599
复制相关文章
相似问题
腾讯云开发者
