一个A/B测试的实际案例解读

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”

作者：Tomi Mester 编译：ronghuaiyang

导读

这是一个A/B测试的真实案例，看看大家能学到些什么。

今天，我想给大家介绍一下我最近在自己的博客 data36.com 上进行的一项 A/B 测试。

在过去的几年里，Data36 博客发展缓慢但稳定。在我写这篇文章的时候(2019 年 11 月 11 日)，月流量远远超过 10 万独立访客。我很荣幸能受到来自世界各地这么多人的关注……

这也让我处于有利地位：

我终于可以在我的博客上运行一个足够大样本的 A/B 测试了！

在这篇文章中，我想分享我不久前在 data36.com 上运行的一个引导页面 A/B 测试的结果，我发现它非常非常有趣。(它显示了一些不同于我最初预期的东西。）

我们来看看吧！

上下文

在向你展示引导页面 A/B 测试本身的细节之前，让我先给您介绍一下上下文。我有一个为期 6 周的在线数据科学课程，叫做初级数据科学家的第一个月。关于数据我还有一些产品，但这是我的首要任务。这是一个较长的课程(6 周)，非常全面，也相当贵(497 美元)。我做了很多工作，从 2017 年 11 月第一版开始，我就一直在优化它。

这是一种很贵而且非常全面的产品

在 2019 年初，我花了几周时间想办法为课程创建一个更好的引导页面。

我的意思是，那个时候我的原版还不错，但也不怎么样。它至少有几个问题。我知道这一点是因为我和几乎所有的学生都进行了一对一的 Skype 会议。因此，我已经开始了这个优化项目，有一些重要的见解。

• 我知道所有的学生的问题，但是并没有在原始引导页面上做解答。
• 我知道我的复制品会让学生们产生困扰。
• 我知道学生们在实际购买之前的一些疑点。

但是我不确定我时不时应该在引导界面上解决这些问题。

我的迟疑有一个原因。原始的版本太长了：1500 个单词，需要花费 7~8 分钟来阅读。（放到视频里也有 5 分钟）在现在的网络世界中，人们不可能花这么多时间去看。至少我也不希望人们去这么做。

导致对引导页面做 A/B 测试的原因

我的疑点是，并没有很多的人希望读那么长的引导页面…但是那些真的想读的人，不管引导页面有多长，都会读的。

为了得到更多的证据，我看了下我的谷歌分析数据，这多少确认了我的想法。其中一个分析显示，最终购买了课程的用户在页面上平均花费了 18 分钟才决定注册这个课程。

好，人们是读我的引导页的。（更准确的说，真正的潜在客户是读的）。非常好！但是他们还需要其他的更多的信息吗？这是我不知道的。所以，我需要做一个 A/B 测试来试试看。

新版本

是时候创建我的“版本 B”并建立一个合适的实验了。

我写了新的，扩展版的引导页面。它变成了大约 4000 个字长(也就是大约 20 分钟的阅读时间)，我还添加了 4 个嵌入的视频(观看所有这些视频又需要 12 分钟)。总的来说：

• 我回答了学生提出的所有问题
• 我解答了他们所有的疑问
• 我把课程的一切都做得超级透明

但是新版本变得非常长。

新旧版本的长度。版本B需要4倍的时间才能完全读完

好了，我有 A 版本和 B 版本，最后一步是设置实际的 A/B 测试……当然，还要等待结果。

实验的特殊之处

顺便说一下，这是引导页 A/B 测试的细节：

• 我有两种变化：
  • 版本 A：原 1500 字长页面，内嵌视频 1 个
  • 版本 B：新增 4000 字页面，4 个嵌入视频
• 我把访客平均分为两类：
  • 版本 A 50%
  • 版本 B 50%
• 测试持续了 3 周。(我需要 3 周时间来收集足够的数据以获得统计学意义。拥有 10 万独立访客听起来不错，但事实上只有一小部分人会访问这个特定的引导页面。）
• 由于我一年只开设 3 次课程，注册期只有 5 天，所以我不能以购买数量作为主要衡量标准。因此，我不得不寻找第二个最佳指标来评估这个实验：候补订阅名单的数量。(更准确地说，不是数字而是转化率 —— 也就是一个百分比值 —— 等待订阅列表。)
• 我的目标是 99%的统计显著性和至少 50%的转换增长。

结果

三周后，我得到了结果。这让我大吃一惊。

版本 B — 超长的引导页 — 赢了！

• 候补订阅名单的数量增加了 96%。换句话说：我的转化率翻了一番
• 统计显著性为 99%

注 1：如果你也对具体的数字感兴趣，这里有：

>>版本 A ~ 3300 访客和 45 次转换

>>版本 B ~ 3300 访客 88 个转换

这是一个较小的样本量，但由于转换率的巨大差异，它仍然具有 99%+统计显著性水平。

注 2：还有一点很重要，我随后跟进了引导页面 A/B 测试，并检查了我的实际主要度量，即购买数量。当我开始我的课程时，我看到这个数字也翻了一番。从而确认了测试结果。

没有任何虚伪的谦虚，我可以自豪地说：这是我在过去几年里进行的最成功的 A/B 测试之一。

收获

我从这个实验中学到了很多。

但我最重要的收获是，人们在购买一件昂贵的产品之前，确实会阅读 —— 即使是 30 分钟。

请记住，这是一个为期 6 周的深度数据科学课程，费用为 497 美元。这对他们来说是一项巨大的投资，所以他们想收集尽可能多的信息。我能做的最好的事就是让他们有这样的机会。就算需要 4000 个单词和 4 个视频也没关系。使课程和它的价值超级透明，并帮助潜在客户做出正确的决定是非常非常重要的，比最终的引导页面的长度还重要！

这对我来说是一个伟大的发现。我觉得我以后的课程也可以用这个方法。

毕竟，我教的是数据科学，所以我可以预期，博客上最优秀、最聪明的读者在决定注册之前，会花时间“分析”我的产品和服务。

这个 A/B 的收获

但那只是我的收获。

你从这个 A/B 测试案例研究中得到的结论是非常不同的。

让我指出来，因为它很重要，但可能第一次读的时候不是很直观。

1. 这个 A/B 测试用例研究并没有表明较长的引导页比较短的引导页表现得更好。它表明对为我的受众来说他们表现得更好，只针对这个特定的产品类型和这个特定的价格类别。要弄清楚什么对你有用，你必须自己做研究，自己分析，自己做 A/B 测试。
2. 另外：你是否注意到 A/B 测试部分只是整个过程的最后一步？记住，最初的想法来自于我和选修这门课的学生交谈，并听取他们的意见。然后我也试着用实际数据来验证这个观点。当我做实验的时候，我构造了版本 B，我已经相当有信心它会表现得很好。登陆页 A/B 测试是最后的证明 — 但就其本身(没有最初的研究)将是毫无价值的。

—END—

英文原文：https://data36.com/landing-page-ab-test-case-study/

喜欢的话，请给我个好看吧！