A/B 测试那点儿事：理论与工具实践

21CTO社区导读：

各位，在我们之前的文章内容中发表过一些关于数据驱动设计的文章，或者使用分析工具来优化我们产品的UI设计。简单讲，我们可以用Google Analytics（GA分析）等工具来进行用户行为调研，掌握使用我们产品的用户人群的统计数据和用户行为，从中确定我们的网站或App中可能存在用户体验不足的区域。

我们可以通过后台收集到一些信息，知道用户在使用产品存在什么困扰。而且，我们可以假设是什么情况。接下来，我们假设是什么原因，然后进行可用性测试来确认（或推翻）自己的假设。通过这些假设条件，可能会推出一个更清晰的解决方案。结果会怎么样？让用户体验更爽，提高更高的转换率。

但是，当通过可用性测试时，解决方案并不明显时会发生什么？ 比如有一组用户解决方案效果还可以，但对另一组用户却不行，这将怎么办？您需要修正某些针对于相关用户的产品体验，让另一组用户改变更舒适的体验。

A/B 测试和UI设计有关，也与技术有关。在很多互联网公司，都在大规模应用AB 测试，让产品用户体验更好更爽。

在本篇文章中，我们就给大家详细介绍 A/B 测试。

什么是A/B 测试

简单来说， A/B 测试是关于UI设计的两个版本，用来确定哪一个更好，哪些主要的度量指标转换数更高，如销售，注册，订阅等。A/B 测试是一个系统技术，也有一些工具帮助我们来帮助平衡与非明显的方式进行这些实验。

当我们需要考量多个变量时，我们可以使用多元化测试，它是A/B 测试的一个子集，用于推进实验。

什么是多元测试（Multivariate Testing）

多元测试用来找出用户最喜欢的内容，而不是用户最喜欢的UI界面版本。也就是说，内容才是用户体验最重要的方面。试考虑，用户不是来您的网站欣赏导航的便利或直观、漂亮的。UX是用户需要的，而内容是用户想要的，同时也是他们的目的。

我们试想一个首页有一个标题CTA，它是主要的转换渠道。假设有不同的标题与CTA选项，我们希望随机测试它们不同的组合。这就是多元测试要优先于标准A/B 测试的地方。

A/B 测试需要什么工具

从本质上来讲，您可以先记录 A/B 测试一个版本之结果，在实施另一个版本时，亦同时记录该版本的结果来进行 A/B 测试。但是，一些关键的缺陷需要我们解决：

1. 您的流量/用户可能在两次测试中发生改变

2. 您需要分析两次数据，并且手动比较结果

3. 您可能需要将测试数据段分配到指定的用户组

在理想状态下，我们希望两个测试结果能够并行展示，以有利我们同时比较并分析它们，我们也希望两组实验同时是活跃的数据，以确保测试的公正。

A/B测试工具可以帮助我们解决以上之问题。

三大工具：Google Optimize、CrazyEgg与Optimizely

虽然也有很多值得留意的 A/B 测试工具，但是Google Optimize、CrazyEgg与Optimizely被人们认为三大测试工具之一。这些工具在功能上也有一些区别，因此选择哪个使用取决你的A/B 测试需求。

Google Optimize与GoogleAnalytics协同工作，与GA一样，它是免费的。另外，也有一个针对于企业的Google Optimize 360版本。Google Optimize与Google Analytics类似，免费版本也足够强大复杂，对于大部分用户已经足够了。

CrazyEgg（https://www.crazyegg.com/）实际是将用户测试（它提供有热点图工具）和A/B 测试集成到一个应用程序中，允许您缩放特定的可用性问题，然后尝试各种解决方案，而无需切换其它应用程序。

Optimizely（https://www.optimizely.com/）是三个工具中最复杂，也是最强大的软件。它提供SDK部署或原生整合到我们自己的站点、APP甚至是电视应用程序中。除此之外，Optimizely可以用A/B 测试提供与内容相关优化的建议，这些建议可以提升更好的用户转换，因为它们针对的肯定是那些喜欢这些建议的受众。

A/B 测试的正确打开方式

当我们提到 A/B 测试时，其实会出现正确和错误的两种情况。我们最有可能放弃的地方在于，如果一个网站的转换质量不佳，我们需要设计另一个版本，来看效果是不是更好。相反地，我们应该进行正确的分析（以及后续的可用性测试）来确定更详细的改进区域。如若不然，我们可能最终会删除正在设计的工作，可是我们还是无法了解用户真正感觉好和不爽的产品体验。

小结

现在，我们已经了解 A/B 测试以及多元测试的概念是什么，包括用来进行A/B 测试的工具，以及如何结构化和渐进式的方式进行 A/B 测试。您还可以获取更多以数据驱动的方式来进行网站&应用设计迭代。

如果您要了解有关站点分析的更多信息，建议您在我们的历史文章系统中查询。事先确定关注的目标，将帮助您关于改进产品可用性以及A/B 测试的关键点集中在哪里。

编译：洛逸

作者：Daniel Schwarz

来源：https://www.sitepoint.com/a-b-testing-introduction/