A/B test 避坑指南

imo是一个10年的熟人通讯产品，面向中东、南亚、北非等新兴国家。

由于原团队的特殊性，功能逻辑和界面视觉都比较简陋且有一定的堵塞问题。我们团队接手后，开始对imo app进行梳理改版，让其更符合用户心智、更具备扩展性，为日后转型作铺垫。

而改版和铺路所面临的最大挑战就是“如何做好本地化设计”。

仅仅通过阅读报告和短时出差，是无法深刻了解新兴国家情况的，尤其是文化层面的。有些当地人才能get到的梗，我们是无法直接领略到的——就如是在国内

已经不单单代表“微笑”，又如是在西方文化“已读”是标配而在中国则是来自工作的不得已的压力……若非在当地长期生活，是无法一下子领悟其弦外之音。

如此以来，过往国内的一些判断方法就无法直接使用——每个国家的经济与发展阶段不同，互联网的渗透情况大相径庭，用户市场情况也就不尽相同。在国内所总结的产品设计方法论，投放在印度与投放在印尼可能会得到截然相反的效果。国内众多出海遇挫的案例告诉我们，直接把国内的产品套路复刻到海外，是行不通的。

imo新旧logo

App本身的历史包袱，中外各国的巨大文化差异，再加上WhatsApp等竞品的步步紧逼……在三座大山的压迫之下，贸然的一次性大改版必然会导致用户不可逆的、血崩式的流失。

在这种情况下，ABtest是验证方案是否适合目标市场的最稳健而高效的方式。产品与设计团队拆解细分了功能界面（有的甚至细到控件颗粒度），以原方案为对照组来验证新方案的被接受程度。

以下主要分享ABtest项目的经历，包括ABtest的要点及我们遇到的坑，以此共鉴共勉。

「1」

ABtest的概念

1. 什么是A/Btest

使用不同的方案进行随机投放，以某些数据指标为标准，找出关键变量。

一般有由照组和实验组共同组成，可以验证新旧方案的差异，也可验证多个不同新方案的差异。

2. A/Btest的作用

• 验证不同方案的效果；
• 找到关键变量，作为正向或负向刺激因子，复用于相同条件的不同方案中。

3. A/Btest的适用情况

一般而言，无法根据逻辑分析确定结论、不涉及底层定义规则、非复合功能时，可使用ABtest投放到市场进行验证。

「2」

使用ABtest的常见误区

1. 引入了多个变量

A/Btest是比较单个变量的多个版本的方法。通过测试受试者对变量A和B（乃至C、D）的反应，来确定哪一个变量最有效。换言之，除了可能影响用户行为的唯一变量之外，其余变量必须是相同的。

很多功能实验说是ABtest，但实际上，从功能逻辑到视觉样式都发生了变化、引入了多个变量，导致无法准确筛查出引起变化的关键变量。这样即使测试出了哪套方案数据更好，也无法定位出是哪个关键变量导致的变化。这样的实验组，结论仍旧是个黑盒，无法沉淀方法、复用到其他方案乃至其他业务中，效率低下。

2. 涉及到底层规则

所有的方案都可以通过ABtest来验证数据好坏，但并不是每一个功能都适合使用ABtest方法。

涉及到底层规则定义的功能，就不宜使用ABtest。底层规则是世界观的构建，是产品的定位、是出发点，而ABtest则是对结果的筛选，若通过结果来左右原因，那就动摇乃至丧失了产品本身的定位。

例如，Timeline和Story是两种典型的信息形态。以微信朋友圈为例的Timeline，产品定位是记录自己生活的相册，所以配套的方案是广场广播式的、优先兼容图片的、可沉淀的瀑布流；而Snapchat的Story，定位是与朋友分享自己当前这一刻，所以配套的方案是以人聚合的、视频为主的、有时效性的房间。

方案是服务于产品定位的，若看到哪种产品热门就生搬硬套其方案，即使带来了数据的繁荣恐怕也只是一时的，产品的核心定位是建立长期壁垒的根本所在。

微信-朋友圈，Snapchat-Snaps (story)

3. 样本量不足

大量个体和少量个体的行为存在重大差异，因此对于不同的功能，需要测试的样本量是不同的。

例如对于相对独立隔离的工具类功能而言，由于不太涉及人与人之间的联系，所以可能数十人的样本量足以验证哪个变量效率最高；而对于社交功能而言，由于依赖人与人之间的互动、相互渗透、交叉影响，若没有一定的样本量（如万人级别），那么得出的实验结果可能就不具备普适性、并不能代表一个群体。换言之，社交功能随着量级的放大，可能会出现不一样的结果。

相互独立的个体 与 相互影响的大小群体

4. 并不是单一数据决定优劣

有的产品是看单一指标，而有的产品则由多个指标相互影响。首先需要明确产品的核心定位是什么，再看方案是否能增强产品的核心定位，最后才是看方案对功能本身的影响。是有明确的主次关系在其中的。

例如工具产品，每个功能相对独立，一般是以效率优先的——那么当前功能使用率越高越理想。

又如社交产品，深刻依赖于关系链的广度与密度，那么就不能单看某个功能的使用情况了——比方说社交产品中的内容阅读功能，假设增强入口样式提高了该功能的进入率，但若因此而导致产品的消息发送量、通话人数次数等核心互动数据下降了，那么就可以说该方案影响到了产品的核心目标，或许并不是一个合适的方案。

当然，事情并非非黑即白，若该方案对产品的整体留存有明显的正向作用，那么就需要进一步分析情况，例如是否继续加强该阅读功能，甚至可能需要重新审视原本的产品定位。

目标定位→增强定位→方案本身

「3」

ABtest案例

下文会围绕“用户并不会只因为功能权重的提高而买单”和“所处的互联网程度大不相同”两个角度来介绍我们在改版过程中遇到的坑。它们或证明了一些通用的设计原则，或告知了我们世界之大是如此不同。

「用户并不会因为功能权重的简单提高而买单」

在产品设计过程中，常见业务方希望通过提高权重来促成某些数字目标。这种方法，当发力点与产品定位一致、与使用场景吻合时，有时候很有效的；但更多时候，可能是脱离了场景、或者违背了动机，甚至远离了定位，那么就会失去功用。

1. 在线视频播放器

这是一个视频在线播放器，重点在于在线播放视频。

在线播放器对应的功能点包括：基础播放操作，如暂停进度条等；调整辅助操作，如码率字幕调整等；共享操作，如分享下载等。具体功能的权重及逻辑不展开细说，此处主要讲述权重调整与对应的结果。

项目之初，由于业务方希望通过在线看电影拉来新增用户，特意强化了分享操作；另外由于不确定当地网络情况及用户对画面清晰度的容忍度，直接把码率设置项外露了（美其名曰把选择权交回给用户）。

旧方案：播放器，突出分享，外露设置项

经过一个月的数据验证，发现“强扭的瓜不甜”，用户并不会因为“外露”或“权重高”就去点击。具体情况如下：

• 分享操作

进入播放页面的人，20%点击了分享按钮，但真正转发出去只有不到5%——基于好奇而点击分享，而非真实动机（也即是碰瓷）。

有人可能会说，能碰瓷一点是一点啊，1%的分享率也是量啊。是的，但即使有1%的人真的分享出去了，还得看能带回来的新增转化是多少。层层漏斗下来，无需多言自可意会。

在高权重位置增加一个杯水车薪的功能，成效不大却因提高了复杂度而影响其他更核心功能的使用，可谓捡了芝麻丢了西瓜。

• 码率切换

在视频的核心诉求是能“流畅地看”，而调整清晰度是属于“额外辅助操作”。

对于这些辅助功能，最优解应当是完全不需要用户注意到它——根据网络情况自动切换码率。而在需求之初，因为技术暂时还不支持根据自动切换码率，业务方就要求把码率切换放在明显提示的位置，原因是“默认清晰度难以敲定，过低可能导致看不清，过高可能导致视频卡顿“，所以直接把选择权抛回给用户。（PS：这属于比较典型的本末倒置案例，因为暂时不支持某项能力，而引入新的问题。）

实际效果是：码率切换的点击率不到4%（而且这还没算上真正设置成功的比例）。绝大部分用户只会按照默认码率看完视频……

把选择压力丢回给用户、把非常用的功能都堆砌在外，非但没有满足好视频播放本身，反而导致整个页面的信息过载，影响了核心操作的效率。这画面就像是，把一个布满了各式按钮的电视遥控器丢给老大娘，而她只是想打开电视看个剧而已。

功能一股脑往外堆砌=这样的遥控器

回归初始的设计思路：

以用户使用场景为依据排列权重，只外露最基础功能，其他折叠。

• 基础功能（能看）：全屏、进度条、下载（由于印度网络的特殊性，他们习惯于下载资源再反复使用）；
• 辅助功能（看好）：辅助设置，如设置码率、字幕；
• 二次操作，如分享、媒体中心入口。

技术层面的功能实现自动化，自动根据网络情况切换码率，而手动切换放在更深的入口内。

新方案：左图是播放器默认状态，右图是通过右上角入口调起辅助操作面板。

2. Story的拍摄入口

这是一个拍照分享到story（朋友24小时内动态）的功能入口。

在旧版imo中，有拍照入口位于首页导航栏正中央，推测动机是为了鼓励用户现拍现分享动态。

旧版：首页导航上，强调拍照分享功能

结合imo的定位，它是以实时通讯为主，而story只是辅助于朋友间交流的异步功能。把拍摄入口放置在这么重要的位置，似乎与核心定位并不相符。

详细来说，问题有三点：

1、从通讯工具的角度来看，优先鼓励分享动态显然与通讯工具的定位不符；

2、一个拍照入口放置于聊天列表底部，没有直接对应的使用场景，显得突兀；

3、对于imo用户、新兴国家的人而言，“现拍”更是一种门槛较高的表达方式。

基于上述原因，我们决定去掉该拍摄入口，让首页更聚焦在通讯上，再者是缓解三层汉堡的问题，为日后的功能拓展预留空间。

新版：把拍照入口从首导航页去掉

上述的分析是基于逻辑推导的，而实际使用情况为了稳健起见，团队使用了ABtest的方式来验证。

我们把保留拍照入口与去掉拍照入口做了对比实现，结果发现，去掉了首页导航的拍照入口后，story整体的发布人数、次数并都没有明显下降，甚至连抖动都算不上；而原使用该入口的一小撮用户也很快地迁移到了story里面去发布（story内的拍摄入口使用人数、次数均上涨）。

由此再次证明：

用户并不会因为功能按钮身居要位或是放大抢眼，就会真的使用该功能。脱离了使用场景而孤独存在，只会是一个空壳，而没有太大的实际收益。

3. 签名信息的保存入口

这是一个编辑签名信息后的保存按钮。

功能本身很简单，就是编辑完个性签名的内容，点击保存即完成。

左图为原方案，保存按钮在右上角；

右图为实验方案，保存按钮放大居中在底部。

在最初的方案，我们遵循了全局统一的操作栏结构，把完成按钮放置在右上角。功能上线后，实际上的配置率是23%左右，不算特别理想。后来就开始分析原因，先从最可控的变量入手——纯视觉层的保存按钮。

在实验方案中，我们把保存按钮加大、放置于编辑区下发，让其更加醒目突出，并保证其不被键盘遮挡。

实验结果表明，两种方案的配置率差别几乎是没有的，实验方案配置率增长只有0.1%。再加上量级较少，这个结果就跟抖动一样，几乎可忽略不计。在收益不明显的情况下，我们优先选择遵循全局统一性（左图方案）。

此实验组再次证明：

功能的使用依靠内在驱动力，单纯的把操作区增强、增大、增重，难以有效的扭转意图。

「所处的互联网程度大不相同」

互联网产品的界面设计趋势，大致上是由具象往抽象逐步发展。以前的界面设计会通过模仿现实生活中的实体物品，来引导教育用户进行操作使用；后来随着扁平化的出现，界面设计的风潮开始往更抽象、更极致的方向演进，以聚焦目标提升效率。

图形界面的演变过程

对于经过了十年、二十年洗礼的欧美和中国互联网民来说，这个过程的演变的可接受的、自然而然的。今天我们看到一个写着play的矩形，会条件反射般地知道它是一个播放按钮。

但是对于新兴国家而言，大部分人是近几年才刚开始用上智能手机，甚至刚开始从按键机过渡到触屏机。这些抽象的设计元素对他们而言是难以理解的。写着“Play”字样的矩形在他们眼里，可能就真的只是一个写着字的图形而已。

1. 操作图形化

这是一个注册时的完成按钮。

左图为原方案，右图是实验方案

在接手imo时，原注册界面就是以“✔️”代表完成操作。

我们按照在国内做界面的思路，会觉得图形的表意不够准确、修饰性更大一些，于是在新实验方案中使用了“OK”文本进行代替。当时也有考虑到理解能力的问题，但“OK”是英语覆盖地区的通用单词，应该不至于造成困难。

然而，实际的数据告诉我们，“✔️”方案的注册成功率，就是要高于“OK”方案的。也就是说，在所有变量一样的情况下，图形化的操作按钮转化率更高。

此情况后续出现在各种功能的设计上，种种实验都证明图形化的操作，转化率会比纯文本的转化率更高。由此我们分析推测，图形化的操作指引更强，而纯文本还是过于抽象，对于目前的用户来说，尚且未能被完全接受。

基于此结论，后续我们更新了相应的组件库，并补充了一条新的设计原则：尽量使用图形化的设计语言。

左图为原组件，纯文本操作；右图是新组件，图形化操作

2. 减少说明性文本

在任何产品的设计上，若想依赖文本信息去解释说明功能，往往是事倍功半效果甚微。因为文本是信息高度压缩的媒介，相比于图片、视频，文字的阅读需要耗费更多的脑力去解析。当文字作为辅助说明时，纯文本的被接受度、被吸收度也是最差的。另外，新兴国家用户的英语水平参差不齐，普遍还没能将英语当作日常沟通语言。当他们面对一串串英文文本时，只能通过一些零碎单词去猜测意思。

基于上述两点，就不难理解他们自动忽略说明文本的习惯了。

两种典型的说明书，纯文字的是生产商自嗨的天书，

图例的是给用户看的说明书。

下图是我们之前测试过一个引导分享的弹窗，想要通过分享带来更多的新用户。

原本预期是点击分享的比例不会很高，毕竟是脱离了场景生硬切入的。实际的结果是：分享面板的被调起比例很高，然而调起分享面板后，真正有效转化的分享量却是低到可忽略不计。——绝大部分用户甚至连看都不看就直接戳向“OK”，然后再关掉分享面板。

换言之，是有不少人点了OK（以关掉弹窗），但真正发给了朋友的却没几个人。

电影播放过程中，出现分享引导的弹窗，为了分享拉新

3. 增强可操作性

这是一个群邀请卡片，顾名思义点击该卡片后可查看群信息，并加入其中。

左图为原方案，只突出核心信息；右图为实验方案，外露按钮

在最初，我们按照以往设计消息样式的思路，直接把群概要信息放置在邀请卡片内。出发点是只需把最核心信息展示出来，若用户感兴趣自然会查看详情或加入。

直到几个月前我们到印度调研，偶然间发现有的用户（当地高中学生）有一个苦恼：朋友给他介绍了一个板球活动群，他也很想加入，但是不知道如何加入……他们尝试了一些方法，乱打乱撞之间建了一堆讨论组，但就是没法加入到该群。

观察到这个现象，我们恍然意识到，这个卡片在他们看来，并不意味着可以点击的，更别说可以通过该卡片来加入群里——在面对一个全新的卡片，他们还没能“举一反三”地类比其他消息类型、知道卡片是意味着可点击的…换言之，还没被互联网产品彻底教化过。

所以在后来，我们优化了此群邀请卡片，增加了点击感更强的标签，并且直接把关键的加群入口外露，以暗示其可操作性。

「4」

结语

经过团队上百项的ABtest实验，重新提醒了我们敬畏的心是那么的重要，“理所当然”的做法会导致用户用脚投票；同时也印证并坚定了我作为产品设计师一直所信奉的理念：用户的价值取向是共通的（超越了地域文化的限制），形式上的取巧并不能带来真正有效的影响。

PS：能与价值观一致且目标明确的业务团队一起共事，是能知而行的大前提。