短视频之数据分析：为什么1+1不等于2？

| 导语 在腾讯微视的数据分析中，为什么经常遇到“1+1不等于2”的情况？这个问题在很多业务场景非常普遍，我们经常听说A部门说，我为大盘增量贡献了100W的收入，B部门说，我贡献了200W，两个部门都没有说谎，但是大盘却只有250W的增长。这是为什么呢？本文将就这类问题详细讨论。

数据分析中，为什么1+1不等于2？

这个问题在很多业务场景非常普遍，我们经常听说A部门说，我为大盘增量贡献了100W的收入，B部门说，我贡献了200W，两个部门都没有说谎，但是大盘却只有250W的增长。

这是为什么呢？

先抛一张图

本文将就这类问题详细讨论，下面个我工作中遇到的案例。

案例

产品迭代（以下称Driver）Driver A 和 Driver B

• 在小流量实验阶段，Driver A可提升某指标 20%，Driver可提升 30%；
• 此时分别加大流量，仅保留小流量对照组，此时Driver A提升 30%，Driver B提升 40%；
• 大盘某指标上涨了55%；

（这里为了说明问题，数值上略有夸张）

我们发现上述实验有个问题：

• 加大流量后，为什么Driver A和Driver B的增量贡献变化了？
• 大盘涨幅60%，为什么超过小流量阶段的Driver A和Driver B增量之和（按线性加法和乘法计算均可，即20%+30%=50%，或1.2*1.3-1=56%），但低于大流量阶段的增量之和？

为了突出重点，我们首先排除一些确有可能的原因，例如用户结构发生变化，外部因素干扰，同时我们经过反复论证大盘的涨幅60%确实由这2个Driver带来。

AB Test量化的结果，按理说应该不涉及重复计算，为什么有上述的问题？

其实AB Test虽然不涉及重复计算，但会涉及到Driver之间的叠加效应

叠加效应：1+1>2

以短视频产品 微视，举个例子来说：

• A是 推荐 团队，通过在算法层面不断迭代优化，为大盘的总使用时长作出的贡献；
• B是 增长 团队，通过在端内产品迭代作出的贡献；
• Y是 推荐、增长团队相互放大促进增长的贡献（当然，Y不一定是像图示中一样是与A、B单独贡献等比例乘积的）

所以，

• 小流量实验时，因为Driver A和Driver B的实验是独立的，同时作用2个Driver的用户非常少，相互促进的作用（Y）没有充分体现
• 大流量实验时，大部分用户同时作用了2个Driver，相互促进的Y有得到充分体现，1+1>2的效果就体现出来了
• 此时计算各个Driver的贡献，会重复计算Y部分

一般情况下，1+1>2是我们鼓励的方向，这说明各个团队在做合作共赢的事情，至于在大流量实验时重复计算收益的问题，我们可以通过核算修正解决

抑制效应：1+1 < 2

上面提到了相互促进，那么有没有Driver A和Driver B相互抑制的情况呢？

当然存在，并且在显示中还特别普遍，如下图示

以微视的任务福利中心，举个例子来说：

·Driver A是，刷红包视频，领视频红包

·Driver B是，看视频，赞时间换金币

上面2个活动同时上线，

• 多个活动，确实能存在相互促进部分Y
•     小流量阶段，A的贡献是A+Z部分，B的贡献是B+Z部分，AB共同作用较少，所以相互抑制部分不大
•     大流量阶段，因为产品形态较雷同，本质上都是看视频获得奖励，2个活动交叠贡献Z就会比较大，体现的是相互抑制较大，而非相互促进
• 所以当两个Driver进入大流量阶段后，会体现为1+1<2

一般情况下，1+1<2是我们不鼓励的方向，这说明各个团队在为同一个产品做趋近相同用户价值。

联合实验

实际上，绝大多数时候，从产品角度理解，都会同时存在「相互促进」和「相互抑制」这2部分，从结果角度，其实我们只需要关心「整体交叠影响」即可。

真实存在的只有「整体交叠影响」，并不真实存在「相互促进」和「相互抑制」这2部分，只是为了方便从产品视角的的理解。

为了清晰量化「整体交叠影响」，我们可以通过AB Test的层域模型，进行联合实验，清晰量化交叠贡献。

简单来说，就是在大流量阶段，我们保留1个实验组，即不受Driver1影响，也不受Driver2影响。如下例：

详细可参看《浅谈AB Test实验设计和数据分析（二）——层域模型的设计》

(https://mp.weixin.qq.com/s/SSRlELhzy3nOkjeYI1nmXg)

论功行赏的问题

从大局视角出发，关注大盘指标就好。

但对于具体业务同学，如何分配业绩也很重要，当交叠贡献时，如何论功行赏。

例如，

• 负责新增用户的团队，今日引入新用户10W人，当前用户生命周期为10天，新增团队贡献100W日活跃天
• 负责留存的团队，将大盘用户生命周期提高2天，大盘用户100W，留存团队贡献200W日活跃天

那么这里引入一个问题，新用户和留存共同作用的部分，如何计算？

这里一般可以采用边际收益量化，即

• 新增用户的活跃天收益，按照留存提高前的增量贡献计算
• 留存团队的的贡献，用户数按照不含近期的新增用户计算
• 每过一段时间，再重新制定基数

总的来说，发放不一定唯一，论功行赏的问题，往往计算方式，会牵引业务朝着不同的方向发展，对业务发展有牵引作用，一般情况下需要根据管理者希望的牵引方向而制定。

小结

1+1不等于2，时常存在，

关键在于我们如何调整分工、组织，使得团队之间相互合作、促进，做更多1+1大于2的工作。

从0到1实现一款轻量级大数据分析系统

腾讯的组织能力是什么

“秒开”浏览器实现起来有多难？