A/B测试终极入门：原理、流程与核心假设

import numpy as np
import pandas as pd
import scipy.stats as stats
import matplotlib.pyplot as plt
import math
import seaborn as sns

# 设置随机种子以保证结果可重现
np.random.seed(42)

# 定义模拟参数
sample_size = 5000 # 每组样本量
baseline_rate = 0.10 # 控制组(A版本)的基线转化率
effect_size = 0.02 # 我们希望检测的效应大小(B版本比A版本提升2个百分点)

# 计算实验组(B版本)的转化率
treatment_rate = baseline_rate + effect_size

# 模拟数据生成
# 生成A组数据: 1表示转化，0表示未转化
group_a = np.random.choice([0, 1], size=sample_size, p=[1-baseline_rate, baseline_rate])
# 生成B组数据
group_b = np.random.choice([0, 1], size=sample_size, p=[1-treatment_rate, treatment_rate])

# 创建DataFrame
df_control = pd.DataFrame({'group': 'A', 'converted': group_a})
df_treatment = pd.DataFrame({'group': 'B', 'converted': group_b})

df = pd.concat([df_control, df_treatment], ignore_index=True)

# 查看前几行和数据概况
print(df.head())
print("\n各组转化情况汇总:")
print(df.groupby('group')['converted'].agg([np.mean, np.size, np.sum]))

  group  converted
0     A          0
1     A          0
2     A          0
3     A          0
4     A          0

各组转化情况汇总:
        mean  size    sum
group
A      0.101  5000    505
B      0.121  5000    605

# 从数据中提取所需的值
conversions_a = df[df['group'] == 'A']['converted'].sum()
size_a = sample_size
conversions_b = df[df['group'] == 'B']['converted'].sum()
size_b = sample_size

p_a = conversions_a / size_a
p_b = conversions_b / size_b
p_pooled = (conversions_a + conversions_b) / (size_a + size_b)

# 手动计算Z统计量和p值
z_score = (p_b - p_a) / math.sqrt(p_pooled * (1 - p_pooled) * (1/size_a + 1/size_b))
p_value = stats.norm.sf(abs(z_score)) * 2 # 双尾检验，所以乘以2

# 使用statsmodels库进行检验（更简便且专业）
from statsmodels.stats.proportion import proportions_ztest

count = np.array([conversions_a, conversions_b])
nobs = np.array([size_a, size_b])
z_score_statsmodel, p_value_statsmodel = proportions_ztest(count, nobs, alternative='two-sided')

print(f"[手动计算] Z统计量: {z_score:.4f}, p值: {p_value:.4f}")
print(f"[StatsModels] Z统计量: {z_score_statsmodel:.4f}, p值: {p_value_statsmodel:.4f}")

# 设置显著性水平α
alpha = 0.05

# 做出决策
if p_value_statsmodel < alpha:
    print(f"\n结果: 由于p值 ({p_value_statsmodel:.4f}) < α ({alpha})，我们拒绝原假设。")
    print("结论: B版本的转化率显著高于A版本。")
else:
    print(f"\n结果: 由于p值 ({p_value_statsmodel:.4f}) >= α ({alpha})，我们未能拒绝原假设。")
    print("结论: 没有足够证据表明B版本的转化率与A版本有显著差异。")

# 计算置信区间
se = math.sqrt(p_a*(1-p_a)/size_a + p_b*(1-p_b)/size_b)
margin_of_error = stats.norm.ppf(1 - alpha/2) * se
ci_low = (p_b - p_a) - margin_of_error
ci_high = (p_b - p_a) + margin_of_error
print(f"\nB版本相对于A版本转化率的差异的95%置信区间为: [{ci_low:.4f}, {ci_high:.4f}]")

[手动计算] Z统计量: -2.6803, p值: 0.0074
[StatsModels] Z统计量: -2.6803, p值: 0.0074

结果: 由于p值 (0.0074) < α (0.05)，我们拒绝原假设。
结论: B版本的转化率显著高于A版本。

B版本相对于A版本转化率的差异的95%置信区间为: [0.0071, 0.0329]

from statsmodels.stats.power import zt_ind_solve_power
from statsmodels.stats.proportion import proportion_effectsize

# 定义参数
baseline_rate = 0.10
effect_size = 0.02
treatment_rate = baseline_rate + effect_size
alpha = 0.05
power = 0.80 # 期望的统计功效

# 计算效应量（用于比例检验的Cohen's h）
effect_size_prop = proportion_effectsize(baseline_rate, treatment_rate)

# 计算所需的每组样本量
sample_size_required = zt_ind_solve_power(
    effect_size=effect_size_prop,
    alpha=alpha,
    power=power,
    alternative='two-sided' # 也可以是'larger'或'smaller'
)

print(f"为检测从{baseline_rate}到{treatment_rate}的提升({effect_size}绝对提升)，")
print(f"在显著性水平α={alpha}和统计功效power={power}的条件下，")
print(f"所需的每组样本量约为: {math.ceil(sample_size_required)}")

为检测从0.1到0.12的提升(0.02绝对提升)，
在显著性水平α=0.05和统计功效power=0.8的条件下，
所需的每组样本量约为: 3615

# 1. 绘制转化率对比柱状图
plt.figure(figsize=(10, 6))

ax = plt.subplot(1, 2, 1)
groups = ['A组 (控制)', 'B组 (实验)']
conversion_rates = [p_a, p_b]
bars = plt.bar(groups, conversion_rates, color=['skyblue', 'lightcoral'], alpha=0.7)
plt.ylabel('转化率', fontsize=12)
plt.title('A/B测试: 转化率对比', fontsize=14)

# 在柱子上添加数值标签
for bar, rate in zip(bars, conversion_rates):
    height = bar.get_height()
    plt.text(bar.get_x() + bar.get_width()/2., height + 0.005,
             f'{rate:.3%}', ha='center', va='bottom')

# 2. 绘制差异的置信区间
plt.subplot(1, 2, 2)
diff = p_b - p_a
plt.errorbar(x=0, y=diff, yerr=margin_of_error, fmt='o', color='black', 
             capsize=5, capthick=2, markersize=8)
plt.axhline(y=0, color='red', linestyle='--', linewidth=1) # 添加y=0的参考线
plt.xlim(-0.5, 0.5)
plt.xticks([]) # 隐藏x轴刻度
plt.ylabel('转化率差异 (B - A)', fontsize=12)
plt.title('差异的95%置信区间', fontsize=14)
plt.grid(True, axis='y', alpha=0.3)

plt.tight_layout()
plt.show()

classDiagram
    class ABTest {
        -DataFrame df
        -float baseline_rate
        -float treatment_rate
        -float alpha
        -int sample_size
        +generate_data()
        +calculate_sample_size()
        +run_z_test()
        +visualize_results()
    }
    class StatsUtils {
        +proportions_ztest(count, nobs)
        +zt_ind_solve_power(effect_size, alpha, power)
    }
    class Visualizer {
        +plot_conversion_rates()
        +plot_confidence_interval()
    }
    ABTest --> StatsUtils
    ABTest --> Visualizer