## 1. 项目概述卡方检验在AB实验中的核心价值 做AB实验的朋友应该都遇到过这种情况两组数据看起来有差异但怎么判断这个差异是真实的还是随机波动这时候卡方检验就像一把瑞士军刀能帮你切开数据表象看到本质。我在广告投放优化中用过上百次卡方检验最深刻的体会是——很多人把适合度检验和独立性检验用混了导致实验结论完全跑偏。 举个例子上周有个做电商的朋友问我为什么用同样的卡方检验A页面的转化率提升判断对了B页面的商品点击分布却分析错了这就是典型的没分清两种检验的本质区别。本文将用5个真实案例带你掌握卡方检验在AB实验中的高阶用法特别聚焦适合度检验Goodness-of-Fit与独立性检验Test of Independence这对孪生兄弟的核心差异。 关键认知适合度检验是单变量分布验证独立性检验是双变量关联分析就像比较单个骰子是否公平和两个骰子是否联动的区别 ## 2. 核心概念拆解从赌场案例看两种检验 ### 2.1 适合度检验的本质——单变量分布的验证 想象你在拉斯维加斯怀疑某个骰子有问题。连续掷600次记录各点数出现次数比如1点98次2点103次...6点95次。适合度检验要回答这个分布是否符合理论上的均匀分布每个点数100次 计算公式 χ² Σ[(观测值-期望值)²/期望值] 自由度df 类别数-1 在AB实验中典型场景 - 验证流量分配是否符合预期比例SRM检查 - 测试转化漏斗各步骤流失率是否均匀 - 检查用户设备分布是否随机 避坑指南当期望频数5时需要用Yates校正否则会高估显著性 ### 2.2 独立性检验的本质——双变量关联的分析 现在换成两个骰子。记录骰子A和骰子B各点数组合的出现次数11点32次12点28次...66点35次。独立性检验要判断骰子A的结果是否影响骰子B的结果 计算公式相同但自由度不同 df (行数-1)×(列数-1) AB实验中的典型应用 - 广告素材类型与转化率是否有关联 - 用户地域与功能使用偏好是否独立 - 实验组别与留存行为是否相互影响 ### 2.3 关键差异对比表 | 维度 | 适合度检验 | 独立性检验 | |-------------|--------------------------|---------------------------| | 变量数 | 1个分类变量 | 2个分类变量 | | 假设 | 符合特定分布 | 变量间独立 | | 自由度计算 | k-1 | (r-1)(c-1) | | 典型误用 | 流量分配不均当关联分析 | 把分布验证当独立性检验 | | 实验场景 | SRM检查 | 策略效果归因 | ## 3. 实操案例解析电商AB实验全流程 ### 3.1 案例背景购物车改版测试 某跨境电商将立即购买按钮从橙色改为绿色实验组新UI和对照组各分配50万用户。需要验证 1. 流量分配是否均衡适合度检验 2. 按钮颜色是否影响购买行为独立性检验 ### 3.2 适合度检验实施步骤 1. 收集实际流量分布 - 实验组501,234 - 对照组498,766 2. 建立假设 - H0观测分布理论分布(50:50) - H1存在显著偏差 3. 计算卡方值 python from scipy.stats import chisquare observed [501234, 498766] expected [500000, 500000] chi2, p chisquare(observed, f_expexpected) # 输出chi26.10, p0.0135结果解读p值0.05但0.01 → 轻微SRM问题建议检查分流系统或采用分层分析3.3 独立性检验实施步骤收集转化数据转化成功未转化总计实验组25,618475,616501,234对照组24,105474,661498,766总计49,723950,2771,000,000计算过程from scipy.stats import chi2_contingency observed [[25618, 475616], [24105, 474661]] chi2, p, dof, expected chi2_contingency(observed) # 输出chi217.25, p3.2e-5结论p值远小于0.01 → 颜色改动显著影响转化计算提升幅度(25618/501234)/(24105/498766)-15.7%4. 高阶技巧与常见陷阱4.1 样本量不足的解决方案当单元格期望值5时合并类别如将低频设备类型合并为其他使用Fisher精确检验适合2×2表格采用Yates连续性校正公式 χ² Σ[(|观测值-期望值|-0.5)²/期望值]4.2 多重比较的校正方法同时检验多个指标时Bonferroni校正将α阈值除以检验次数如同时检验5个指标则使用0.01作为显著性阈值错误发现率FDR控制from statsmodels.stats.multitest import multipletests pvals [0.03, 0.001, 0.45, 0.02] reject, adj_p multipletests(pvals, methodfdr_bh)[:2]4.3 效应量测量指标除了p值还需报告Phi系数2×2表格 φ √(χ²/n)0.1小效应0.3中效应0.5大效应Cramers V任意维度 V √(χ²/[n×min(r-1,c-1)])5. 工业级应用建议5.1 监控系统的实现方案自动化SRM检查脚本def check_srm(observed, expected, alpha0.01): chi2, p chisquare(observed, f_expexpected) alert ⚠️ if p alpha else ✓ return f{alert} χ²{chi2:.1f}, p{p:.4f} # 每小时自动检查分流情况 print(check_srm([5021, 4979], [5000, 5000])) # 输出✓ χ²0.2, p0.65475.2 与t检验的配合使用混合型数据分析策略连续指标如客单价→ t检验分类指标如转化率→ 卡方检验多指标决策矩阵指标检验方法提升幅度p值结论转化率卡方5.7%0.001显著客单价t检验2.3%0.078不显著退货率Fisher检验-1.1%0.043边缘最后分享一个血泪教训曾有个实验卡方检验p值0.049按标准可以宣布显著。但进一步计算发现φ系数只有0.02——虽然统计显著但业务影响微乎其微。这提醒我们永远要结合效应量做决策别被p值绑架。