从0到1玩转AB测试评估体系搭建

某头部物流类APP目前拥有数千万级别的用户量，每天有数百万用户在app上利用寄快递、查快递、网点查询、运费查询等干系做事。

在日常用户风雅化运营中，须要准确评估大量交互场景，以赞助业务决策。

AB测试是一种常用的数据驱动方法，用于评估不同版本的用户界面、功能或设计。

它旨在帮助决策者理解哪个版本能够更好地知足用户需求，优化产品并改进用户体验。

本文将基于Google多层实验框架事理，来进行AB测试评估体系搭建的探索研究。

二、办理方案

AB测试通过为同一个迭代目标制订两个或多个策略方案，并在同一韶光维度内让具有相同（或相似）组成身分的A/B群组分别采取这些策略，网络各群组的体验数据和业务数据，末了剖析评估出最佳策略，使迭代朝着更好的方向演进。

1. 关键步骤

AB测试评估体系构建常日包括以下3个关键步骤：

（1）样本量测算;

（2）样本分流;

（3）评估机制（显著性检测）

2. 样本量测算

在AB测试中，样本量的测算至关主要。
样本量大小会影响实验结果的可靠性和统计显著性。
以下是常见的样本量测算公式：

个中：

n为总样本量；

和分别为第一类缺点概率和第二类缺点概率，一样平常取0.05和0.2；

Z为正态分布的分位数函数， Z1−/2=1.96，Z1−=0.84；

代表预期实验组和对照组两组数据的差值。

在AB测试中还会涉及到样本随机化和多重考验校正等。
建议根据详细情形综合考虑这些成分，以确保得到得当且有效的样本量。

3. 样本分流

在Google多层实验框架中，样本hash分流是一种常见方法。

基于分流算法，将样本均匀地分配至不同实验中。
在实际操作过程中利用参与者的唯一标识符（如会员号或Cookie）作为输入，并将其通过哈希函数转换为一个固定例模内的哈希值。
该哈希值可用于确定参与者被分配到哪个实验组。

通过利用hash分流方法，可以确保每个参与者在样本中都具有相同概率被随机地分配到不同实验组，并减少偏差，在评估不同变体之间的差异时担保可靠性。

4. 显著性评估

构建AB测试显著性评估机制非常关键，它有助于确定实验结果是否具有统计上的显著性。
步骤如下：

Step 1：确定希望利用的显著性水平（即第一类缺点指谢绝了精确假设），常日情形下表示为。

Step 2：确定所需样本量：为确保实验结果达到所需统计显著性水平，在目标效应大小、所选显著性水平和统计功效之间进行打算。

Step 3：选择适当的统计考验方法：根据实际设计和指标类型选择适当的统计考验方法（如t考验或卡方考验）。

Step 4：在实验结束后网络实验组和对照组数据，并利用所选统计考验方法进行假设考验，并基于不雅观察到差异打算P值。

Step 5：P值代表不雅观察到结果或更极度结果涌现概率。
如果P值小于预先设定的显著性水平，则可以谢绝原始假设并得出结论认为结果具有统计上显著性。

5. ab测试评估体系流程图

基于上述最小样本量测算、hash分流以及显著性评估等步骤，在构建线上用户增长中央AB测试系统时可以考虑以下模块：实验配置、分流、打算、剖析输出等模块。

主要模块功能解释

（a）实验模块：由业务方完成干系配置，例如定义实际评估指标、设置实际评估周期以及确定履行办法；

（b）打算模块：基于历史数据值来完成当前所需最小样本量测算；

（c）分流模块：根据最小样本量以及配置好的分组信息利用hash打散办法 进行均匀分流（推举采取二次hash办法来规避碰撞问题），以担保样本共享且被随机地划入不同试验证明理义；

（d）剖析输出模块：采取所选统计考验证法进行假设检义，并通过比较不雅观察到结果与初期设定阈值来判断是否存在显著差异。

完全ab测试系统数据流程图如下图所示。

三、运用案例

基于Google多层实验框架进行线增ab测试评估体系的搭建，期间（22年9月到24年2月）累计支撑业务评估实验1000+项。

本文由 @yyandbb415 原创发布于大家都是产品经理，未经容许，禁止转载

题图来自Unsplash，基于 CC0 协议

该文不雅观点仅代表作者本人，大家都是产品经理平台仅供应信息存储空间做事。