课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认真做教育 专心促就业
我们在上文中给大家简单介绍了产品测试中常用的测试方法和应用场景等内容,而今天我们就再来了解一下,A/B测试的步骤都有哪些环节。
1.建立产品漏斗
这一步往往在我们的工作中会被忽略掉,我觉得,不管是业务还是技术同学,我们都有必要了解自己的产品链路以及用户的漏斗,知道了用户从哪里来,我们希望用户去哪里,才能够有准备的做增长。
2.确定产品链路核心指标
在明确了产品的漏斗之后,我们需要明确要观察产品链路中的哪些核心指标。
如果你的关注点仅仅是一个页面,那你可能更多需要细看当前页面的用户指标;如果你关注的产品链路比较长,你应该关注整个链路上各个节点之间的指标。
3.观察指标,提出优化假设
接着我们的产品同学就可以根据指标分析当前的业务状况,然后结合需要优化的数据指标,提出相对应的业务假设。这里开始,就有统计学知识入场了。
4.设计A/B实验方案
实验设计上,我们要明确一些信息:
我们要写明,实验目标是什么,包括上面说的假设。
在实验分组上,我们要考虑如何划分分组,是否要有A/A对照,要切多少流量来做实验?
另外在投放上,我们的实验要针对谁做?是否要投放在特定的地区?或是投放在特定的端?
5.开发A/B实验
这一步,是我们熟悉的阶段,一般的项目需求评审都是从这里开始的,开发同学会借助RuntimeSDK编写UI逻辑、分桶逻辑等,这里先不赘述里面的细节。
6.运行实验
开发完成后,我们就要准备上线了,这时要设定实验运行时的配置,例如:
我们主要需要设定:
指标的样本量(反过来样本量也决定了实验的运行时长)。
实验的显著性水平(α)、统计功效(1-β),一般业界普遍设定α为5%,β为10%~20%。
7.实验数据分析
我们前面说过:A/BTesting的统计学本质就是做假设检验。
当然在开始假设检验前,我们要先验证一下,我们的数据本身是正确的。
8.实验结论
后,我们根据这次实验的分析结果,总结实验结论。当然如果没有达到预期的目标,我们就要调整策略提出更进一步的优化假设。
【免责声明】:本内容转载于网络,转载目的在于传递信息。文章内容为作者个人意见,本平台对文中陈述、观点保持中立,不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。