关于A/B测试批评的反驳
作者:网络转载 发布时间:[ 2014/3/27 13:26:24 ] 推荐标签:A/B 测试 互联网
近,A/B测试在互联网各界都受到了甚至是不公正的批评。这些批评包含了A/B测试的一些相关要点,但基本论点是站不住脚的。这些批评混淆了(例如,测试红色与路色按钮的区别或是其他)与A/B测试方法之间的关系。现在让我们看下近在网络上的些争论,为什么他们的批评是没有根据的。
争论一:A/B测试与局部极小化
Jason Cohen在他的文章《Out of the cesspool and into the sewer: A/B testing trap》 | 中文翻译版本:《[译文]小心A/B测试的陷阱:从水沟流入下水道的水》中认为:A/B测试往往得到的结果是局部小值,而非真正想得到的全局小值。对于那些把页面上每个区块作为提升转化率的部分,而又不清楚局部小值与全局小值区别的人来说。这好比说,在网页里每个区块都是都是个变量:这些的数值自然越低越好。通过下面来自jason Cohen的图 ,可以知道出局部小值与全局小值的区别。
即便是在jason文章里,争论的焦点也不在于A/B测试,因为激进的调整页面并使用相同的测试方法也可得到全局小值。因此声称局部小值是A/B测试陷阱是不公平的,因为这与A/B测试方法根本没关系。相反,在争论中却揭示出微调并做测试的方法是徒劳无功的。
那么,如果A/B测试没有问题,那么是局部小值的问题吗?即便打了折扣的局部小值的理论是错误的,答案依旧是否定的。上面的图片展示了非常浅显易懂的一维度曲线。你可以把x轴当作背景色y轴当作跳出率。Jason的文章可以归纳为:如果测试了一组不同的蓝色,你可能减少跳出率。但如果你尝试着将颜色改掉(例如,黄色),你可能会得到可能是低的跳出率。
下面是本争论的两个问题:
1、你永远都不知道是否已经得到了全局低值
全局低值仅存在于理论中。让我们继续之前的改为黄色背景得到跳出率全局小值的范例。在进一步的测试中,如果我们发觉没有背景色得到更低的跳出率该怎么办?或者放置张可爱小猫的背景得到更低的跳出率呢?问题的关键点在于,除非可以把跳出率降低到0%(或转化率达到100%),否则你将永远怀疑自己是否达到真正意义上的全局小值。
另一个检测是否找到全局小值的方法是穷举所有可能性。理论上,你页面仅修改背景色(你不能使用背景图片,因为你老板讨厌用背景图)。那么你可以将所有可能的颜色尝试一遍并取其中小值的方案。在穷举所有可能色彩中,那个得到小值的背景色有可能是全局小值。这带出了下一个问题…
2、这不仅仅是背景色的问题
当优化页面时,你需要面对成百上千的变量(背景色只是其中的一个)。标题、文案、布局、页面长度、视频、文字颜色、图片这些仅是其中的一小部分变量。优化页面取决于页面所有的一切。这意味着之前看到的曲线不只是我们所见到的一维的。在现实中,它是被上千个变量影响着的多维结构。
再强调一下,把图中的山峰想像成你的转化率(或是跳出率),变量在不同的维度上(尽管貌似只有两个变量,但事实上有上百个)。与一维的例子不同的是,在真实页面上穷举所有可能性是不可能的。因此,你不必刻意去追求全局大(小)值。吸取教训:接受局部小值。
相关推荐
更新发布
功能测试和接口测试的区别
2023/3/23 14:23:39如何写好测试用例文档
2023/3/22 16:17:39常用的选择回归测试的方式有哪些?
2022/6/14 16:14:27测试流程中需要重点把关几个过程?
2021/10/18 15:37:44性能测试的七种方法
2021/9/17 15:19:29全链路压测优化思路
2021/9/14 15:42:25性能测试流程浅谈
2021/5/28 17:25:47常见的APP性能测试指标
2021/5/8 17:01:11