一种常见的AB测试误区分析(3)

看一下自己犯了多大的错误，如果你在AB测试过程中不时的查看统计结果并快速的做决定，上面的表格会让你起鸡皮疙瘩。

应该如何做

避免重复检验显著性错误的最好方式就是不去重复的检验显著性。事先决定样本数量，等试验结束后再去AB测试软件中查看“优于原版本的概率”。如果你能抑制提前结束试验的想法，那中途偷窥数据也无妨。这有些反人性，所以最佳建议还是不要偷窥。

既然要事先决定样本数量，应该取多少呢？下面是经验公式：

δ是能检测到的最小变化，σ是样本的标准差。样本的标准差可能不好预知，但是如果参与计算的样本取值是2值的（比如统计转化率），则有：

保证样本的规模就能避免问题。
对AB测试软件的建议：在试验结束之前不要报告显著性水平，不要用显著性水平来决定是继续试验还是停止试验。试验进行中不报告显著性水平而是报告目前样本数量能检测出多大的差别，计算公式为：

原文转自：http://www.appadhoc.com/blog/a-mistake-analysis-of-abtesting/