小心!A/B测试陷阱小心!AB测试陷阱(2)

　　所以首先，AB测试的数据必须有足够的量，多少是足够? 不知道，也许要加入一些主观判断，毕竟这些数据量很可能就是白花花的银子，但肯定不是个位数。其次，AB测试的数据结果差异必须有统计意义。数据量很足，但十分接近，我们就无法判定AB到底哪一则更好。

　　陷阱3：漏斗之外

　　第三个陷阱在我看来，是大部分AB测试实施者都忽略了的。说忽略也许不一定合适，因为我也想不出更好的办法，但这里的确有值得注意的因素。

　　当我们测试AB两则广告语的时候，也许会发现AB各拿1000个展现，A的点击率为2%，B的点击率为1%。A的表现比B好，则我们淘汰B，只使用A。原来的测试中，A获得1000×2%=20个点击，B获得1000×1%=10个，总点击量为30。剔除B以后，我们期望A获得(1000+1000)×2%=40个点击。但在实战中，我们经常会发现，剔除B以后，A的点击率也下降了，(1000+1000)×1.6%=32个点击，比期望值低了一截。

　　为什么会产生这种测试后效果下降的现象，网上讨论不少，但是没有统一的意见。我比较倾向于以下这种看法。我们习惯于把用户转化的过程用漏斗来表现。

　　AB测试中，我们会涉及一层或者几层，目的都是让这个漏斗变的宽些。A的漏斗比B宽，就用A取代B，但要注意，AB原来是并列的两个漏斗。B被剔除以后，原来B漏斗中的一些用户，不一定掉入A漏斗。因为AB所传达的用户体验不同，可能有一部分B用户从A漏斗中掉出去了。

　　通过AB测试获得更好的结果本来就是我们的目的，在不断循环的AB测试中，我们会不断改善某一条要素的效果，但同时会付出代价，就是不断有用户从这个漏斗中掉出去。尽管从结果上来说，应该是得到了改进，但若不注意这些掉出去的用户流量，我们也浪费了很多潜在的机会。

　　多样性和专精，在相当程度上是矛盾的，如何把握两者的平衡，恐怕是个主观判断。AB测试仍然是改善效果最简洁有效的手段，但越是简洁的测试，所忽略的要素也就越多，所有成功都是有代价的。所以，充分关注B们的多样性，注意网罗回收那些从A里掉出去的资源，我想也是长期优化所应该关注的一个环节吧?

　　Share to:DeliciousCSDNGoogleBaiduYahooTencent

原文转自：http://www.ltesting.net