营销实战丨热云数据祁永辉：如何开展一个A/B测试？

 

“A/B测试的目的在于通过科学的试验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的试验结论，并确信该结论在推广到全部流量可信。”热云数据增长顾问祁永辉在谈到A/B测的概念时说道。

 

 

#祁永辉

热云数据增长顾问。公众号：AB试验作者，擅长AB测试应用，长期主义者，成功服务过VIPKID，火花思维，上上签等众多企业。

 

 

A/B测试驱动线上业务增长

 

A/B 测试是一种试验驱动线上业务增长（产品优化、运营优化等）的方法，为同一个优化目标制定两个以上的方案，让一部分用户使用A，同时另一部分用户使用B方案统计并对比不同方案的转化率、点击量、留存率等指标，以判断不同方案的优劣并进行决策。

 

 

A/B测试本质上是个分离式组间试验，属于预测型结论，与“后验”的归纳性结论差别巨大。

 

A/B测试的目的在于通过科学的试验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的试验结论，并确信该结论在推广到全部流量可信。

 

 

为什么是A/B测试？

 

我们在做调查的时候发现，有不少公司会遇到一些问题：

 

第一是经验主义决策。依托过往经验判断我们当时的情况，就是现在的情况，这样往往判断有些偏差。

 

第二有来自很多非产品经理的需求。比如在常见的网页设计或者宣传的文案中，销售、老板、非相关部门经常会给一些反馈和改版的需求。

 

第三是会忽略细节的改变。刚才我在来之前，跟保利威的同学交流的时候，他们也有专门的团队做官网的迭代，其实就是在细节上的改变。

 

这里是我经常给我用户说的，引用雷军老师的话，不服跑个分，把分改成了A/B测试，并不是所有被你淘汰掉的需求和方案一定是最差的，在过往经验中被我们验证很多次的。

 

 

如何开展一个A/B测试？

数据+目标+假设

+假设

第一，收集数据。得知道官网大概的情况，或者页面的情况；

 

第二，要有一个对应的目标。比如尝试去做一些关于跳出率的优化，减少他的跳出率；

 

第三，提出假设。通过网页的迭代和改版，以及文案的修改或者图片的修改，或者一些流程的修改，来得到相应的结果，在测试这个假设，往后进行结果的分析和得出相应的结论，其实这就是一个增长的闭环。

 

相信大家很多企业都在做这件事情，我们把闭环都做起来之后，我们可以持续做一些增长。

 

下面分享一个墨迹天气的案例，昨天大家经历过在北京下泥雨，墨迹天气当时做了一个很有意思的尝试，尝试了不同的分享按钮，上面的分享按钮，在安卓版本有些不同的区别。

 

他们的目标是想关注分享的转化率，假设就是我尝试了不同的分享按钮，他的分享转化能不能有一定提升。

 

我们来看一下数据，结果会发现我们第三个版本，长的跟屏幕分享很像的按钮，分享的点击率提升了18%，我只是做了一个ICON的变化，非常细节的东西，就能有很大的提升，这个就是我们通过A/B测试能得到的常见结果。

 

 

 

如何科学的优化页面？

使用LIFT模型

 

如何科学的找到B版，你也可以理解为如何科学的去优化你的页面。

 

 

第一件事情，要达成一个共识，可以去问问设计师，在定任何一个方案稿之前，他还有几个稿子，不管你的网站也好，还是出的图也好，一定会有非常多的版本，这是第一件；

 

第二，我们去翻一翻之前老的版本，它一定就不好吗？这是一个灵魂深处的问题。我们在去尝试迭代的时候，这些都可以作为一个B版；

 

第三，我们在团队中一定存在着不同的看法的，不是所有人看法都一样；

 

第四，来自于非产品经理的需求。比如老板的个人喜好，以及销售部同学反馈出来的结果，这时候我们发现他们就是很好的B版来源，不服跑个分。

 

讲一个简单的模型LIFT，中文名叫测试着陆页影响函数。

 

这是一架小飞机，核心主体叫价值主张，同时相关性和信息度的提升有助于提升升力，注意力和焦虑感的下降，也有助于减负，飞机飞的更快，紧急度是火药，催着它往前走。

 

 

有一个公式，做一件事情的动力=感知到的好处-感知的成本。做某件事情如果好处大于成本，肯定有动力，如果差值越高，动力越大。可以尝试用一些积分，免费试用吸引用户，大家应该都有在用。

 

LIFT模型的应用主要有价值主张、相关性、清晰度、焦虑感、注意力分散和紧迫性等等。

 

价值主张优化：我们做实操的时候，可以尝试多个指标来关注我们真实的方案，就可以用不同指标来辅助，看一些核心指标，以及辅助指标怎么变化，能不能验证你的猜想，这就是A/B测试的核心。

 

相关性优化：广告信息传递的价值与着陆页产品的介绍是有强相关性的，这个着陆页前面可能有你的广告，也可能有朋友圈的文案，有可能有各种各样文案，这些是有强相关性的，并且要跟人相关，你的受众相关，能带来一些转化提升。

 

 

清晰度优化：很多企业的着陆页也好，或者方案也好，大而全，特别大，特别全，但是会发现有的时候并不能清晰的表述出来本身的价值，你的受众不能清晰了解到这件事情在干吗，所以清晰度是非常重要的一点。

 

焦虑感：在招聘场景中，招聘市场专员、销售等等一些普通的职位，公司会在招聘文案上加一段“工资保障”，发现数据也很有意思，所有模块的点击提升了17%，同时转化人数提升了6%。

 

 

注意力分散的优化：我们会有在朋友圈个人私域流量的宣传和推广，会有很多转化环节，不希望分散他的任何注意力，这时候我们去掉多余的元素，扫码的转化率提升了7%。

 

紧迫性优化：如果大家有订酒店或者用过携程，会提示一点：有多少人正在浏览该房间。跟这个道理一样，比如可以写“免费门票仅剩186张”，也是要给用户一个紧张感，让他快速下单。

 

我们做产品优化的时候，可以通过这些点，去找到你真正的优化方向，以及你的版本。有了这些方向之后，我们再用A/B测试的能力，用这样的方法、工具做一些尝试。