注意误报 – 3种方法可以更好地进行测试

每个人都在测试 – 你也应该进行测试。如果您没有利用您的网站，客户关系管理和/或销售数据来测试和改善您的业务，那么您就可以将资金留在桌面上。

但是，你在测试什么？你（或者你应该）相信结果吗？

测试软件可以轻松实现A / B和多变量测试。非技术营销人员现在可以快速实施复杂的测试，并在设计精美的UI中系统地“证明”正面或负面结果。

然而，保持非统计结果驱动的营销人员实施和解释测试的最大问题之一是他们通常不知道如何设计适当的测试。

在这篇文章中，我将详细介绍三个概念，如果实施，可以帮助确保您设计的任何测试都经过深思熟虑，更有可能提供真正的结果。

1.实验设计（DOE）

实验设计是一种应用统计形式，用于规划，执行和分析一个或一系列受控测试，以了解一个或多个信号在复杂环境中的影响。

RA Fisher在20世纪20年代和30年代开创了DOE，并正式引入了以下概念：

针对控件进行测试（A / B测试）

在测试组和对照组之间随机分配参与者

重复测试以确保结果的准确性和一致性

精心设计和实施的实验增加了方差检测的可能性（良好结果）并降低了误报或否定的可能性。精心设计的实验中最单一的组成部分之一就是样本量很大。

2.统计权力

一小部分样本会增加误报的可能性。

考虑零假设：狗比猫大。如果我使用一只狗和一只猫的样本 – 例如，哈瓦那人和狮子 – 我会得出结论，我的假设是不正确的，猫比狗大。

但是，如果我使用更大的样本量与各种各样的猫和狗，大小的分布将正常化，并且我得出结论，平均而言，狗比猫大。毫不奇怪，测试中最常见的缺陷之一是样本太小。

幸运的是，有一个测试可以确定您的样本是否足够大：统计功效是测试将从控件注册方差的概率。样本量越大，功率越大。

统计力量背后有一些严肃的数学，但这是一个很好的经验法则：如果你认为你的测试已经完成，那么测试时间会更长。

不幸的是，大多数测试软件按测试中监控的印象数收费。随着测试持续时间的延长，这自然会抑制用户运行更长时间的测试作为COG来执行测试。

如果您的预算很少且需要快速获得结果，请尝试与A / B测试并行运行A / A测试。如果A / A测试产生相同或相似的“阳性结果”，您可以假设误报的可能性很高。

3.回归均值

想象一个实验，我们要求十个人翻转一百次硬币并猜测每次翻转的结果。

我们期望一组均匀分布的结果，平均得分为50，正确得分为50，不正确。我们声明参与者在实验中获得前10名成绩，并要求他们再次进行实验。

有可能他们在第二次实验中的结果将再次均匀分布，平均50个正确，50个不正确。第一轮的获胜者在猜测时突然变得更糟吗？

不是。他们在第一轮中是异常值，当再次受到挑战时，他们自然会回归到平均分数。这种现象在在线测试中非常明显。

通常，测试由于新颖效果而不是更好的用户体验而展示出强大的初始结果。如果你让测试延长一段时间，你可能会看到结果回归控制。

结论

用户行为很难改变，并且在短时间内获得惊人的结果往往是误报。

这并不是为了破坏做出改变的新颖效果 – 不断切换的东西可以使消费者更加关注。也就是说，需要大量数据才能使测试具有统计意义，因此您可能正在使用无关紧要的数据集。

如果你接受这个现实，那么你可以花更多的时间来策略性地设计你的实验，以最大化你的假设验证和测试的影响。

免责声明：本文仅代表作者个人观点，与穷思笔记网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。