MDE（最小可检测效应）
Posted: Mon Dec 09, 2024 4:50 am
MDE 是可以可靠检测到的两个测试版本（A 和 B）之间的最小差异。在流量很少的情况下试验数字业务是一个非常重要的支柱。
在高流量业务中，可以检测变体之间的微小差异，例如更改按 荷兰 whatsapp 号码数据 钮的颜色或位置。然而，在流量较小的业务中，必须考虑到小的改变可能不足以实现可靠的结果，或者需要很长时间才能获得可靠的结果。
A/B 测试中可检测到的最小影响
当流量和时间较多时，低 MDE 会提供最低限度的可靠结果（中心图像）。另一方面，当时间和流量稀缺时，需要非常高的 MDE才能获得可靠的结果。
置信度
在大多数测试中，使用95% 的置信水平，这意味着结果有 95% 的概率不是偶然结果。
统计功效是测试检测真实效果（如果存在）的能力。一般采用80%的统计功效。在低流量环境中，我们可能必须降低该值才能获得结果，但这也意味着接受更高的误报风险。
您可以使用Speero by CXL计算器根据行业标准进行计算。
测试时间
尽管可能会倾向于将测试延长很长一段时间以获取更多数据，但这可能会导致问题。如果测试持续太长时间，外部因素（例如竞争对手的促销或网站上的特定下降）可能会改变结果。
一般来说，建议将测试持续时间限制在2~3周左右，以尽量减少外界因素的干扰。
实验中的策略调整
A/B 实验的关键在于与我们想要获得的潜在学习相比，我们愿意承担的潜在风险（应用更剧烈的改变、研究投资、统计严谨性等）。在流量有限的情况下，潜在的风险会增加，以至于我们希望保持相同的学习量。
A/B 实验的风险
增加 MDE
由于在低流量的情况下很难检测到微小的变化，因此有必要瞄准更剧烈的变化。例如，不改变按钮大小等次要细节，而是可以尝试更极端的设计变化，例如完全重新设计按钮，或修改其操作，这会引起用户更加两极分化的反应。请记住，变化越大，可检测到的效果就越显着，从而得到更清晰的结果。
在高流量业务中，可以检测变体之间的微小差异，例如更改按 荷兰 whatsapp 号码数据 钮的颜色或位置。然而，在流量较小的业务中，必须考虑到小的改变可能不足以实现可靠的结果，或者需要很长时间才能获得可靠的结果。
A/B 测试中可检测到的最小影响
当流量和时间较多时，低 MDE 会提供最低限度的可靠结果（中心图像）。另一方面，当时间和流量稀缺时，需要非常高的 MDE才能获得可靠的结果。
置信度
在大多数测试中，使用95% 的置信水平，这意味着结果有 95% 的概率不是偶然结果。
统计功效是测试检测真实效果（如果存在）的能力。一般采用80%的统计功效。在低流量环境中，我们可能必须降低该值才能获得结果，但这也意味着接受更高的误报风险。
您可以使用Speero by CXL计算器根据行业标准进行计算。
测试时间
尽管可能会倾向于将测试延长很长一段时间以获取更多数据，但这可能会导致问题。如果测试持续太长时间，外部因素（例如竞争对手的促销或网站上的特定下降）可能会改变结果。
一般来说，建议将测试持续时间限制在2~3周左右，以尽量减少外界因素的干扰。
实验中的策略调整
A/B 实验的关键在于与我们想要获得的潜在学习相比，我们愿意承担的潜在风险（应用更剧烈的改变、研究投资、统计严谨性等）。在流量有限的情况下，潜在的风险会增加，以至于我们希望保持相同的学习量。
A/B 实验的风险
增加 MDE
由于在低流量的情况下很难检测到微小的变化，因此有必要瞄准更剧烈的变化。例如，不改变按钮大小等次要细节，而是可以尝试更极端的设计变化，例如完全重新设计按钮，或修改其操作，这会引起用户更加两极分化的反应。请记住，变化越大，可检测到的效果就越显着，从而得到更清晰的结果。