A/A 测试:您需要了解的内容

当然,我们都知道 A/B 测试可以做什么。 但什么是 A/A 测试呢? 有什么不同?

通过 A/B 测试,我们知道我们可以获取一个网页(我们的“控制”),创建该页面的变体(新的“变体”),并向我们的网站访问者提供这两种不同的体验,以确定表现越好的人。 A/B 测试过程也称为拆分测试,它根据一组指标来比较原始版本与变体的性能,以了解两者中哪一个产生更好的结果。

借助 Optimizely Web Experimentation 等实验平台,我们中的许多人也认识到能够在不对后端代码进行任何更改的情况下测试网页的两种变体的不可否认的价值。 谈论速度实现价值!

那么,什么是 A/A 测试呢? 为什么我们需要将这种类型的“测试”纳入我们实验计划的规划和策略阶段?

什么是 A/A 测试?

A/A 测试先于实验平台上的所有其他测试,本质上充当 练习运行你的实验程序 与 A/B 测试不同,A/A 测试不会创建与原始网页不同的变体。 相反,A/A 模型会根据自身的副本测试原始网页,以便在平台上进行实际测试之前检查可能出现的任何问题。

因此,虽然 A/B 测试会比较网页的两个不同版本(无论两者之间的差异有多么微小); An A/A 测试比较完全相同的网页的两个版本。 A/A 测试中的对照或变体之间没有区别(版本 A = 版本 A)。 您基本上是在针对网页本身进行测试!

当然,这就引出了一个问题…

为什么 A/A 测试有用?

A/A 测试的目的主要有两个:

  1. 平台级:测试网络实验平台的功能
  2. 实验级:测试数据采集和测试设置的有效性

因此,A/A 测试 让您确信您的平台已准备好执行您的实验计划 在广泛使用之前。

何时使用 A/A 测试

因此,A/A 测试应该是您在网站上实施 Optimizely Javascript 标签后立即启动的第一个测试。

注意:如果您有多个网站和/或使用单页应用程序 (SPA) 网页,则每当标签新实现到标头代码中时,您都应该执行 A/A 测试,即使在所有体验中使用相同的标签。

如何设置 A/A 测试

安装标签后,您就可以开始 A/A 测试设置。 与构建 A/B 测试的方式类似,A/A 测试的创建通过单击 创建新实验 优化实验右上角的按钮,然后选择 A/B 测试 从下拉菜单中。 (是的,A/B;但在本次测试中,我们的 B 仍将是 A。)

A/A 测试的设置相当简单且快速,但应考虑此类测试中应包含的主要和次要指标。

A/A 测试指标

虽然包含尽可能多的指标可能很诱人,但不要这样做! 请记住,Optimizely 建议每次测试的总指标不超过 5 个,以避免测试滞后:主要指标加上 2-4 个辅助指标。

A/A 测试中的指标旨在 查找捕获的数据之间是否存在明显差异 来自两个网页。 换句话说,该测试可让您将对照 A 结果与变体 A 结果进行比较,以确保数据相对相同。

页面指​​标

页面级指标,例如 页面预览跳出率 通常包含在 A/A 测试中,因为这些指标捕获基本但重要的数据点。 从这些指标收集的数据可以帮助您快速检查您的网站是否通过 Javascript 代码向 Optimizely Web Experimentation 发送数据。

如果 A/A 测试的结果中没有记录页面浏览量,那么我们立即知道有问题需要解决。

注意:要解决此问题,请仔细检查 Optimizely 标记的实施,以确保它出现在您网站的标头代码中。

点击和自定义指标

跟踪特定用户操作的指标也可能有助于添加到您的 A/A 测试中。 这些指标可能包括 点击事件 和/或一个 交易事件 它可以让您知道实验平台是否正确捕获了特定的用户操作。

根据您的网站,其中一些事件也可能是自定义开发的,这进一步说明了将它们纳入您的 A/A 测试,以确保这些自定义事件已开发为提供您期望看到的数据类型。

作为一般经验法则,您将需要使用可能出现在实验计划的大多数测试中的指标。 添加最有意义的指标:可以帮助您验证实验平台的功能的指标以及为计划的测试收集数据的指标的准确性。

需要帮助决定吗? 阅读:“如何确定选择哪些测试指标”

在 A/A 测试中我应该注意什么?

A/A 测试的理想结果是看到网页的两个相同版本之间的相似结果。 由于 A/A 测试将两个相同网页的指标进行相互比较,因此期望它们之间的指标值不会有差异。

成功的 A/A 测试将显示对照 (A) 和“变体”(A) 之间几乎相同的结果。

虽然收集的结果可能不 确切地 同样,对照 A 的结果与变体 A 的结果之间的任何差异都应该非常轻微。 如果在任何指标的 A/A 测试结果中发现任何重大差异,那么我们知道应该仔细查看该指标的设置。 (同样,如果浏览量根本没有记录在平台的结果中,那么我们的第一步就是检查网站上标签的安装。)

零统计显着性

两次经历之间的相似结果也应该防止任何指标达到统计显着性。 因此,当我们检查 A/A 测试的结果时,统计显着性可以作为有用的指导。

理想情况下,我们正在寻找 A/A 测试期间所有指标的“平线”统计显着性。 如果统计显着性激增,那么我们可以标记要解决的问题。

提示:使用 Optimizely Web 实验中的以下图表视图来查找任何 A/A 测试指标的统计显着性上升。

A/A 测试用例

A/A 测试比“测试”本身更有用,它是包含在实验计划中的实用步骤,原因有几个。 例如,您可以使用此测试来:

  • 确认您的实验平台的功能
  • 确定在特定网页上执行测试的可行性
  • 验证软件性能指标的准确性
  • 检查主要和次要指标的跟踪和分析
  • 获取这些指标的基线数据,可用于预测目标

或者,当然,以上所有! 正如您所看到的,A/A 测试不仅可以验证软件的准备情况,还可以让您抽查各个测试的设置。 在第一次 A/B 或多变量测试之前,使用此类测试作为“预演”,让您高枕无忧,成功启动实验计划!

2024 年 4 月 15 日

1713252204
#测试您需要了解的内容
2024-04-15 19:46:35

Leave a Reply

Your email address will not be published. Required fields are marked *

近期新闻​

编辑精选​