用 Product Page Experiments 对截图做 A/B 测试
Product Page Experiments（PPE）随 iOS 15 上线，此后一直是 A/B 测试 App Store 元数据的事实标准。你可以设置一个对照组和最多三个实验变体、分配流量、选择置信水平，Apple 会告诉你哪个胜出。底层基础设施很可靠，不可靠的是使用它的方法论。
PPE 实际衡量的是什么
PPE 衡量产品页面本身的展示量和转化率。具体来说：
- 展示量：访问了你产品页面的用户。
- 转化率：访问后点击「获取」/「购买」的用户。
PPE 不衡量搜索列表点击率（即用户是否点击搜索结果进入产品页面）。要测试这个，你需要测试搜索结果预览，它使用的是默认语言的前 3 个面板。PPE 可以测试完整轮播图，但只衡量用户已经进入产品页面后发生的事情。
这一点很重要：面板 4-10 的变更只影响产品页面转化率，而面板 1-3 的变更同时影响搜索列表点击率和产品页面转化率。PPE 衡量的是后者，而非前者。
「每次只改一个变量」原则
很多人想在不同变体间改掉整个轮播图。别这样做。如果变体 A 同时改了文案、设备倾斜角度和配色，变体 A 胜出后你根本不知道是哪个改动带来了提升，也无法把这次测试的结论迁移到下一次测试中。
原则：每次只改一件事。面板 1 换新文案，其他不变。换新背景色，文案不变。调整面板顺序，内容不变。虽然慢，但每次测试都能产出一个可积累的结论。在噪音上快速迭代不是进步。
样本量：大多数团队低估的部分
PPE 使用标准频率统计假设检验。所需样本量取决于：
- 基准转化率（免费应用通常为 1-5%，付费应用更低）。
- 你关心的最小可探测效应（相对提升 5%、10%、20%？）。
- 产品页面的流量。
数量级参考：在 3% 基准转化率下探测 10% 的相对提升，每个变体需约 20,000 次展示才能达到 95% 置信度。如果你的应用每周有 2,000 次产品页面展示，每个测试需要 10 周。大多数独立开发者没有足够流量来在小效应量下跑出统计意义上清晰的测试结论。诚实的选项：
- 只测大变化——配色方案、面板顺序、根本不同的文案风格。这类测试效应量更大，更快达到显著性。
- 减少变体数量，只保留一或两个，而不是三个。
- 接受方向性结论，而非统计显著性。如果某个变体在 4 周内以 70% 置信度持续领先，就上线它，转而进行下一个测试。
有效的测试设计
- 确定一个假设。「面板 1 上更大的文案能提升转化率，因为缩略图会把小字压缩到难以辨认。」是一个具体猜测，而非「看看哪个有效」。
- 设计变体 A：只改一处。同样的轮播图，只改面板 1 的文案，其他全部一致。
- 对照组和变体各分配 50% 流量。双臂测试比三臂或四臂更快达到显著性。
- 提前设定测试时长。「我们运行 4 周，或达到 95% 显著性，以先到者为准。」克制中途偷看和提前停止的冲动。
- 记录结果。无论胜出、失败还是无结论——都写下来。如果不记录，半年后你会重复跑同一个测试。
按优先级排序的测试内容
- 面板 1 文案。影响最大，因为面板 1 在搜索缩略图和产品页面第一印象中占主导地位。
- 面板顺序。具体而言：以哪个功能打头？
- 轮播图配色 / 深色与浅色。效果显著，测试成本低。
- 设备倾斜角度 / 方向。效果较小，但设置便捷。
- 文案语气（祈使式 vs 描述式）。「记录你的跑步」vs「你的跑步，已记录」。效果较小，信号也更难读清。
停止测试字体、轻微色彩调整或面板 8-10 的内容。这类测试几乎从未达到显著性，且潜在效果太小，胜出带来的收益不值得测试成本。
PPE 中的本地化
PPE 支持按语言版本设置变体。如果你在默认语言下跑测试并上线胜出方案，仍需手动将改动应用到每个本地化面板。选择流量足以达到显著性的语言版本（通常是 en-US），将结果作为其他语言版本的全局方向性参考。不要同时跑 39 个独立实验。
常见错误
- 中途偷看并提前停止。显著性在测试过程中会随机波动。一看到某个变体领先就停止测试，会得出错误结论。设定最短持续时间并严格执行。
- 同时测试太多变量。整体重设计无法做到干净的 A/B 测试。你需要先针对新设计整体进行一次多变量测试（接受部分混淆），再对胜出者做单变量迭代测试。
- 在季节性噪音中跑测试。黑色星期五、App Store 推荐、营销活动都会带来额外流量和噪音。除非能控制峰值影响，否则避免在这些时期测试。
- 忽视语言版本差异。美国的测试结论不一定适用于日本。把它作为起始假设，而非定论。
本月行动计划
- 估算样本量需求。在设置测试前，将流量和基准转化率代入样本量计算器。
- 确定一个假设，用一句话写下来。
- 设计只改一个变量的 A vs B，在 App Store Connect 中启动。
- 设定运行时长，并把结束日期添加到日历。
- 无论结果如何，记录下来。