A/B-тестирование скриншотов с Product Page Experiments
Product Page Experiments (PPE) появился в iOS 15 и с тех пор стал де-факто стандартом A/B-тестирования метаданных App Store. Ты настраиваешь контрольный вариант и до трёх тестовых, распределяешь трафик, выбираешь уровень достоверности — и Apple сообщает, кто победил. Инфраструктура надёжная; дисциплина использования — не всегда.
Что на самом деле измеряет PPE
PPE измеряет показы и конверсии непосредственно на странице продукта. А именно:
- Показы: пользователи, попавшие на страницу продукта.
- Конверсии: пользователи, нажавшие «Загрузить»/«Купить» после перехода.
PPE НЕ измеряет клики из списка поиска (то есть, нажимают ли пользователи на твой результат, чтобы попасть на страницу). Для этого нужно тестировать предпросмотр в поиске, который использует первые 3 панели из локали по умолчанию. PPE может тестировать всю карусель, но измеряет только то, что происходит после того, как пользователь уже на странице.
Это важно: изменения в панелях 4–10 влияют только на конверсию страницы продукта, тогда как изменения в панелях 1–3 влияют и на клики из поиска, и на конверсию страницы. PPE измеряет второе, но не первое.
Правило «одна переменная за раз»
Соблазн — поменять всю карусель между вариантами. Не стоит. Если вариант A включает новые подписи, новый наклон устройства и новую палитру, и вариант A побеждает — ты не знаешь, что именно дало прирост. И не сможешь перенести этот вывод в следующий тест.
Дисциплина: меняй одну вещь за тест. Новая подпись на панели 1, всё остальное без изменений. Новый фоновый цвет — подписи те же. Новый порядок панелей — контент прежний. Медленно, но каждый тест приносит конкретный вывод, на который можно опираться. Быстрая итерация по шуму — не прогресс.
Объём выборки: то, что большинство команд недооценивает
PPE использует стандартную частотную проверку гипотез. Необходимый объём выборки зависит от:
- Базовой конверсии (обычно 1–5% для бесплатных приложений, ниже для платных).
- Минимального обнаруживаемого эффекта (5% относительный прирост? 10%? 20%?).
- Трафика на страницу продукта.
Порядок величин: чтобы обнаружить 10% относительный прирост при базовой конверсии 3% с достоверностью 95%, нужно ~20 000 показов на вариант. Если у твоего приложения 2 000 показов страницы продукта в неделю — это 10 недель на тест. У большинства инди-приложений нет трафика для статистически чистых тестов при малом размере эффекта. Честные варианты:
- Тестируй только большие изменения — смену палитры, порядок панелей, принципиально другой тон подписей. Такие тесты быстро достигают значимости, потому что эффект больше.
- Сократи количество вариантов до одного-двух вместо трёх.
- Принимай направленный, а не значимый результат. Если вариант стабильно выигрывает четыре недели с достоверностью 70% — выкатывай его и запускай следующий тест.
Дизайн теста, который работает
- Выбери одну гипотезу. «Более крупные подписи на панели 1 улучшат конверсию, потому что в миниатюрах мелкий текст нечитаем.» Конкретное предположение, а не «посмотрим, что сработает».
- Сделай вариант A: одно изменение. Та же карусель, меняется только подпись на панели 1. Всё остальное идентично.
- Выдели 50% контролю, 50% варианту. Двухсторонние тесты достигают значимости быстрее трёх- и четырёхсторонних.
- Задай длительность теста заранее. «Тест идёт 4 недели или до достижения 95% значимости — что наступит раньше.» Не заглядывай в промежуточные результаты и не останавливай тест досрочно.
- Зафиксируй результат. Победил, проиграл или остался неопределённым — запиши. Иначе через полгода ты запустишь тот же тест заново.
Что тестировать, в порядке приоритета
- Подпись на панели 1. Максимальное влияние: панель 1 определяет и поиск в миниатюре, и первое впечатление на странице продукта.
- Порядок панелей. Конкретно: с какой фичи начинать?
- Палитра карусели / тёмный против светлого. Большой эффект, быстро тестировать.
- Наклон и ориентация устройства. Меньший эффект, но дёшево настраивать.
- Тон подписи (императив против описания). «Отслеживай пробежки» vs «Твои пробежки — всегда под рукой». Меньший эффект, чистый сигнал поймать сложнее.
Не трать время на тестирование шрифтов, незначительных сдвигов цвета или контента панелей 8–10. Такие тесты почти никогда не достигают значимости, а сам выигрыш не стоит затраченного тестового бюджета.
Локализация в PPE
PPE поддерживает варианты для каждой локали. Если ты запускаешь тест в локали по умолчанию и выкатываешь победителя, изменение всё равно нужно вручную применить к каждой локализованной версии панелей. Выбери локаль с достаточным трафиком для достижения значимости (как правило, en-US) и считай результат глобальным ориентиром для остальных локалей. Не запускай 39 отдельных экспериментов.
Частые ошибки
- Промежуточные просмотры и досрочная остановка. Значимость случайно колеблется в ходе теста. Если остановить его в момент, когда вариант выглядит победителем, выводы окажутся ошибочными. Задай минимальную длительность и соблюдай её.
- Слишком много переменных. Полный редизайн нельзя протестировать в A/B-формате чисто. Сначала нужен отдельный тест нового дизайна в целом (много переменных, допускай смешение факторов), затем однопеременные итерации на победителе.
- Тесты в периоды сезонного шума. Black Friday, попадание в подборку App Store, маркетинговые кампании — всё это добавляет трафик и шум. Избегай тестирования в эти периоды, если не можешь контролировать всплески.
- Игнорирование локали. Результат US-теста не всегда переносится на JP. Используй его как отправную гипотезу, а не окончательный ответ.
Что сделать в этом месяце
- Оцени нужный объём выборки. Введи трафик и базовую конверсию в калькулятор выборки перед запуском теста.
- Выбери одну гипотезу. Запиши её одним предложением.
- Сделай A против B с одной изменённой переменной. Запусти в App Store Connect.
- Задай длительность теста и занеси дату окончания в календарь.
- Зафиксируй результат независимо от исхода.