Testy A/B zrzutów ekranu za pomocą Product Page Experiments

Product Page Experiments (PPE) pojawiły się w iOS 15 i od tej pory są domyślnym sposobem testowania A/B metadanych App Store. Konfigurujesz kontrolę i do trzech wariantów, przydzielasz ruch, wybierasz poziom ufności, a Apple mówi ci, który wygrał. Infrastruktura jest solidna; dyscyplina wokół sposobu korzystania z niej nie zawsze.

Co PPE właściwie mierzy

PPE mierzy wyświetlenia i konwersje na samej stronie produktu. Konkretnie:

• Wyświetlenia: użytkownicy, którzy trafili na stronę produktu.
• Konwersje: użytkownicy, którzy po wylądowaniu kliknęli Pobierz/Kup.

Nie mierzy kliknięć z listy wyników wyszukiwania (tego, czy użytkownicy w ogóle klikają twój wynik wyszukiwania, żeby trafić na stronę). Do tego musisz testować podgląd w wynikach wyszukiwania, który wykorzystuje pierwsze 3 panele twojej domyślnej wersji językowej. PPE może testować całą karuzelę, ale mierzy tylko to, co dzieje się po tym, jak użytkownik jest już na stronie.

To ważne, bo zmiany w panelach 4–10 wpływają tylko na konwersję strony produktu, natomiast zmiany w panelach 1–3 wpływają zarówno na kliknięcia z listy wyników wyszukiwania, jak i na konwersję strony produktu. PPE mierzy drugie, nie pierwsze.

Zasada „jedna zmienna naraz”

Kusi, żeby zmieniać całą karuzelę między wariantami. Nie rób tego. Jeśli wariant A ma nowe podpisy, nowe nachylenie urządzenia i nową paletę kolorów, i wariant A wygrywa — nie wiesz, która zmiana spowodowała wzrost. Nie możesz też rozumować o przeniesieniu wniosków do kolejnego testu.

Dyscyplina: zmieniaj jedną rzecz na test. Nowy podpis w panelu 1, wszystko inne bez zmian. Nowy kolor tła, podpisy identyczne. Nowa kolejność paneli, treść identyczna. Wolno, ale każdy test daje wniosek, na którym można budować. Szybka iteracja na szumie to nie jest postęp.

Wielkość próby: część, którą większość zespołów niedocenia

PPE używa standardowego częstościowego testowania hipotez. Potrzebna ci wielkość próby zależy od:

• Bazowego wskaźnika konwersji (zazwyczaj 1–5% dla bezpłatnych aplikacji, niższego dla płatnych).
• Minimalnego wykrywalnego efektu, który cię interesuje (wzrost względny o 5%, 10%, 20%?).
• Twojego ruchu na stronie produktu.

Rząd wielkości: wykrycie wzrostu względnego o 10% przy bazowej konwersji 3% wymaga ~20 000 wyświetleń na wariant przy 95% ufności. Jeśli twoja aplikacja dostaje 2000 wyświetleń strony produktu tygodniowo, to 10 tygodni na test. Większość niezależnych aplikacji nie ma ruchu, który pozwala prowadzić statystycznie czyste testy przy małych efektach. Uczciwe opcje:

• Testuj tylko duże zmiany — zamianę palety, kolejność paneli, fundamentalnie inny ton podpisów. Takie testy szybciej osiągają istotność, bo efekt jest większy.
• Ogranicz alokację ruchu do jednego lub dwóch wariantów zamiast trzech.
• Przyjmij wynik kierunkowy, nie istotny statystycznie. Jeśli wariant wygrywa konsekwentnie przez 4 tygodnie przy 70% ufności, wdróż go i uruchom kolejny test.

Projekt testu, który działa

1. Wybierz jedną hipotezę. „Większe podpisy w panelu 1 poprawią konwersję, bo miniatury sprawiają, że małe podpisy są nieczytelne.” Konkretne przypuszczenie, nie „zobaczmy, co działa”.
2. Zaprojektuj wariant A: jedna zmiana. Ta sama karuzela, zmieniony jest tylko podpis w panelu 1. Wszystko inne identyczne.
3. Przydziel 50% kontroli, 50% wariantowi. Testy dwuramienne osiągają istotność szybciej niż trzy- czy czteroramienne.
4. Ustaw czas trwania testu z góry. „Będziemy go prowadzić przez 4 tygodnie lub do osiągnięcia 95% istotności, co nastąpi pierwsze.” Oprzyj się pokusie podglądania i wczesnego zatrzymania.
5. Udokumentuj wynik. Bez względu na to, czy wygrał, przegrał czy był niekonkluzywny — zapisz to. Inaczej za sześć miesięcy przeprowadzisz ten sam test od nowa.

Co testować, według priorytetów

1. Podpis w panelu 1. Największy wpływ, bo panel 1 dominuje zarówno w miniaturach wyszukiwania, jak i pierwszym wrażeniu ze strony produktu.
2. Kolejność paneli. Konkretnie: którą funkcją zaczynasz?
3. Paleta karuzeli / ciemna vs jasna. Duży efekt, szybkie do przetestowania.
4. Nachylenie/orientacja urządzenia. Mniejszy efekt, ale tani w konfiguracji.
5. Ton podpisu (rozkazujący vs opisowy). „Śledź swoje biegi” vs „Twoje biegi, śledzone”. Mniejszy efekt, trudniejszy do odczytania czysty sygnał.

Przestań testować czcionki, drobne przesunięcia kolorów czy treść paneli 8–10. Takie testy prawie nigdy nie osiągają istotności, a efekty są na tyle małe, że wygrana nie jest warta budżetu testowego.

Lokalizacja w PPE

PPE obsługuje warianty per wersja językowa. Jeśli uruchamiasz test w domyślnej wersji językowej i wdrażasz zwycięzcę, musisz nadal ręcznie zastosować zmianę w każdym zlokalizowanym wariancie panelu. Wybierz wersję językową z wystarczającym ruchem do osiągnięcia istotności (zazwyczaj en-US) i traktuj wynik jako globalny przewodnik kierunkowy dla innych wersji. Nie uruchamiaj 39 oddzielnych eksperymentów.

Typowe błędy

• Podglądanie i wczesne zatrzymanie. Istotność statystyczna waha się losowo podczas testu. Zatrzymanie się w momencie, gdy wariant wygląda na zwycięzcę, prowadzi do błędnych wniosków. Wyznacz minimalny czas trwania i go przestrzegaj.
• Testowanie zbyt wielu zmiennych. Całkowite przeprojektowania nie można testować A/B w sposób czysty. Potrzebujesz osobnego testu dla nowego projektu ogólnie (wielozmienny, zaakceptuj pewne zamieszanie), a potem testów iteracyjnych z jedną zmienną na zwycięzcy.
• Prowadzenie testów przez sezonowy szum. Black Friday, wyróżnienie przez App Store, kampanie marketingowe — wszystko to dodaje ruch i szum. Unikaj testowania w tym czasie, chyba że kontrolujesz wzrost.
• Ignorowanie wersji językowej. Wynik testu w USA nie zawsze uogólnia się na JP. Traktuj go jako punkt startowy hipotezy, nie jako rozstrzygniętą odpowiedź.

Co zrobić w tym miesiącu

1. Oszacuj potrzebną wielkość próby. Wstaw swój ruch i bazową konwersję do kalkulatora wielkości próby przed uruchomieniem testu.
2. Wybierz jedną hipotezę. Zapisz ją w jednym zdaniu.
3. Zaprojektuj A vs B z jedną zmienioną zmienną. Uruchom w App Store Connect.
4. Ustal czas trwania i wpisz datę końcową do kalendarza.
5. Udokumentuj wynik niezależnie od rezultatu.

Co przeczytać dalej

• Podpisy, które konwertują
• Jak analizować zrzut ekranu z top 100

Otwórz edytor →