Crea il tuo design gratis
· Optimization · 4 min di lettura

A/B test degli screenshot con Product Page Experiments

A/B test degli screenshot con Product Page Experiments
TL;DR. Product Page Experiments è lo strumento gratuito di A/B test di Apple per gli screenshot dell'App Store. Funziona, ma diventa lento se lo usi male. Impostalo con un'ipotesi chiara su una variabile alla volta, dagli la dimensione campione di cui ha davvero bisogno e otterrai risultati direzionali affidabili in due settimane. Impostalo con cinque variabili e il 50% del traffico su ciascuna e avrai rumore per sei settimane.

Product Page Experiments (PPE) è arrivato con iOS 15 ed è diventato il metodo standard per fare A/B test dei metadati dell'App Store. Si configura un controllo con fino a tre varianti di trattamento, si assegna il traffico, si sceglie il livello di confidenza e Apple ti dice quale ha vinto. L'infrastruttura è solida; la disciplina su come usarla non lo è sempre.

Cosa misura davvero PPE

PPE misura impressioni e conversioni sulla pagina prodotto. Nello specifico:

  • Impressioni: utenti che sono arrivati sulla tua pagina prodotto.
  • Conversioni: utenti che hanno toccato Ottieni/Acquista dopo essere arrivati.

NON misura il tasso di click dalla lista di ricerca (se gli utenti toccano il tuo risultato di ricerca per arrivare alla pagina). Per quello dovresti testare l'anteprima del risultato di ricerca, che usa i primi 3 pannelli del tuo locale predefinito. PPE può testare l'intero carosello ma misura solo ciò che accade dopo che l'utente è già sulla pagina.

Questo è importante perché le modifiche ai pannelli 4-10 influenzano solo la conversione sulla pagina prodotto, mentre le modifiche ai pannelli 1-3 influenzano sia il click dalla lista di ricerca sia la conversione sulla pagina prodotto. PPE misura il secondo, non il primo.

La regola "una variabile alla volta"

La tentazione è cambiare l'intero carosello tra le varianti. Non farlo. Se la variante A ha nuove didascalie, una nuova inclinazione del dispositivo e una nuova palette, e la variante A vince — non sai quale cambiamento ha causato il miglioramento. E non puoi ragionare su come trasferire l'apprendimento al test successivo.

Disciplina: cambia una cosa per test. Nuova didascalia sul pannello 1, tutto il resto uguale. Nuovo colore di sfondo, didascalie identiche. Nuovo ordine dei pannelli, contenuto identico. Lento, ma ogni test produce un apprendimento su cui costruire. L'iterazione veloce sul rumore non è progresso.

Dimensione campione: la parte che la maggior parte dei team sottovaluta

PPE usa il classico test delle ipotesi frequentista. La dimensione campione di cui hai bisogno dipende da:

  • Il tuo tasso di conversione base (tipicamente 1-5% per le app gratuite, inferiore per quelle a pagamento).
  • L'effetto minimo rilevabile che ti interessa (5% di lift relativo, 10%, 20%?).
  • Il tuo traffico sulla pagina prodotto.

Ordine di grandezza: rilevare un lift relativo del 10% su un tasso di conversione base del 3% richiede circa 20.000 impressioni per variante con confidenza al 95%. Se la tua app riceve 2.000 impressioni sulla pagina prodotto a settimana, sono 10 settimane per test. La maggior parte delle app indie non ha il traffico sufficiente per test statisticamente puliti con effetti di piccole dimensioni. Opzioni realistiche:

  • Testa solo cambiamenti grandi — cambio di palette, ordine dei pannelli, tono delle didascalie radicalmente diverso. Quei test raggiungono la significatività in fretta perché l'effetto è maggiore.
  • Riduci l'allocazione del traffico a una o due varianti invece di tre.
  • Accetta un risultato direzionale, non significativo. Se una variante sta vincendo costantemente per 4 settimane con confidenza al 70%, pubblicala e fai un test diverso dopo.

La struttura del test che funziona

  1. Scegli un'ipotesi. "Didascalie più grandi sul pannello 1 miglioreranno la conversione perché le miniature comprimono le didascalie piccole rendendole illeggibili." Un'ipotesi specifica, non "vediamo cosa funziona".
  2. Progetta la variante A con un solo cambiamento. Stesso carosello, solo la didascalia del pannello 1 è cambiata. Tutto il resto identico.
  3. Assegna il 50% al controllo e il 50% alla variante. I test a due braccia raggiungono la significatività più velocemente di quelli a tre o quattro braccia.
  4. Stabilisci in anticipo la durata del test. "Lo eseguiremo per 4 settimane o fino al 95% di significatività, qualunque cosa venga prima." Resisti alla tentazione di spiare i risultati e fermarti prima.
  5. Documenta il risultato. Che abbia vinto, perso o sia stato inconcludente — scrivilo. Il te futuro eseguirà lo stesso test sei mesi dopo se non lo fai.

Cosa testare, in ordine di priorità

  1. Didascalia del pannello 1. Impatto maggiore perché il pannello 1 domina sia le miniature di ricerca sia la prima impressione sulla pagina prodotto.
  2. Ordine dei pannelli. Nello specifico: con quale funzione apri?
  3. Palette del carosello / scuro vs chiaro. Grande effetto, veloce da testare.
  4. Inclinazione/orientamento del dispositivo. Effetto minore ma facile da impostare.
  5. Tono della didascalia (imperativo vs descrittivo). "Traccia le tue corse" vs "Le tue corse, tracciate". Effetto minore, segnale più difficile da leggere.

Smetti di testare font, lievi variazioni di colore o contenuto dei pannelli 8-10. Quei test quasi mai raggiungono la significatività e gli effetti sottostanti sono abbastanza piccoli da non giustificare il budget di test.

Localizzazione in PPE

PPE supporta varianti per locale. Se esegui un test nel tuo locale predefinito e pubblichi il vincitore, devi comunque applicare manualmente la modifica a ogni variante localizzata del pannello. Scegli un locale con traffico sufficiente a raggiungere la significatività (di solito en-US) e tratta il risultato come guida direzionale globale per gli altri locali. Non eseguire 39 esperimenti separati.

Errori comuni

  • Spiare i risultati e fermarsi prima. La significatività oscilla casualmente durante un test. Fermarsi nel momento in cui una variante sembra stare vincendo porta a conclusioni errate. Stabilisci una durata minima e rispettala.
  • Testare troppe variabili. Le riprogettazioni totali non possono essere testate con A/B in modo pulito. Hai bisogno di un test separato per il nuovo design complessivo (multi-variabile, accettando un po' di confusione) seguito da test di iterazione a variabile singola sul vincitore.
  • Eseguire test durante il rumore stagionale. Il Black Friday, le selezioni dell'App Store, le campagne di marketing aggiungono traffico e rumore. Evita di testare in questi periodi a meno che tu non possa controllare il picco.
  • Ignorare il locale. Un risultato del test US non sempre si generalizza a JP. Usalo come ipotesi di partenza, non come risposta definitiva.

Cosa fare questo mese

  1. Stima le tue esigenze di dimensione campione. Inserisci il tuo traffico e il tasso di conversione base in un calcolatore di dimensioni campione prima di impostare il test.
  2. Scegli un'ipotesi. Scrivila in una frase.
  3. Progetta A vs B con una variabile cambiata. Avvialo in App Store Connect.
  4. Stabilisci la durata dell'esecuzione e metti la data di fine nel calendario.
  5. Documenta il risultato indipendentemente dall'esito.

Cosa leggere dopo

Apri l'editor →