Kostenloses Design holen
· Optimierung · 4 Min. Lesezeit

Screenshots A/B-testen mit Product Page Experiments

Screenshots A/B-testen mit Product Page Experiments
TL;DR. Product Page Experiments ist Apples kostenloses A/B-Test-Tool für App Store Screenshots. Es funktioniert – aber es ist langsam, wenn du es schlecht einsetzt. Mit einer klaren Hypothese zu einer Variable nach der anderen, der tatsächlich benötigten Stichprobengröße und dem richtigen Testdesign bekommst du in zwei Wochen saubere Richtungsergebnisse. Testest du fünf Variablen gleichzeitig mit je 50 % Traffic, hast du sechs Wochen lang Rauschen.

Product Page Experiments (PPE) wurde mit iOS 15 eingeführt und ist seitdem der de-facto-Standard für A/B-Tests von App Store Metadaten. Du richtest eine Kontrollgruppe plus bis zu drei Testvarianten ein, verteilst den Traffic, wählst ein Konfidenzniveau – und Apple sagt dir, welche gewonnen hat. Die Infrastruktur ist solide; die Disziplin im Umgang damit nicht immer.

Was PPE tatsächlich misst

PPE misst Impressionen und Conversions auf der Produktseite selbst. Konkret:

  • Impressionen: Nutzer, die auf deine Produktseite gelangt sind.
  • Conversions: Nutzer, die auf der Seite auf „Laden“/„Kaufen“ getippt haben.

PPE misst NICHT die Klickrate in der Suchergebnisliste (ob Nutzer dein Suchergebnis antippen, um überhaupt auf die Seite zu gelangen). Dafür müsstest du die Suchergebnis-Vorschau testen, die die ersten 3 Panels deiner Standard-Sprache nutzt. PPE kann das gesamte Karussell testen, misst aber nur, was passiert, nachdem der Nutzer bereits auf der Seite ist.

Das ist wichtig, weil Änderungen an den Panels 4–10 nur die Conversion auf der Produktseite beeinflussen, während Änderungen an den Panels 1–3 sowohl die Klickrate in der Suchliste als auch die Conversion auf der Produktseite betreffen. PPE misst das Zweite, nicht das Erste.

Die Regel: eine Variable nach der anderen

Die Versuchung ist groß, das gesamte Karussell zwischen den Varianten auszutauschen. Tu das nicht. Wenn Variante A neue Untertitel, eine neue Geräteneigung und eine neue Farbpalette hat und Variante A gewinnt – weißt du nicht, welche Änderung den Uplift verursacht hat. Du kannst das Gelernte auch nicht sinnvoll auf deinen nächsten Test übertragen.

Disziplin: pro Test eine Sache ändern. Neuer Untertitel auf Panel 1, alles andere gleich. Neue Hintergrundfarbe, Untertitel identisch. Neue Panel-Reihenfolge, Inhalt identisch. Langsam, aber jeder Test liefert eine Erkenntnis, auf der du aufbauen kannst. Schnelle Iteration auf Rauschen ist kein Fortschritt.

Stichprobengröße: der Teil, den die meisten Teams unterschätzen

PPE verwendet frequentistische Hypothesentests. Die benötigte Stichprobengröße hängt ab von:

  • Deiner Baseline-Conversion-Rate (typischerweise 1–5 % bei kostenlosen Apps, niedriger bei kostenpflichtigen).
  • Dem kleinsten Effekt, der dir wichtig ist (5 % relativer Uplift, 10 %, 20 %).
  • Deinem Traffic auf die Produktseite.

Größenordnung: Um einen 10%igen relativen Uplift auf einer Baseline-Conversion von 3 % zu erkennen, brauchst du ca. 20.000 Impressionen pro Variante bei 95 % Konfidenz. Wenn deine App 2.000 Produktseiten-Impressionen pro Woche erhält, sind das 10 Wochen pro Test. Die meisten Indie-Apps haben nicht genug Traffic für statistisch saubere Tests bei kleinen Effektgrößen. Ehrliche Optionen:

  • Teste nur große Änderungen – Farbpalettenwechsel, Panel-Reihenfolge, grundlegend anderer Untertitel-Ton. Diese Tests erreichen Signifikanz schnell, weil die Effektgröße größer ist.
  • Reduziere die Traffic-Aufteilung auf eine oder zwei Varianten statt drei.
  • Akzeptiere Tendenz-Ergebnisse statt signifikante. Wenn eine Variante über 4 Wochen hinweg konstant mit 70 % Konfidenz vorne liegt, veröffentliche sie und starte einen anderen Test.

Das Testdesign, das funktioniert

  1. Eine Hypothese wählen. „Größere Untertitel auf Panel 1 verbessern die Conversion, weil Thumbnails kleinere Untertitel unleserlich komprimieren.“ Eine konkrete Vermutung, kein „Schauen wir mal, was funktioniert“.
  2. Variante A gestalten: eine Änderung. Dasselbe Karussell, nur der Untertitel auf Panel 1 wird geändert. Alles andere identisch.
  3. 50 % auf Kontrolle, 50 % auf Variante aufteilen. Zwei-Arm-Tests erreichen Signifikanz schneller als Drei- oder Vier-Arm-Tests.
  4. Testdauer im Voraus festlegen. „Wir führen diesen Test 4 Wochen lang durch oder bis 95 % Signifikanz erreicht ist – je nachdem, was zuerst eintritt.“ Widerstehe dem Drang, zwischendurch auszuwerten und früh abzubrechen.
  5. Das Ergebnis dokumentieren. Ob gewonnen, verloren oder nicht aussagekräftig – halte es schriftlich fest. Sonst wirst du denselben Test in sechs Monaten erneut starten.

Was du testen solltest, nach Priorität

  1. Untertitel auf Panel 1. Größter Einfluss, weil Panel 1 sowohl in Such-Thumbnails als auch beim ersten Eindruck auf der Produktseite dominiert.
  2. Panel-Reihenfolge. Konkret: Mit welchem Feature steigst du ein?
  3. Karussell-Palette / dunkel vs. hell. Großer Effekt, schnell zu testen.
  4. Geräteneigung / Ausrichtung. Kleinerer Effekt, aber günstig einzurichten.
  5. Ton des Untertitels (imperativ vs. deskriptiv). „Track your runs“ vs. „Your runs, tracked“. Kleinerer Effekt, Signal schwieriger sauber zu lesen.

Höre auf, Schriften, minimale Farbverschiebungen oder den Inhalt der Panels 8–10 zu testen. Diese Tests erreichen fast nie Signifikanz, und die zugrundeliegenden Effekte sind zu klein, um den Testaufwand zu rechtfertigen.

Lokalisierung in PPE

PPE unterstützt Varianten pro Sprache. Wenn du einen Test in deiner Standard-Sprache durchführst und den Gewinner veröffentlichst, musst du die Änderung noch manuell auf jede lokalisierte Variante des Panels übertragen. Wähle eine Sprache mit genug Traffic, um Signifikanz zu erreichen (in der Regel en-US), und behandle das Ergebnis als übergeordnete Richtungsvorgabe für andere Sprachen. Starte nicht 39 separate Experimente.

Häufige Fehler

  • Vorzeitiges Auswerten und Abbrechen. Signifikanz schwankt während eines Tests zufällig. Wer abbricht, sobald eine Variante vorne zu liegen scheint, kommt zu falschen Schlüssen. Lege eine Mindestlaufzeit fest und halte sie ein.
  • Zu viele Variablen gleichzeitig testen. Komplettüberarbeitungen lassen sich nicht sauber A/B-testen. Du brauchst erst einen separaten Test für das neue Design insgesamt (mehrere Variablen, mit Konfundierung), gefolgt von Einzelvariablen-Tests auf dem Gewinner.
  • Tests durch saisonales Rauschen führen. Black Friday, App-Store-Featuring und Marketingkampagnen bringen zusätzlichen Traffic und Rauschen. Vermeide Tests in diesen Phasen, es sei denn, du kannst die Spitze kontrollieren.
  • Sprache ignorieren. Ein US-Testergebnis lässt sich nicht immer auf JP übertragen. Nutze es als Ausgangshypothese, nicht als endgültige Antwort.

Was du diesen Monat tun solltest

  1. Schätze deinen Stichprobenbedarf. Trage deinen Traffic und deine Baseline-Conversion in einen Stichprobengrößen-Rechner ein, bevor du den Test einrichtest.
  2. Wähle eine Hypothese. Schreibe sie in einem Satz auf.
  3. Gestalte A vs. B mit einer geänderten Variable. Richte es in App Store Connect ein.
  4. Lege die Laufzeit fest und trag das Enddatum in deinen Kalender ein.
  5. Dokumentiere das Ergebnis – unabhängig vom Ausgang.

Was du als Nächstes liest

Editor öffnen →