Product Page Experiments ile ekran görüntüsü A/B testi

Product Page Experiments (PPE), iOS 15 ile birlikte sunuldu ve o tarihten bu yana App Store meta verilerini A/B test etmenin fiili yolu haline geldi. Bir kontrol grubu ve en fazla üç tedavi varyantı oluşturuyorsun, trafiği dağıtıyorsun, güven düzeyini seçiyorsun; Apple hangisinin kazandığını söylüyor. Altyapı sağlam; nasıl kullanılacağına dair disiplin her zaman öyle değil.

PPE gerçekte neyi ölçer

PPE, ürün sayfasındaki gösterimleri ve dönüşümleri ölçer. Özellikle:

• Gösterimler: ürün sayfana gelen kullanıcılar.
• Dönüşümler: geldikten sonra Al/Satın Al'a dokunan kullanıcılar.

Arama listesi tıklamasını (kullanıcıların önce sayfana gitmek için arama sonucuna dokunup dokunmadığını) ÖLÇMEZ. Bunun için, varsayılan yerel ayarının ilk 3 panelini kullanan arama sonucu önizlemesini test etmen gerekir. PPE tam karuseli test edebilir ama yalnızca kullanıcı zaten sayfada olduktan sonra ne olduğunu ölçer.

Bu önemlidir; çünkü 4-10. panel değişiklikleri yalnızca ürün sayfası dönüşümünü etkilerken, 1-3. panel değişiklikleri hem arama listesi tıklamasını hem de ürün sayfası dönüşümünü etkiler. PPE ikincisini ölçer, birincisini değil.

"Bir seferde tek değişken" kuralı

Cazip olan şey, varyantlar arasında tüm karuseli değiştirmektir. Yapma. Eğer A varyantında yeni metinler, yeni cihaz açısı ve yeni bir palet varsa ve A varyantı kazanırsa — hangi değişikliğin artışa yol açtığını bilemezsin. Ayrıca öğrenmeyi bir sonraki testine aktarma konusunda da mantık yürütemezsin.

Disiplin: test başına bir şeyi değiştir. 1. paneldeki yeni metin, geri kalan her şey aynı. Yeni arka plan rengi, metinler özdeş. Yeni panel sırası, içerik özdeş. Yavaş, ama her test üzerine inşa edebileceğin bir öğrenme üretiyor. Gürültüde hızlı iterasyon ilerleme değildir.

Örneklem boyutu: çoğu ekibin küçümsediği kısım

PPE standart frekansçı hipotez testini kullanır. İhtiyaç duyduğun örneklem boyutu şunlara bağlıdır:

• Temel dönüşüm oranın (ücretsiz uygulamalar için genellikle %1-5, ücretli için daha düşük).
• Önemsediğin minimum tespit edilebilir etki (%5 göreli artış, %10, %20?).
• Ürün sayfana gelen trafik.

Büyüklük sırası: %3 temel dönüşümde %10 göreli artışı tespit etmek, %95 güven için varyant başına yaklaşık 20.000 gösterim gerektirir. Uygulaман haftada 2.000 ürün sayfası gösterimi alıyorsa, test başına 10 hafta demektir. Çoğu bağımsız uygulamanın küçük etki boyutlarında istatistiksel olarak temiz testler yürütecek trafiği yoktur. Dürüst seçenekler:

• Yalnızca büyük değişiklikleri test et — palet değişimleri, panel sırası, temelden farklı metin tonu. Bu testler etki boyutu daha büyük olduğundan hızla anlamlılığa ulaşır.
• Trafik dağılımını üç yerine bir veya iki varyantla sınırla.
• Anlamlı değil, yönlü olanı kabul et. Bir varyant 4 hafta boyunca %70 güvenle tutarlı biçimde kazanıyorsa yayınla ve farklı bir test çalıştır.

İşe yarayan test tasarımı

1. Tek bir hipotez seç. "1. paneldeki daha büyük metinler dönüşümü artıracak; çünkü küçük resimler daha küçük metinleri okunamaz hale getiriyor." Spesifik bir tahmin; "ne işe yarar bakalım" değil.
2. A varyantını tasarla: tek değişiklik. Aynı karusel, yalnızca 1. panelin metni değiştirildi. Geri kalan her şey özdeş.
3. %50'yi kontrole, %50'yi varyanta dağıt. İki kollu testler, üç veya dört kollu testlerden daha hızlı anlamlılığa ulaşır.
4. Test süresini önceden belirle. "Bunu 4 hafta boyunca ya da %95 anlamlılığa ulaşana kadar, hangisi önce gelirse o kadar çalıştıracağız." Gözetlemekten ve erken durdurmaktan kaçın.
5. Sonucu belgele. Kazandı, kaybetti veya sonuçsuz kaldı — yaz. Belgelemezsen altı ay sonra aynı testi tekrar yaparsın.

Öncelik sırasına göre ne test edilir

1. 1. panel metni. Hem arama küçük resimlerinde hem de ürün sayfası ilk izleniminde 1. panel baskın olduğu için en büyük etkiyi yaratır.
2. Panel sırası. Özellikle: hangi özelliğe öncelik veriyorsun?
3. Karusel paleti / koyu vs açık. Büyük etki, hızlı test.
4. Cihaz açısı / yönü. Daha küçük etki ama kurulumu ucuz.
5. Metin tonu (emir vs tanımlayıcı). "Koşularını takip et" vs "Koşuların, takip edildi". Daha küçük etki, temiz sinyal okumak daha güç.

Yazı tipi, küçük renk değişimleri veya 8-10. panel içeriği için test yapmayı bırak. Bu testler neredeyse hiç anlamlılığa ulaşmaz ve altta yatan etkiler, kazancın test bütçesine değmeyeceği kadar küçüktür.

PPE'de yerelleştirme

PPE, yerel ayar bazında varyantları destekler. Varsayılan yerel ayarında bir test çalıştırıp kazananı yayınlarsan, değişikliği panelin her yerelleştirilmiş varyantına el ile uygulamak zorunda kalırsın. Anlamlılığa ulaşmak için yeterli trafiğe sahip bir yerel ayar seç (genellikle en-US) ve sonucu diğer yerel ayarlar için genel yönlü rehber olarak değerlendir. 39 ayrı deney yürütme.

Yaygın hatalar

• Gözetlemek ve erken durdurmak. Test sırasında anlamlılık rastgele dalgalanır. Bir varyant kazanıyor gibi görünür görünmez durdurmak yanlış sonuçlara yol açar. Minimum bir süre belirle ve buna uy.
• Çok fazla değişkeni test etmek. Toptan yeniden tasarımlar temiz A/B testine tabi tutulamaz. Yeni tasarımın bütünü için ayrı bir test (çok değişkenli, bazı karışıklıkları kabul et) ve ardından kazanan üzerinde tek değişkenli iterasyon testleri yapman gerekir.
• Testleri mevsimsel gürültü içinde yürütmek. Black Friday, App Store öne çıkarmaları, pazarlama kampanyaları trafiğe ve gürültüye eklenir. Zirveyi kontrol etmediğin sürece bu dönemlerde test yapmaktan kaçın.
• Yerel ayarı görmezden gelmek. ABD testi sonuçları her zaman Japonya'ya genellenmez. Bunu kesin bir cevap değil, başlangıç hipotezi olarak kullan.

Bu ay ne yapmalısın

1. Örneklem boyutu ihtiyaçlarını tahmin et. Testi kurmadan önce trafiğini ve temel dönüşümünü bir örneklem boyutu hesaplayıcısına gir.
2. Tek bir hipotez seç. Tek cümlede yaz.
3. A vs B'yi tek değişkenle tasarla. App Store Connect'te başlat.
4. Çalışma süresini belirle ve bitiş tarihini takvimine ekle.
5. Sonucu, sonuç ne olursa olsun belgele.

Sırada ne okuyabilirsin

• Dönüşüm sağlayan metinler
• İlk 100'deki bir ekran görüntüsü nasıl analiz edilir

Editörü aç →