Dapatkan desain gratismu
· Optimasi · 4 menit baca

A/B testing tangkapan layar dengan Product Page Experiments

A/B testing tangkapan layar dengan Product Page Experiments
TL;DR. Product Page Experiments adalah alat A/B testing gratis Apple untuk tangkapan layar App Store. Alat ini bekerja, tapi lambat jika dijalankan sembarangan. Jalankan dengan hipotesis yang jelas pada satu variabel sekaligus, beri ukuran sampel yang benar-benar dibutuhkan, dan kamu mendapat hasil terarah yang bersih dalam dua minggu. Jalankan dengan lima variabel dan 50% traffic di masing-masing, dan kamu hanya mendapat kebisingan selama enam minggu.

Product Page Experiments (PPE) hadir di iOS 15 dan sejak itu menjadi cara standar untuk A/B testing metadata App Store. Kamu menyiapkan kontrol ditambah hingga tiga varian perlakuan, mengalokasikan traffic, memilih tingkat kepercayaan, dan Apple memberi tahu mana yang menang. Infrastrukturnya solid; disiplin dalam cara menggunakannya tidak selalu begitu.

Apa yang sebenarnya diukur PPE

PPE mengukur tayangan dan konversi di halaman produk itu sendiri. Tepatnya:

  • Tayangan: pengguna yang masuk ke halaman produkmu.
  • Konversi: pengguna yang mengetuk Unduh/Beli setelah masuk.

Ini TIDAK mengukur tap-through daftar pencarian (apakah pengguna mengetuk hasil pencarianmu untuk masuk ke halaman). Untuk itu kamu perlu menguji pratinjau hasil pencarian, yang menggunakan 3 panel pertama dari lokal default-mu. PPE bisa menguji seluruh korsel tapi hanya mengukur apa yang terjadi setelah pengguna sudah ada di halaman.

Ini penting karena perubahan pada panel 4-10 hanya memengaruhi konversi halaman produk, sementara perubahan pada panel 1-3 memengaruhi tap-through daftar pencarian maupun konversi halaman produk. PPE mengukur yang kedua, bukan yang pertama.

Aturan "satu variabel sekaligus"

Godaannya adalah mengubah seluruh korsel di antara varian. Jangan. Jika varian A punya teks baru, kemiringan perangkat baru, dan palet baru, dan varian A menang — kamu tidak tahu perubahan mana yang menyebabkan peningkatan itu. Kamu juga tidak bisa menarik pelajaran untuk diterapkan ke pengujian berikutnya.

Disiplin: ubah satu hal per pengujian. Teks baru di panel 1, semua yang lain tetap sama. Warna latar baru, teks identik. Urutan panel baru, konten identik. Lambat, tapi setiap pengujian menghasilkan pelajaran yang bisa kamu bangun. Iterasi cepat pada kebisingan bukan kemajuan.

Ukuran sampel: bagian yang paling diremehkan kebanyakan tim

PPE menggunakan pengujian hipotesis frekuentis standar. Ukuran sampel yang kamu butuhkan bergantung pada:

  • Tingkat konversi dasar kamu (biasanya 1-5% untuk aplikasi gratis, lebih rendah untuk berbayar).
  • Efek minimum yang ingin kamu deteksi (peningkatan relatif 5%, 10%, 20%?).
  • Traffic ke halaman produkmu.

Perkiraan kasar: mendeteksi peningkatan relatif 10% pada konversi dasar 3% membutuhkan ~20.000 tayangan per varian untuk kepercayaan 95%. Jika aplikasimu mendapat 2.000 tayangan halaman produk per minggu, itu berarti 10 minggu per pengujian. Kebanyakan aplikasi indie tidak punya traffic yang cukup untuk menjalankan pengujian yang secara statistik bersih pada ukuran efek kecil. Pilihan yang jujur:

  • Uji hanya perubahan besar — pergantian palet, urutan panel, nada teks yang berbeda secara fundamental. Pengujian tersebut mencapai signifikansi lebih cepat karena ukuran efeknya lebih besar.
  • Kurangi alokasi traffic ke satu atau dua varian saja, bukan tiga.
  • Terima arah, bukan signifikansi. Jika sebuah varian menang secara konsisten selama 4 minggu pada kepercayaan 70%, rilis dan jalankan pengujian berbeda berikutnya.

Desain pengujian yang berhasil

  1. Pilih satu hipotesis. "Teks yang lebih besar di panel 1 akan meningkatkan konversi karena thumbnail mengompresi teks kecil hingga tidak terbaca." Tebakan yang spesifik, bukan "lihat saja apa yang berhasil".
  2. Desain varian A: satu perubahan. Korsel yang sama, hanya teks panel 1 yang diubah. Semua yang lain identik.
  3. Alokasikan 50% ke kontrol, 50% ke varian. Pengujian dua-lengan mencapai signifikansi lebih cepat daripada tiga atau empat lengan.
  4. Tentukan durasi pengujian di awal. "Kami akan menjalankan ini selama 4 minggu atau sampai signifikansi 95%, mana yang lebih dulu." Tahan diri dari mengintip dan menghentikan lebih awal.
  5. Dokumentasikan hasilnya. Apakah menang, kalah, atau tidak meyakinkan — catat. Kamu di masa depan akan menjalankan pengujian yang sama enam bulan kemudian jika tidak mencatatnya.

Apa yang diuji, berdasarkan prioritas

  1. Teks panel 1. Dampak terbesar karena panel 1 mendominasi thumbnail pencarian maupun kesan pertama halaman produk.
  2. Urutan panel. Secara spesifik: fitur mana yang kamu tampilkan pertama?
  3. Palet korsel / gelap vs terang. Efek besar, cepat diuji.
  4. Kemiringan/orientasi perangkat. Efek lebih kecil tapi murah untuk disiapkan.
  5. Nada teks (imperatif vs deskriptif). "Pantau larimu" vs "Larimu, terpantau". Efek lebih kecil, sinyal bersih lebih sulit dibaca.

Berhenti menguji font, pergeseran warna kecil, atau konten panel 8-10. Pengujian itu hampir tidak pernah mencapai signifikansi dan efek dasarnya cukup kecil sehingga hasilnya tidak sebanding dengan anggaran pengujian.

Lokalisasi di PPE

PPE mendukung varian per lokal. Jika kamu menjalankan pengujian di lokal default dan merilis pemenang, kamu tetap harus menerapkan perubahan secara manual ke setiap varian lokal dari panel tersebut. Pilih lokal dengan traffic yang cukup untuk mencapai signifikansi (biasanya en-US) dan perlakukan hasilnya sebagai panduan arah global untuk lokal lain. Jangan jalankan 39 eksperimen terpisah.

Kesalahan umum

  • Mengintip dan menghentikan lebih awal. Signifikansi berfluktuasi secara acak selama pengujian. Menghentikan begitu sebuah varian terlihat menang menyebabkan kesimpulan yang salah. Tentukan durasi minimum dan patuhi.
  • Menguji terlalu banyak variabel. Redesain menyeluruh tidak bisa di-A/B test dengan bersih. Kamu perlu pengujian terpisah untuk desain baru secara keseluruhan (multi-variabel, terima beberapa gangguan) diikuti pengujian iterasi satu variabel pada pemenang.
  • Menjalankan pengujian di tengah kebisingan musiman. Black Friday, fitur App Store, kampanye pemasaran semuanya menambah traffic dan kebisingan. Hindari pengujian selama ini kecuali kamu mengontrol lonjakan tersebut.
  • Mengabaikan lokal. Hasil pengujian US tidak selalu berlaku untuk JP. Gunakan sebagai hipotesis awal, bukan jawaban yang sudah pasti.

Yang perlu dilakukan bulan ini

  1. Perkirakan kebutuhan ukuran sampelmu. Masukkan traffic + konversi dasar ke kalkulator ukuran sampel sebelum menyiapkan pengujian.
  2. Pilih satu hipotesis. Tuliskan dalam satu kalimat.
  3. Desain A vs B dengan satu variabel yang diubah. Aktifkan di App Store Connect.
  4. Tentukan durasi pengujian dan tandai tanggal selesainya di kalendermu.
  5. Dokumentasikan hasilnya terlepas dari hasilnya.

Yang perlu dibaca selanjutnya

Buka editor →