A/B testing de capturas de pantalla con Product Page Experiments
Product Page Experiments (PPE) llegó con iOS 15 y desde entonces es la forma estándar de hacer A/B testing de metadatos en la App Store. Configuras un control más hasta tres variantes de tratamiento, asignas el tráfico, eliges un nivel de confianza y Apple te dice cuál ganó. La infraestructura es sólida; la disciplina para usarla bien no siempre lo es.
Qué mide realmente PPE
PPE mide impresiones y conversiones en la página de producto. Concretamente:
- Impresiones: usuarios que llegaron a tu página de producto.
- Conversiones: usuarios que tocaron Get/Buy tras llegar.
NO mide el porcentaje de clics desde los resultados de búsqueda (si los usuarios tocan tu resultado de búsqueda para llegar a la página). Para eso tendrías que probar la vista previa en resultados de búsqueda, que usa los primeros 3 paneles de tu idioma predeterminado. PPE puede probar el carrusel completo, pero solo mide lo que ocurre una vez que el usuario ya está en la página.
Esto importa porque los cambios en los paneles 4-10 solo afectan la conversión en la página de producto, mientras que los cambios en los paneles 1-3 afectan tanto el porcentaje de clics en resultados de búsqueda como la conversión en la página de producto. PPE mide lo segundo, no lo primero.
La regla de «una variable a la vez»
La tentación es cambiar todo el carrusel entre variantes. No lo hagas. Si la variante A tiene textos nuevos, una inclinación de dispositivo nueva y una paleta nueva, y la variante A gana, no sabrás qué cambio causó la mejora. Tampoco podrás razonar sobre cómo transferir el aprendizaje a tu siguiente prueba.
Disciplina: cambia una sola cosa por prueba. Texto nuevo en el panel 1, todo lo demás igual. Color de fondo nuevo, textos idénticos. Orden de paneles nuevo, contenido idéntico. Lento, pero cada prueba produce un aprendizaje sobre el que puedes construir. Iterar rápido sobre ruido no es progreso.
Tamaño de muestra: la parte que la mayoría de los equipos subestima
PPE usa el contraste de hipótesis frecuentista estándar. El tamaño de muestra que necesitas depende de:
- Tu tasa de conversión base (normalmente entre el 1 % y el 5 % para apps gratuitas, menor para las de pago).
- El efecto mínimo detectable que te importa (¿un incremento relativo del 5 %, del 10 %, del 20 %?).
- Tu tráfico a la página de producto.
Orden de magnitud: detectar un incremento relativo del 10 % sobre una tasa de conversión base del 3 % necesita ~20.000 impresiones por variante para un 95 % de confianza. Si tu app recibe 2.000 impresiones en la página de producto por semana, eso equivale a 10 semanas por prueba. La mayoría de las apps indie no tienen el tráfico suficiente para ejecutar pruebas estadísticamente limpias con efectos pequeños. Opciones sin rodeos:
- Prueba solo cambios grandes: cambios de paleta, orden de paneles, un tono de texto radicalmente diferente. Esas pruebas alcanzan significación rápido porque el tamaño del efecto es mayor.
- Reduce la asignación de tráfico a una o dos variantes en lugar de tres.
- Acepta resultados direccionales, no significativos. Si una variante va ganando de forma consistente durante 4 semanas con un 70 % de confianza, publícala y ejecuta otra prueba diferente.
El diseño de prueba que funciona
- Elige una hipótesis. «Textos más grandes en el panel 1 mejorarán la conversión porque las miniaturas comprimen los textos pequeños hasta hacerlos ilegibles.» Una suposición concreta, no «veamos qué funciona».
- Diseña la variante A con un solo cambio. El mismo carrusel, solo se cambia el texto del panel 1. Todo lo demás, idéntico.
- Asigna el 50 % al control y el 50 % a la variante. Las pruebas de dos brazos alcanzan la significación más rápido que las de tres o cuatro.
- Fija la duración de la prueba desde el principio. «Ejecutaremos esto durante 4 semanas o hasta alcanzar un 95 % de significación, lo que ocurra primero.» Resiste la tentación de mirar los datos antes de tiempo y detener la prueba anticipadamente.
- Documenta el resultado. Tanto si gana, como si pierde o es inconcluso, escríbelo. Si no lo haces, volverás a ejecutar la misma prueba seis meses después.
Qué probar, por orden de prioridad
- Texto del panel 1. Mayor impacto porque el panel 1 domina tanto las miniaturas de búsqueda como la primera impresión en la página de producto.
- Orden de paneles. Concretamente: ¿con qué función abres el carrusel?
- Paleta del carrusel / oscuro vs claro. Gran efecto, rápido de probar.
- Inclinación u orientación del dispositivo. Efecto menor, pero fácil de configurar.
- Tono del texto (imperativo vs descriptivo). «Registra tus carreras» vs «Tus carreras, registradas». Efecto menor, señal más difícil de leer con claridad.
Deja de probar tipografías, cambios de color menores o el contenido de los paneles 8-10. Esas pruebas casi nunca alcanzan significación y los efectos subyacentes son tan pequeños que el resultado no justifica el presupuesto de pruebas.
Localización en PPE
PPE admite variantes por idioma. Si ejecutas una prueba en tu idioma predeterminado y publicas la variante ganadora, aún tendrás que aplicar el cambio manualmente a cada variante localizada del panel. Elige un idioma con tráfico suficiente para alcanzar significación (normalmente en-US) y usa el resultado como guía direccional global para los demás idiomas. No ejecutes 39 experimentos separados.
Errores frecuentes
- Mirar los datos antes de tiempo y detener la prueba anticipadamente. La significación fluctúa aleatoriamente durante una prueba. Detenerla en el momento en que una variante parece estar ganando lleva a conclusiones erróneas. Fija una duración mínima y respétala.
- Probar demasiadas variables. Los rediseños completos no pueden hacerse con A/B testing limpio. Necesitas una prueba separada para el nuevo diseño en conjunto (multivariable, acepta cierta confusión de variables) seguida de pruebas de iteración de una sola variable sobre la variante ganadora.
- Ejecutar pruebas en épocas de ruido estacional. El Black Friday, el destacado en la App Store y las campañas de marketing añaden tráfico y ruido. Evita hacer pruebas durante estos períodos salvo que controles el pico.
- Ignorar el idioma. Un resultado de prueba en Estados Unidos no siempre se generaliza a JP. Úsalo como hipótesis de partida, no como respuesta definitiva.
Qué hacer este mes
- Estima el tamaño de muestra que necesitas. Introduce tu tráfico y tu tasa de conversión base en una calculadora de tamaño de muestra antes de configurar la prueba.
- Elige una hipótesis. Escríbela en una frase.
- Diseña A vs B con una sola variable cambiada. Configúrala en App Store Connect.
- Fija la duración de la ejecución y apunta la fecha de finalización en tu calendario.
- Documenta el resultado independientemente del desenlace.