Product Page Experiments로 스크린샷 A/B 테스트하기
Product Page Experiments(PPE)는 iOS 15에서 출시됐고, 그 이후로 App Store 메타데이터를 A/B 테스트하는 사실상의 표준 방법이 됐어요. 컨트롤 하나와 최대 3개의 처리 변형을 설정하고, 트래픽을 배분하고, 유의 수준을 선택하면 Apple이 어느 쪽이 이겼는지 알려줘요. 인프라는 탄탄하지만, 이를 올바르게 사용하는 규율이 항상 갖춰진 건 아니에요.
PPE가 실제로 측정하는 것
PPE는 제품 페이지에서의 노출 수와 전환율을 측정해요. 구체적으로는:
- 노출: 제품 페이지에 방문한 사용자.
- 전환: 방문 후 받기/구입 버튼을 탭한 사용자.
PPE는 검색 목록 탭률(사용자가 검색 결과를 탭해 페이지에 진입하는지 여부)은 측정하지 않아요. 그걸 측정하려면 기본 로케일의 처음 3개 패널을 사용하는 검색 결과 미리보기를 테스트해야 해요. PPE는 전체 캐러셀을 테스트할 수 있지만, 사용자가 이미 페이지에 있을 때 이후의 행동만 측정해요.
이는 중요한 차이예요. 패널 4~10의 변경은 제품 페이지 전환에만 영향을 주는 반면, 패널 1~3의 변경은 검색 목록 탭률과 제품 페이지 전환 모두에 영향을 줘요. PPE는 후자만 측정해요.
"한 번에 변수 하나" 규칙
변형 사이에 전체 캐러셀을 바꾸고 싶은 유혹이 생기기 마련이에요. 하지만 그러면 안 돼요. 변형 A에 새 캡션, 새 기기 기울기, 새 색상표가 모두 있고 변형 A가 이겼다면, 어떤 변경이 성과를 냈는지 알 수 없어요. 다음 테스트에 학습을 이전하는 것도 불가능해요.
규율: 테스트당 하나만 바꾸세요. 패널 1의 캡션만 바꾸고 나머지는 동일하게 유지, 배경색만 바꾸고 캡션은 동일하게, 패널 순서만 바꾸고 내용은 동일하게. 느리지만 테스트마다 쌓을 수 있는 학습이 생겨요. 노이즈를 빠르게 반복하는 건 발전이 아니에요.
표본 크기: 대부분의 팀이 과소평가하는 부분
PPE는 표준 빈도주의 가설 검정을 사용해요. 필요한 표본 크기는 다음에 달려 있어요:
- 기준 전환율 (무료 앱은 일반적으로 1~5%, 유료 앱은 더 낮음).
- 관심 있는 최소 검출 효과 크기 (5% 상대 개선, 10%, 20%?).
- 제품 페이지로의 트래픽.
대략적으로: 3% 기준 전환율에서 10% 상대 개선을 감지하려면 95% 신뢰도 기준으로 변형당 약 20,000개의 노출이 필요해요. 앱이 주당 2,000개의 제품 페이지 노출을 받는다면 테스트당 10주가 걸려요. 소규모 효과 크기에서 통계적으로 깨끗한 테스트를 실행할 트래픽을 가진 인디 앱은 많지 않아요. 현실적인 선택지:
- 큰 변경만 테스트하세요 — 색상표 교체, 패널 순서, 근본적으로 다른 캡션 톤. 효과 크기가 크기 때문에 이런 테스트는 유의미한 수준에 빨리 도달해요.
- 트래픽 배분을 3개 대신 1~2개 변형으로 줄이세요.
- 유의미하지 않더라도 방향성을 받아들이세요. 4주 동안 70% 신뢰도로 변형이 꾸준히 이기고 있다면 배포하고 다른 테스트를 진행하세요.
효과적인 테스트 설계
- 가설 하나를 선택하세요. "패널 1의 더 큰 캡션이 전환율을 높일 거예요. 왜냐하면 썸네일에서 작은 캡션이 판독 불가능하게 압축되기 때문이에요." 막연한 "뭐가 좋은지 봐요"가 아닌 구체적인 추정이에요.
- 변형 A 설계: 변경 하나. 동일한 캐러셀에서 패널 1의 캡션만 바꾸세요. 나머지는 완전히 동일하게 유지.
- 컨트롤 50%, 변형 50% 배분. 2개 집단 테스트가 3개나 4개보다 유의미한 수준에 더 빨리 도달해요.
- 테스트 기간을 미리 정하세요. "4주 동안 또는 95% 유의미성에 도달할 때까지, 둘 중 먼저 오는 것까지 실행할게요." 중간에 들여다보고 조기 중단하는 유혹을 이겨내세요.
- 결과를 기록하세요. 이겼든, 졌든, 불확실하든 — 기록해 두세요. 기록하지 않으면 미래의 당신이 6개월 후에 똑같은 테스트를 돌리게 돼요.
우선순위별 테스트 항목
- 패널 1 캡션. 패널 1이 검색 썸네일과 제품 페이지 첫인상 모두를 지배하기 때문에 가장 큰 영향을 줘요.
- 패널 순서. 구체적으로: 어떤 기능을 앞에 두나요?
- 캐러셀 색상표 / 다크 vs 라이트. 큰 효과, 빠른 테스트.
- 기기 기울기 / 방향. 효과는 작지만 설정 비용이 낮아요.
- 캡션 톤 (명령형 vs 서술형). "달리기를 기록하세요" vs "당신의 달리기, 기록됨". 효과는 작고 신호를 명확하게 읽기 어려워요.
폰트, 미세한 색상 변화, 패널 8~10의 내용은 테스트를 멈추세요. 이런 테스트는 거의 유의미한 수준에 도달하지 않고, 기본적인 효과가 너무 작아 테스트 비용을 투자할 가치가 없어요.
PPE에서의 현지화
PPE는 로케일별 변형을 지원해요. 기본 로케일에서 테스트를 진행하고 승리한 버전을 배포해도, 현지화된 각 패널 변형에 변경 사항을 수동으로 적용해야 해요. 유의미한 수준에 도달하기에 충분한 트래픽이 있는 로케일(일반적으로 en-US)을 선택하고, 그 결과를 다른 로케일의 글로벌 방향성 가이드로 활용하세요. 39개 실험을 별도로 돌리지 마세요.
흔한 실수
- 중간 확인 후 조기 중단. 유의미성은 테스트 중 무작위로 변동해요. 변형이 이기는 것처럼 보이는 순간 중단하면 잘못된 결론을 내리게 돼요. 최소 기간을 정하고 지키세요.
- 변수를 너무 많이 테스트하기. 전면 개편은 A/B 테스트를 깨끗하게 할 수 없어요. 새 디자인 전체에 대한 별도 테스트(다중 변수, 일부 교란 허용)와 이후 승자에 대한 단일 변수 반복 테스트가 필요해요.
- 계절적 노이즈 기간 중 테스트 진행. 블랙 프라이데이, App Store 피처링, 마케팅 캠페인은 모두 트래픽과 노이즈를 더해요. 스파이크를 제어하지 않는 한 이 기간에는 테스트를 피하세요.
- 로케일 무시. 미국 테스트 결과가 일본에도 적용된다고 단정하지 마세요. 시작 가설로만 활용하고, 확정된 답으로 보지 마세요.
이번 달에 할 일
- 표본 크기 요구 사항을 추정하세요. 테스트 설정 전에 트래픽 + 기준 전환율을 표본 크기 계산기에 입력해 보세요.
- 가설 하나를 선택하고 한 문장으로 적어 두세요.
- 변수 하나를 바꿔 A vs B를 설계하세요. App Store Connect에서 실행하세요.
- 실행 기간을 정하고 종료일을 캘린더에 추가하세요.
- 결과와 관계없이 기록해 두세요.