A/B testing ảnh chụp màn hình với Product Page Experiments
Product Page Experiments (PPE) ra mắt từ iOS 15 và kể từ đó trở thành cách tiêu chuẩn để A/B test siêu dữ liệu trên App Store. Bạn thiết lập nhóm kiểm soát cộng tối đa ba biến thể thử nghiệm, phân bổ lưu lượng, chọn mức tin cậy, và Apple cho bạn biết phiên bản nào thắng. Hạ tầng kỹ thuật ổn định; điều thiếu thường xuyên là kỷ luật trong cách sử dụng.
PPE thực sự đo lường điều gì
PPE đo lường lượt hiển thị và tỷ lệ chuyển đổi trên trang sản phẩm. Cụ thể:
- Lượt hiển thị: người dùng đã vào trang sản phẩm của bạn.
- Chuyển đổi: người dùng đã nhấn Tải/Mua sau khi vào trang.
PPE KHÔNG đo lường tỷ lệ nhấn từ danh sách tìm kiếm (tức là liệu người dùng có nhấn vào kết quả tìm kiếm của bạn để vào trang hay không). Để đo điều đó, bạn cần thử nghiệm phần xem trước trong kết quả tìm kiếm — phần này dùng 3 bảng đầu tiên của ngôn ngữ mặc định. PPE có thể thử nghiệm toàn bộ carousel nhưng chỉ đo những gì xảy ra sau khi người dùng đã vào trang.
Điều này quan trọng vì thay đổi ở bảng 4-10 chỉ ảnh hưởng đến tỷ lệ chuyển đổi trên trang sản phẩm, trong khi thay đổi ở bảng 1-3 ảnh hưởng cả tỷ lệ nhấn từ danh sách tìm kiếm lẫn tỷ lệ chuyển đổi trên trang. PPE đo lường cái thứ hai, không phải cái đầu tiên.
Quy tắc "mỗi lần chỉ một biến"
Cám dỗ thường gặp là thay đổi toàn bộ carousel giữa các biến thể. Đừng làm vậy. Nếu biến thể A có chú thích mới, góc nghiêng thiết bị mới, và bảng màu mới, và biến thể A thắng — bạn không biết thay đổi nào tạo ra sự khác biệt. Bạn cũng không thể rút ra bài học để áp dụng cho lần thử nghiệm tiếp theo.
Kỷ luật: thay đổi một thứ mỗi lần thử nghiệm. Chú thích mới ở bảng 1, mọi thứ khác giữ nguyên. Màu nền mới, chú thích giữ nguyên. Thứ tự bảng mới, nội dung giữ nguyên. Chậm, nhưng mỗi thử nghiệm tạo ra một bài học bạn có thể xây dựng tiếp. Lặp lại nhanh trên nhiễu không phải là tiến bộ.
Cỡ mẫu: phần hầu hết các nhóm đánh giá thấp
PPE sử dụng kiểm định giả thuyết tần suất tiêu chuẩn. Cỡ mẫu bạn cần phụ thuộc vào:
- Tỷ lệ chuyển đổi nền của bạn (thường 1-5% với ứng dụng miễn phí, thấp hơn với ứng dụng trả phí).
- Mức hiệu ứng tối thiểu bạn quan tâm (tăng tương đối 5%, 10%, 20%?).
- Lưu lượng đến trang sản phẩm của bạn.
Ước lượng sơ bộ: phát hiện mức tăng tương đối 10% trên tỷ lệ chuyển đổi nền 3% cần khoảng 20.000 lượt hiển thị mỗi biến thể với độ tin cậy 95%. Nếu ứng dụng bạn nhận được 2.000 lượt hiển thị trang sản phẩm mỗi tuần thì mỗi thử nghiệm mất 10 tuần. Hầu hết ứng dụng indie không có đủ lưu lượng để chạy thử nghiệm sạch về mặt thống kê với hiệu ứng nhỏ. Các lựa chọn thực tế:
- Chỉ thử nghiệm những thay đổi lớn — hoán đổi bảng màu, thứ tự bảng, phong cách chú thích hoàn toàn khác. Những thử nghiệm này đạt mức ý nghĩa nhanh hơn vì hiệu ứng lớn hơn.
- Giảm phân bổ lưu lượng xuống một hoặc hai biến thể thay vì ba.
- Chấp nhận kết quả định hướng, không phải có ý nghĩa thống kê. Nếu một biến thể liên tục dẫn đầu trong 4 tuần với độ tin cậy 70%, hãy triển khai nó và chạy thử nghiệm khác.
Cách thiết kế thử nghiệm hiệu quả
- Chọn một giả thuyết. "Chú thích lớn hơn ở bảng 1 sẽ cải thiện tỷ lệ chuyển đổi vì hình thu nhỏ nén chú thích nhỏ thành khó đọc." Một dự đoán cụ thể, không phải "xem thứ gì hoạt động".
- Thiết kế biến thể A: một thay đổi. Cùng carousel, chỉ thay chú thích bảng 1. Mọi thứ khác giữ nguyên.
- Phân bổ 50% cho kiểm soát, 50% cho biến thể. Thử nghiệm hai nhánh đạt ý nghĩa thống kê nhanh hơn ba hoặc bốn nhánh.
- Đặt thời gian thử nghiệm trước. "Chúng ta sẽ chạy thử nghiệm này 4 tuần hoặc đến khi đạt độ tin cậy 95%, tùy điều kiện nào đến trước." Đừng nhìn liên tục và dừng sớm.
- Ghi lại kết quả. Dù thắng, thua, hay không kết luận được — hãy ghi xuống. Nếu không, bạn sẽ chạy lại thử nghiệm tương tự sáu tháng sau.
Thứ tự ưu tiên thử nghiệm
- Chú thích bảng 1. Tác động lớn nhất vì bảng 1 chiếm phần lớn cả hình thu nhỏ tìm kiếm lẫn ấn tượng đầu tiên trên trang sản phẩm.
- Thứ tự bảng. Cụ thể: bạn chọn tính năng nào để dẫn đầu?
- Bảng màu carousel / tối so với sáng. Hiệu ứng lớn, dễ thử nghiệm nhanh.
- Góc nghiêng / hướng thiết bị. Hiệu ứng nhỏ hơn nhưng chi phí thiết lập thấp.
- Giọng điệu chú thích (mệnh lệnh so với mô tả). "Ghi lại mỗi lần chạy" so với "Những lần chạy của bạn, được ghi lại". Hiệu ứng nhỏ hơn, tín hiệu khó đọc hơn.
Ngừng thử nghiệm phông chữ, sự thay đổi màu sắc nhỏ, hoặc nội dung bảng 8-10. Những thử nghiệm đó hầu như không bao giờ đạt ý nghĩa thống kê và hiệu ứng cơ bản quá nhỏ để chiến thắng bù lại chi phí thử nghiệm.
Bản địa hóa trong PPE
PPE hỗ trợ biến thể theo từng ngôn ngữ. Nếu bạn chạy thử nghiệm trong ngôn ngữ mặc định và triển khai phiên bản thắng, bạn vẫn phải áp dụng thủ công thay đổi đó cho mọi biến thể bảng đã bản địa hóa. Chọn một ngôn ngữ có đủ lưu lượng để đạt ý nghĩa thống kê (thường là en-US) và xem kết quả đó là hướng dẫn định hướng toàn cầu cho các ngôn ngữ khác. Đừng chạy 39 thử nghiệm riêng biệt.
Lỗi thường gặp
- Nhìn liên tục và dừng sớm. Mức ý nghĩa thống kê dao động ngẫu nhiên trong quá trình thử nghiệm. Dừng ngay khi một biến thể có vẻ đang thắng dẫn đến kết luận sai. Hãy đặt thời gian tối thiểu và tuân thủ.
- Thử nghiệm quá nhiều biến. Thiết kế lại toàn bộ không thể A/B test sạch. Bạn cần một thử nghiệm riêng cho thiết kế mới tổng thể (đa biến, chấp nhận một số nhiễu) rồi sau đó mới thử nghiệm biến đơn trên phiên bản thắng.
- Chạy thử nghiệm trong thời điểm có nhiễu theo mùa. Black Friday, App Store featuring, các chiến dịch marketing đều thêm lưu lượng và nhiễu. Tránh thử nghiệm trong những giai đoạn này trừ khi bạn kiểm soát được đỉnh lưu lượng.
- Bỏ qua ngôn ngữ. Kết quả thử nghiệm ở Mỹ không phải lúc nào cũng áp dụng được cho Nhật Bản. Dùng nó như giả thuyết ban đầu, không phải câu trả lời chắc chắn.
Việc cần làm trong tháng này
- Ước tính nhu cầu cỡ mẫu. Nhập lưu lượng và tỷ lệ chuyển đổi nền của bạn vào máy tính cỡ mẫu trước khi thiết lập thử nghiệm.
- Chọn một giả thuyết. Viết nó xuống trong một câu.
- Thiết kế A so với B với một biến thay đổi. Khởi động trong App Store Connect.
- Đặt thời gian chạy và ghi ngày kết thúc vào lịch của bạn.
- Ghi lại kết quả bất kể kết quả như thế nào.