Search

[5/26] A/B Test Report : 추천팝업

배경

부스트를 찾기 어렵다는 고객 문의가 꾸준합니다.

문제

원하는 부스트가 분명히 있는 상황에서도 부스트를 찾기 어렵습니다.
현재 부스트 리스트에서 부스트 구매까지 median 24초가 소요됩니다.
장표 바로가기

목표

부스트 리스트에서 구매까지 6초 이내에 끝낼 수 있게 만듭니다.

Hypothesis

유저가 부스트를 찾는 상황에서 즐겨찾기 한 부스트와 많이 구매한 부스트를 기준으로 찾는 부스트를 예측해서 보여주면 부스트를 구매하기까지 걸리는 시간이 줄어들 것이다.
1.
유저가 결제 직전 부스트를 찾는 상황에서
왜 결제 직전 부스트를 찾는 상황이 중요한가요?
어떻게 지표화 했나요?
2.
즐겨찾기 한 부스트와 많이 구매한 부스트를 기준으로 찾는 부스트를 예측해 보여주면
어떻게 보여주나요? [추천팝업]
3.
부스트를 구매하기까지 걸리는 시간이 줄어들 것이다.
목표지표: boost_list > buy_boost converting time 3초 이내

Goal

Primary Goal

부스트를 구매하기까지 걸리는 시간
지표:
1.
boost_list > buy_boost converting time
buy_boost property
부스트 리스트
카드뷰
버튼뷰
전체 평균
2.
shake_popup > buy_boost converting time
추천팝업의 경우

Secondary Goal

부스트를 구매하는 횟수
buy_boost event total
buy_boost property
부스트 리스트
카드뷰
버튼뷰
전체 평균

Test Condition

Period

2주 (6/8-6/22)

Target

트래픽 대비 N%

Specs

Original

Default

Variant 1

카드뷰

Variant 2

버튼뷰

A/B Test Performance

Android

Statistical Significance

Statistical Power
Significance Level
Search
Name
Sessions
Conversion
Conversion Rate
Direct Open
Direct Open Rate
Total Open
Total Open Rate
0
0
0%
0
0%
0
0%
COUNT2

iOS

Statistical Significance

Statistical Power
Significance Level
Search
Name
Sessions
Conversion
Conversion Rate
Direct Open
Direct Open Rate
Total Open
Total Open Rate
0
0
0%
0
0%
0
0%
0
0
0%
0
0%
0
0%
COUNT2

Review

Action Item