실험 설계
•
•
기간 : 22/02/08(화) 11:00 - 22/02/15(화) 11:00, 최대 7일간
•
대상 : 02/08/22 (화) 11:00 부터 모든 차이 체크카드 신규 발급 사용자
◦
재발급 제외
•
방법 :
1) 대상 유저 200명씩 3개의 그룹으로 분리
•
Group A : 번개 3개
•
Group B : 번개 5개 (= ctrl)
•
Group C : 번개 7개
Rule
1.
한 사용자가 Group A로 지정되었다면 해당 사용자가 이번 테스트에 혹여나 다시 그룹 분배 로직을 타게된다면 다시 Group A로 지정되어야합니다.
2.
그룹 a/b/c 로 나뉠 때 랜덤하게 나뉘어져야합니다. 그래서 균등하게 각 그룹의 모수가 채워져야합니다.
3.
그룹 지정은 아래 두 조건 중 하나라도 만족하면 멈춥니다.
a.
테스트 시작 시점으로부터 7일이 지난 시점, 2022년 2월 15일 오전 11시 → 2022년 2월 22일 오전 11시
b.
모든 그룹의 모객이 끝났을 때
4.
amplitude에 user attribute로 테스트 그룹 정보를 넘겨줍니다.
a.
key: a/b_test_groups
b.
value: [test1Name_group_a, test2Name_group_b]
i.
test1Name: 진행한 테스트 이름
ii.
group_a: 해당 테스트에서 그룹 a에 속했단 뜻.
2) 그룹에 속해지는 동시에 번개 지급과 푸시 발송
3) 7일, 14일 후 결과 분석
•
검증 지표 :
◦
CVR : 3/7일 내 첫결제 CVR
◦
구매금액 : 첫결제 AoV 및 유저별 평균 TxV
◦
선호 브랜드 : 첫 부스트 적용 브랜드
◦
Engagement : 일별 view_boost_detail/buy_boost/payment_confirmed
실험 내용
1.
번개 지급
•
지급 일시 : 22/02/08(화) 11:00
•
유효 기간 : 22/02/14(월) 23:59
•
설명 : 부스트를 써볼까요?
2.
푸시&문자 발송
•
발송 일시 : 22/02/07(월) 11:00
Group | 푸시 |
A | {user_name} 님을 위한 첫결제 혜택 도착 
부스트를 사용할 수 있도록 번개 3개를 넣어드렸어요️
지금 바로 내 번개함을 확인해보세요! |
B | {user_name} 님을 위한 첫결제 혜택 도착
부스트를 사용할 수 있도록 번개 5개를 넣어드렸어요️
지금 바로 내 번개함을 확인해보세요! |
C | {user_name} 님을 위한 첫결제 혜택 도착
부스트를 사용할 수 있도록 번개 7개를 넣어드렸어요️
지금 바로 내 번개함을 확인해보세요! |
Group | 문자 |
A | [CHAI 첫결제 혜택 안내]
안녕하세요 차이크루 님!
부스트 사용해보시라고 특별 선물로 번개 3개를 드렸어요.
받은 번개 확인하고 원하는 브랜드에서 캐시백 받아볼까요?
단, 지금 드린 번개는 7일간만 유효하니, 기한 내에 꼭 번개를 사용해서 부스트 캐시백을 받아가세요! (2022/02/13 23:59:59까지)
바로 부스트 사용하러 가기
https://chai.onelink.me/br6e/92ab5ca4
*문의사항) 차이고객센터 1544-7839 |
B | [CHAI 첫결제 혜택 안내]
안녕하세요 차이크루님!
부스트 사용해보시라고 특별 선물로 번개 5개를 드렸어요.
받은 번개 확인하고 원하는 브랜드에서 캐시백 받아볼까요?
단, 지금 드린 번개는 7일간만 유효하니, 기한 내에 꼭 번개를 사용해서 부스트 캐시백을 받아가세요! (2022/02/13 23:59:59까지)
바로 부스트 사용하러 가기
https://chai.onelink.me/br6e/92ab5ca4
*문의사항) 차이고객센터 1544-7839 |
C | [CHAI 첫결제 혜택 안내]
안녕하세요 차이크루님!
부스트 사용해보시라고 특별 선물로 번개 7개를 드렸어요.
받은 번개 확인하고 원하는 브랜드에서 캐시백 받아볼까요?
단, 지금 드린 번개는 7일간만 유효하니, 기한 내에 꼭 번개를 사용해서 부스트 캐시백을 받아가세요! (2022/02/13 23:59:59까지)
바로 부스트 사용하러 가기
https://chai.onelink.me/br6e/92ab5ca4
*문의사항) 차이고객센터 1544-7839 |
결과 분석
•
CVR : 3/7일 내 첫결제 CVR
•
구매금액 : 첫결제 AoV 및 유저별 평균 TxV
•
선호 브랜드 : 첫 부스트 적용 브랜드
•
Engagement : 일별 view_boost_detail/buy_boost/payment_confirmed
카드 결제 CVR
(2022.02.08 11:00~)
groupA (3개) | groupB (5개) | groupC (7개) | |
view_boost_detail | 164 | 177 | 168 |
buy_boost | 72 | 86 | 79 |
1일 내 payment_confirmed (*chai card) | 38 | 38 | 40 |
1일 내 CVR | 22.0% | 21.5% | 23.8% |
3일 내 payment_confirmed (*chai card) | 41 | 41 | 45 |
3일 내 CVR | 25.0% (+3%p) | 23.2% (+2.3%p) | 26.8% (+3.0%p) |
7일 내 payment_confirmed (*chai card) | 42 | 44 | 46 |
7일 내 CVR | 25.6% (+0.6%p) | 24.9% (+1.7%p) | 27.4% (+0.6%p) |
총 지급 번개 개수 | 492개
(CPS 번개 11.71개, 3,630.1원) | 885개
(CPS 번개 20.11개
, 6,234.1원) | 1,176개
(CPS 번개 25.56개, 7,905원) |
14일 내 CVR | 44.9% | 49.7% | 52.0% |
1일 내
3일 내
7일 내
- 번개 7개를 제공한 groupC에서 1일/3일/7일 모두 가장 높은 CVR을 보임.
- 5개를 제공한 B가 3개를 제공한 A보다 낮은 CVR을 보임.
- groupA와 C의 CPS는 약 2배 차이 나지만, 실제 CVR 차이는 2배가 안됨 → 비용을 고려한다면 3개를 제공하는 것이 합리적일 것!
사실 모수가 적고 CVR의 큰 차이는 없기 때문에, 어떤게 더 전환율이 높을까? 말고, 어떤게 더 큰 돈을 벌어다줄까? 의 측면에서 한 번 살펴보자!
3개를 줬을 때 해당 유저가 우리에게 얻어가는 이득, 우리에게 벌어주는 비용 등등 까지 고려하는게 좋을 것 같다! (우리에게 도움 되는 결제 한 유저) 우리가 내는 비용이 어디가 가장 작은가!!
⇒ 각 그룹이 7일내에 처음 사용한 부스트로 얻어간 캐시백 금액
7일의 누적으로 보되, 캐시백 산정시에만 첫결제 고려?
14일 내 결과도 보자
2주 간의 lifetime value당 비교를 해보자.
하나의 LTV가 나오고, 3/5/7개 비용과 비교. 비용적인 측면에서 어떤 것이 가장 합리적일지를 보자.
이전 실험과 비교~!
•
참고 : 차이페이 결제 전환율 (payment_confirmed =/= chai card)
◦
1일
◦
3일
◦
7일
차이페이 결제 CVR의 경우, 1-7일 모두 groupC가 압도적으로 높은 수치를 기록함.
Engagement
02.08~02.21 → 02.21~03.01
유저당 평균 횟수 (totals/unique) | groupA | groupB | groupC | 비고 |
view_boost_detail | 7.89 → 6.87 | 6.4 → 6.12 | 6.89 → 6.05 | groupA가 확연히 높은 수치를 기록하였다.
→ 왜일까? 번개가 별로 없다보니, 자신이 뭘 쓸 수 있는지 더 찾아본 것 아닐까? |
buy_boost | 1.06 → 1.3 | 1.24 → 1.42 | 1.21 → 1.31 | 확연히 적은 개수인 ‘3개’를 제공한 groupA의 buy_boost 수치가 확실히 낮다. |
payment_confirmed (chai card+부스트 결제) | 0.65 → 1.15 | 0.69 → 2.04 | 0.71 → 1.83 | (당연하게도) ‘3개’를 제공한 groupA의 부스트 결제 수치는 가장 낮고, ‘7개’를 제공한 groupC의 부스트 결제 수치는 가장 높다. |
payment_confirmed (chai card+일반결제) | 1.58 → 1.92 | 1.59 → 1.12 | 1.37 → 1.17 | ‘7개’를 제공한 groupC의 일반결제 수치가 확연히 낮다. |
payment_confirmed (전체 결제수단+일반결제) | 2.11 | 1.25 | 1.67 | groupA의 경우, 차이페이까지 함께 고려했을 때 확연히 수치가 높아진다. |
payment_confirmed (chai card) | 1.58 | 1.65 → 1.31 | 1.38 | 카드 첫결제 평균 수치 : B가 가장 높고, C가 가장 낮다. |
- groupA가 확연히 높은 수치를 기록하였다.
⇒ 왜일까? 번개가 별로 없다보니, 자신이 뭘 쓸 수 있는지 더 찾아본 것일까?
- 번개를 가장 적게 제공한 groupA의 경우, 부스트 구매는 낮고 일반결제는 높은 모습을 보임 → 부스트를 사용하기 위해 필요한 번개 부족으로 인해!
- 첫결제 CVR이 가장 높았던 groupC의 경우, 부스트 결제는 높고 일반 결제는 낮음
→ 이미 번개가 있기 때문에!
02.07~03.01
유저당 평균 횟수 (totals/unique) | groupA | groupB | groupC | 비고 |
view_boost_detail | 6.4 | 6.89 | groupA가 확연히 높은 수치를 기록하였다.
→ 왜일까? 번개가 별로 없다보니, 자신이 뭘 쓸 수 있는지 더 찾아본 것 아닐까? | |
buy_boost | 1.06 | 1.24 | 1.21 | 확연히 적은 개수인 ‘3개’를 제공한 groupA의 buy_boost 수치가 확실히 낮다. |
payment_confirmed (chai card+일반결제) | 1.58 | 1.59 | 1.37 | ‘7개’를 제공한 groupC의 일반결제 수치가 확연히 낮다. |
payment_confirmed (chai card+부스트 결제) | 0.65 | 0.69 | 0.71 | (당연하게도) ‘3개’를 제공한 groupA의 부스트 결제 수치는 가장 낮고, ‘7개’를 제공한 groupC의 부스트 결제 수치는 가장 높다. |
payment_confirmed (전체 결제수단+일반결제) | 2.11 | 1.25 | 1.67 | groupA의 경우, 차이페이까지 함께 고려했을 때 확연히 수치가 높아진다. |
•
buy_boost (22.02.07~22.02.21)
groupA | groupB | groupC | |
buy_boost | 138 | 173 | 157 |
부스트 종류 수 | 40 | 54 | 44 |
결과
첫결제 전환율 측면에서는 번개 7개를 제공하는 것이 나아보이고, CPS를 고려한다면 3개를 제공하는 것이 바람직해보인다.
인게이지먼트 측면에서는 3개 혹은 5개가 바람직해보임 (일반결제 측면)
