실험 설계
목적
카드 발급 후 3일 내 첫결제 CVR 상승
기간
1월 13일 목요일 00:00~1월 19일 수요일 23:59 (7일 간)
대상
최근 1개월 내 카드 발급 후 아직 카드첫결제 (일반결제, 부스트 결제 모두 포함)를 하지 않은 유저들
⇒ 3,080명 가량 (3,083명)
⇒ 랜덤하게 5분할하여 groupA, B, C, D, control groupE로 나눈다.
실험 방법
어떤 인센티브를 제공한 그룹에서 CVR이 더 높게 나왔는지 비교한다.
A, B = 부스트 사용 유도
C, D = 일반 결제 유도 (금액적 허들 제시, 최소 결제금액 5천원)
•
group C - 체크카드발급 이벤트 비교도 가능 : 얼마나 빠른 시간 내에 베네핏을 제공해야 효율이 높은가
tracking 시작 : 22/01/13 11:00 ~ (에어드랍&푸시&문자 발송 시간부터)
group A | group B | group C | group D | control group E | |
보상 | 번개 5개 제공
→ 1/13 11:00 번개 에어드랍
번개명 : 부스트를 써볼까요? | 1) 번개 1개 제공
: 부스트 사용 시 1개가 필요하기 때문에 제공
”부스트 써보시라고 번개 1개 드렸어요~”
번개명 : 부스트를 써볼까요?
2) 부스트 제공
: 어디서나 (오프라인)
2,500원 이상 2,500원 캐시백/번개1개/1인1회
campaign ID ________ | 7일 내에 5천원 이상 첫 결제 시 번개 5개 추가 제공
→ 번개는 1/20 중 일괄 지급
@alice @adam
번개명 : 카드 첫결제 기념 번개
| 7일 내에 5천원 이상 첫 결제 시 1천원 무상 차이머니 제공
→ 무상 차이머니는 1/20 중 일괄 지급
@alice @adam
”첫결제 시, 1,000원을 되돌려드려요!” | - |
비고 | *번개 유효기간
→ 1/19 23:59:59 | *부스트명 : 카드 발급 선물
*부스트 노출&적용 기간
1/13 11:00 ~ 1/19 23:59:59
*부스트 사용기간
→ 1/13 11:00 ~ 1/20 01:00:00 | *푸시/문자를 통해 번개 일괄 지급 내용에 대해 명확한 커뮤니케이션이 필요함
*번개 지급 후 알림 필요 (푸시/문자) | *차이머니는 유효기간 설정 불가
*1/25 이후 적립된 차이머니는 무조건 인출이 가능하기 때문에 최대한 그 이전에 지급하는 것을 목표로 한다.
*푸시/문자를 통해 번개 일괄 지급 내용에 대해 명확한 커뮤니케이션이 필요함
*차이머니 지급 후 알림 필요 (푸시/문자) | |
알림 | 1) 11:00 번개 지급과 동시에 푸시+문자 | 1) 11:00 번개 지급과 동시에 푸시+문자 | 1) 11:00 이벤트 안내 푸시+문자
2) 실험 종료 후 1/20에 번개 지급 시 푸시 | 1) 11:00 이벤트 안내 푸시+문자
2) 실험 종료 후 1/20에 캐시백 지급 시 푸시 |
가정
•
인센티브를 제공하면, 유저들은 무조건 반응한다.
•
차이페이로 번개를 모아 카드를 발급 받은 유저의 경우, 남은 번개가 거의 없을 것이다.
가설
B > A > C > D >>> E
1.
A~D 모두 control group E보다는 CVR 수치가 좋다.
2.
번개를 제공한 A, C보다는, 부스트를 제공한 B의 CVR이 더 높을 것이다.
a.
왜냐하면, 부스트가 더 즉각적인 보상이기 때문이다.
3.
번개를 2차 보상으로 건 C 보다는, 번개를 즉각적으로 제공한 A의 CVR이 더 높을 것이다.
a.
번개 개수가 동일하기 때문에 사실 둘은 ‘시점의 차이’가 있다고 볼 수 있을 것이다.
그렇다면 더 빨리 보상을 주는게 더 유저의 행동을 이끌어낼 가능성이 클 것 같다.
4.
7일 내에 첫 결제 시 보상을 주는 C와 D 중에선, 받을 수 있는 금액이 큰 C의 CVR이 더 높을 것이다.
a.
왜냐하면, 차이페이를 어느정도 사용한 만큼 [번개-부스트 구조]를 어느정도 잘 알고 있기 때문에
번개 5개(를 쓰고 부스트로 받는 캐시백)의 가치 또한 잘 알 것이고,
그것이 현금 1,000원 환급 보단 더 매력적일 것 같다.
측정 지표
•
각 그룹별 첫결제 CVR
•
첫결제 금액
•
첫결제 이후의 결제 패턴
◦
부스트 이용 현황
◦
결제 금액
◦
...
•
Engagement (daily)
◦
view_boost_item
◦
view_boost_detail
모니터링 지표
•
일자별 CVR 변화 추이
•
첫결제 전환 소요 시간
•
인센티브 별 첫결제 유형 비율 (부스트 or 일반결제)
•
retention 변화 (1/31까지 트래킹)
riley의 생각
차이페이로 번개를 모아 카드를 발급 받은 유저의 경우 번개가 거의 없을 것이라는 전제 하에,
구분하자면 A, B는 부스트를 유도하는 전략이고 — C, D는 일반 결제를 유도하는 전략이다!
그런데 이 때, 카드 발급 후 3일 내에 ‘부스트’를 경험하면 retention 측면에서 좋다는건 알려진 사실이다. 그렇다면 첫결제 CVR는 아직 모르겠으나, Retention 수치는 A, B가 C, D 보단 좋을 것 같다.
•
실험 기간 동안의 그룹별 실결제 금액 (1/31까지 트래킹)
zoe의 생각
A, B 그룹의 경우 제공된 번개와 부스트만 사용하고 혜택이 사라진 이후부터는 결제를 지속하지 않을 수 있기 때문에, 실결제를 유도하고 번개와 캐시백을 추가로 지급하는 C, D가 총 결제 금액은 높을 수 있다고 생각. 1/31까지 트래킹 필요.
•
실험을 위해 사용한 부스트 캐시백 비용
•
실험을 위해 사용한 번개 지급 비용
가설 검증 성공 케이스&next step
•
groupA와 groupB가 5% 이상 (250명 이상) CVR 차이가 있다.
•
control group C 
groupA, groupB 5% 이상 CVR 차이가 있다.
groupA, groupB 5% 이상 CVR 차이가 있다.⇒ 자동화 진행
⇒ 더 높여보자
가설 검증 애매하다면 &next step
•
groupA groupB가 3% 이상 5% 미만의 CVR 차이가 있다.
groupB가 3% 이상 5% 미만의 CVR 차이가 있다.⇒ 인센티브를 상향 조정하여 실험한다.
⇒ 다시 한 번 더 실험한다.
•
control groupC A or B가 3% 이상 5% 미만의 CVR 차이가 있다.
A or B가 3% 이상 5% 미만의 CVR 차이가 있다.가설 검증 실패 케이스&next step
•
groupA groupB가 0.n% 이상 3% 미만의 CVR 차이가 있다.
groupB가 0.n% 이상 3% 미만의 CVR 차이가 있다.⇒ 인센티브를 상향 조정하여 실험한다.
⇒ 인센티브 부스트의 종류를 변경한다.
⇒ 모수를 더 늘려본다. (가능하다면)
⇒ 모수의 조건을 더 뾰족하게 설정한다.
•
1개월 내 → 최근 7일 내
문자&푸시 알림
각 그룹에게만 주는 특별 혜택인 것 처럼 문구 작성 (control group에게도 알림 제공)
각 그룹에게 동일하게 실험 진행 알림 문구 작성 → 푸시
•
문자, 푸시 동시 발송
•
각 그룹에게 동일한 내용의 푸시 발송 (혜택명 정도만 차이를 둬서!)
•
링크 (앱 메인화면 진입) : https://chai.onelink.me/br6e/92ab5ca4
푸시 | 문자 | 혜택 지급 후 푸시 | |
groupA | {user_name} 님을 위한 첫결제 혜택 도착
부스트를 사용할 수 있도록 번개 5개를 넣어드렸어요️
지금 바로 내 번개함을 확인해보세요! | [CHAI 첫결제 혜택 안내]
안녕하세요 차이크루님!
부스트 사용해보시라고 특별 선물로 번개 5개를 드렸어요.
받은 번개 확인하고 원하는 브랜드에서 캐시백 받아볼까요?
단, 지금 드린 번개는 7일간만 유효하니, 기한 내에 꼭 번개를 사용해서 부스트 캐시백을 받아가세요! (1/19 23:59:59까지)
바로 부스트 사용하러 가기
https://chai.onelink.me/br6e/92ab5ca4
*문의사항) 차이고객센터 1544-7839 | |
groupB | {user_name} 님을 위한 첫결제 혜택 도착
어디서나 2,500원 캐시백 부스트를 넣어드렸어요️
지금 바로 오늘의 부스트를 확인해보세요! | [CHAI 첫결제 혜택 안내]
안녕하세요 차이크루님!
부스트 사용해보시라고 특별 선물로 번개와 부스트를 드렸어요.
지금 드린 두가지 선물 확인하고 캐시백 받아볼까요?
1) 어디서나 부스트
(2,500원 이상 결제 시 2,500원 캐시백/번개 1개 필요/1인1회)
2)이 부스트를 사용하기 위해 필요한 번개 1개
단, 지금 드린 번개와 부스트는 7일간만 유효하니, 시간 내에 번개와 부스트를 사용해서 캐시백을 받아주세요! (1/19 23:59:59까지)
바로 부스트 사용하러 가기
https://chai.onelink.me/br6e/92ab5ca4
*문의사항) 차이고객센터 1544-7839 | |
groupC | {user_name} 님을 위한 첫결제 혜택 도착
일주일 내 5천원 이상 결제하면, 번개 5개를 추가로 드려요️
지금 바로 결제하고 추가 번개 받아보세요! | [CHAI 첫결제 혜택 안내]
안녕하세요 차이크루님!
차이카드 사용해보시라고 특별 선물을 준비했어요.
일주일 내에 5천원 이상 차이카드로 결제하면, 번개 5개를 추가로 드립니다.
지금 바로 결제하고 추가 번개 선물받아볼까요?
(추가 번개 5개는 1/20 일괄 지급)
바로 부스트 사용하러 가기
https://chai.onelink.me/br6e/92ab5ca4
*문의사항) 차이고객센터 1544-7839 | 차이카드 첫결제 혜택 도착
일주일 내 차이카드로 5천원 이상 첫결제하셨죠?
지금 보상으로 번개 5개를 드렸어요️
딥링크
chai://card/boltHistory |
groupD | {user_name} 님을 위한 첫결제 혜택 도착
일주일 내 5천원 이상 결제하면, 차이머니 1천원을 드려요
지금 바로 결제하고 차이머니 받아보세요! | [CHAI 첫결제 혜택 안내]
안녕하세요 차이크루님!
차이카드 사용해보시라고 특별 선물을 준비했어요.
일주일 내에 5천원 이상 차이카드로 결제하면, 차이머니 1천원을 돌려드립니다!
지금 바로 결제하고 차이머니 선물 받아볼까요?
(차이머니는 1/20 일괄 지급)
바로 부스트 사용하러 가기
https://chai.onelink.me/br6e/92ab5ca4
*문의사항) 차이고객센터 1544-7839 | 차이카드 첫결제 혜택 도착
일주일 내 차이카드로 5천원 이상 첫결제하셨죠?
지금 보상으로 차이머니 1천원을 드렸어요️
딥링크
chai://money/history |
control groupE | {user_name} 님, 아직 카드 사용 전이시군요!
오늘도 다양한 브랜드의 부스트가 준비되어있어요 ️
지금 바로 첫결제하고 압도적 혜택을 경험해보세요 | [CHAI 특별 선물 안내]
안녕하세요 차이크루님!
차이카드를 발급 받았지만 아직 한 번도 사용하지 않으셨죠?
오늘도 차이크루 님을 위한 다양한 브랜드의 부스트가 준비되어있어요.
지금 바로 첫 결제하고 압도적 혜택을 경험해보세요.
부스트 사용하러가기
https://chai.onelink.me/br6e/92ab5ca4
*문의사항) 차이고객센터 1544-7839 |
필요한 데이터
최근 1개월 내 카드 발급 후 아직 첫결제 (일반결제, 부스트 결제 모두 포함)를 하지 않은 유저들
•
user ID : 부스트 태깅용
•
di : 푸시 알림용
•
연락처 : 문자 알림용
연관 부서
•
MKT
◦
Riley, Zoe : 실험 진행
•
Product
◦
Mandy
◦
Alice
•
CS 사전 공유
◦
인센티브 별 해당되는 유저 아이디 리스트 넘기기 (CS 대응 위해서!)
To-Do List
1월 11일 화요일
1월 12일 수요일
1월 13일 목요일
1월 20일 목요일
1월 31일 월요일
실험 결과
•
일별 결제 건 수 추이
A, B에서 3일 내 결제 건수 가장 높았고, 부스트를 제공한 B가 꾸준히 높은 결제 보였음. 또한, C보다 D가 더 많은 결제건 수 보였으나 E 보다는 낮은 수치로 결제 유도에 효과가 있었는지는 미지수.
•
3일 내 첫결제 CVR (22/01/13 ~ 22/01/15)
→ A 66, B 61, C 54, D 58, E58
Group A | Group B | Group C | Group D | Group E | sub total | |
실험 대상 | 617 | 617 | 616 | 616 | 616 | 3,082 |
3일 내 결제 | 66 | 61 | 54 | 58 | 58 | 297 |
3일 내 결제 비율 | 10.70% | 9.89% | 8.77% | 9.42% | 9.42% | 9.64% |
•
7일 내 첫결제 CVR (22/01/13 ~ 22/01/19)
→ A 92, B 96, C 75, D 81, E 83
Group A | Group B | Group C | Group D | Group E | sub total | |
실험 대상 | 617 | 617 | 616 | 616 | 616 | 3,082 |
7일 내 결제 | 92 | 96 | 75 | 81 | 83 | 427 |
7일 내 결제 비율 | 14.91% | 15.56% | 12.18% | 13.15% | 13.47% | 13.85% |
결과적으로, A-B 그룹이 C-D 그룹보다 E 그룹에 비해 소폭 높은 CVR 보였음. 따라서, 효과적인 on-boarding을 위해선 앱의 생태계를 이해할 수 있도록 웰컴 번개와 부스트를 제공하는 것이 효과적.
•
그룹별 첫결제 AoV
최소 결제 금액 100원, 최대 결제 금액 412,940원.
추가적으로, 5천원 미만 결제는 A 21, B 31, C 12, D 12, E 23으로 최소 결제금액 허들을 제시한 C와 D에서 적었으며, 어디서나 2,500원 부스트(최소결제 2,500원)를 제공한 B에서 가장 높았음. 그럼에도 B의 AoV가 가장 높은 이유는, 캐시백 제공으로 구매력이 높아져 결제 금액 또한 함께 높아졌기 때문으로 추측.
•
Engagement growth (w. amplitude)
◦
view_boost_item
문자와 푸시 발송한 1월 13일 부스트 지면 확인이 가장 높았음. 푸시 문구에서 앱 지면 확인을 유도한 A, B, E가 높았으며, 첫결제를 언급한 C, D에서는 비교적 낮은 수치 보였음.
◦
view_boost_detail
번개 제공한 A에서 가장 높았으며 B, E, D, C가 뒤를 이음.
◦
buy_boost
부스트를 제공한 B보다 번개를 제공한 A에서 부스트 구매 횟수가 높았으며 지속되는 양상 보임. C, D에서는 전보다 부스트 구매 증가했으나 E와 유사한 수준.
→ 결론
1.
즉각적인 리워드 지급이 효과적 (A > C)
: 특정 조건 만족 시, 리워드를 제공한 C-D 보다 번개와 부스트로 즉각적인 리워드 제공 및 서비스 학습을 유도한 A-B 그룹에서 높은 CVR과 engagement 보였음.
2.
번개 지급이 온보딩에 적합 (A > B)
: 번개 5개를 지급한 A에서 CVR, 부스트 discover, 부스트 buying이 높았으며 지속되는 양상을 보임. 물론 7일 내 CVR은 B가 가장 높았으나, 해당 수치는 지급한 부스트 유효기간에 강제성이 있기 때문이며 engagement의 지속성이 비교적 낮았음.
+ 추가적으로 보면 좋을 것 : A 유저들은 어떤 부스트를 샀을까? C, D 유저들은 5천원 이상 어디서 결제했을까?
+추가 실험 : A안의 번개 개수를 조정하여 최적화된 번개 개수 파악
그래서...가설 검증 결과
