배너 A/B 테스트(Feat. 카이제곱 검정)

[사수 없는 마케터의 업무일기] 회사에서 나홀로 마케터 나홀로 데이터분석가. 아무도 시킨 적은 없지만 궁금하잖아? 내가 하는 마케팅의 의미는 내가 찾겠어.

---

카카오톡 광고배너 A/B 테스트

자동 최적화 주의사항 (바로가기 Click)

소재 A/B테스트 (바로가기 Click)

통계적 유의성 검토 (바로가기 Click)

---

배너에 대한 ab테스트를 한다고 했을 때 A 배너는 클릭률 5%, 활성률 20%이고 B 배너는 클릭률 3%, 활성률이 50%라면 어떤 배너를 운영해야 할까?

 

일반적으로 매체의 자동 최적화 시스템은 클릭률이 높은 A의 집행예산을 높이고 클릭률이 낮은 B는 낮춘다. 하지만, 각 배너의 노출이 1만이라고 했을 때 A는 500번 클릭되고 100번 활동이 발생 한다. B는 300번 클릭되고 150번 활동이 발생한다. 실질적으로 마케팅 효과가 높은 배너는 A가 아닌 B인 것이다. 

 

효율화 차원에서 매체의 자동 최적화는 매우 편리하지만, 사이트에서의 활성률/활동시간/구매전환이 충분히 고려되지 않는 경우가 많다. 그렇기에 마케터가 직접 각 지표를 고려해서 어떤 소재를 운영할 것인지 판단하는 수고가 요구된다.

 

 

  매체 선택, 배너 광고 해보고 싶습니다!

---

한 달 가량 적응기간을 거치며 둘러보니 회사의 주력 마케팅 매체는 문자광고였다. 그나마 작년에 온라인몰을 개설하면서 네이버 브랜드 검색광고를 하고 있었고(네이버 브랜드 검색광고의 트래픽은 검색유입이나 다름 없으니 광고매체로 생각하지는 않지만), 카페24와 연결된 크리테오 광고를 이제 막 시작한 차였다(입사 동기, 크리테오 광고랄까?).

 

이 회사는 지난 20여년 간 마케팅 없이 대리점 영업만으로 성장해온 회사였고, 온라인몰을 시작하면서 이제 막 온라인 마케팅을 시작하려 단계였다. 이런 곳에 나홀로 마케팅팀으로 입사한 것이었다. 다행히 입사 동기(?) 크리테오는 ROAS 850%의 성과를 보였고 매체 광고를 해보겠다는 명분을 만들어 주었다.

 

그래서 시작한 매체 광고가 카카오톡 배너 광고였다. 이미 문자광고를 통해 오프라인 고객의 온라인몰 가입 유도가 꽤 진척되어 있다는 얘기를 듣고, 오프라인 고객의 온라인몰 가입 촉진과 신규고객 유입을 목표로 설정했다. 오프라인 고객의 온라인몰 가입유도나 아예 브랜드를 몰랐던 사람들의 신규가입 모두 온라인몰에 방문하게 만드는 것이 첫 단추이고, 잦은 노출로 온라인몰을 인지시켜 방문을 유도하기에 카카오톡 배너광고가 괜찮은 매체라고 생각했기 때문이다. 

 

카카오톡 배너광고를 해보겠다는 제안에 50대가 주류 고객인 브랜드에서 누가 카카오톡 광고를 보겠냐는 우려가 있었지만, 크리테오 성과에 힘입어 한 번 해나봐라는 느낌으로 허락이 떨어졌다. 월 마케팅 예산에서 네이버 브랜드 검색광고와 크리테오를 진행하고 남는 금액의 일부를 카카오톡 광고배너 예산으로 쓸 수 있게 되었다. 

 

 

  자동 최적화, 너 괜찮은거니?

---

자사고객을 넘어 대외적으로 메시지를 보내는 첫 시도이다 보니 내부적으로 꽤나 큰 일이었다. 처음에는 누구든 유입이 될만한 문구와 이미지를 넣으면 되는거 아닌가?라고 생각했지만 30개의 문구를 기획해 전무 보고까지 올라갔고, 총 7개의 문구가 채택되고서야 광고를 시작할 수 있었다.

 

결정된 7개 카피를 모두 사용해야 했고 나도 카카오톡 배너광고가 처음이었기에 첫 달의 광고 소재는 이미지 바레이션까지 총 11개 배너를 운영하였다. 그런데 광고를 시작하고 트래픽을 확인해보니 카카오톡 배너 유입의 활성률이 20%대가 아닌가! 카카오모먼트의 데시보드를 확인해보니 활성률이 낮은 소재 하나만 집중적으로 노출 되고 있었다. 카카오의 최적화 시스템은 해당 소재의 클릭률이 높으니 노출을 높이고 다른 소재들의 노출은 낮춘 것이다. 클릭률이 높았던 소재는 가격 경쟁력을 소구하는 문구였고, 그 문구를 보고 많은 사용자들이 유입되었지만 실제 상품가격이 낮은 편이 아니었기에 바로 이탈하는 것으로 생각됐다. 부랴부랴 클릭률이 낮더라도 활성률이 높은 소재 2개만 남기고 다른 소재의 노출을 껐고, 며칠이 지지나니 활성률이 40%대로 올라온데다가 기대하지 않은 구매까지 발생해있었다.

 

3주 운영의 ROAS는 처참했지만 배너광고를 통한 유입수와 그중 신규유입 비중이 80%라는 점을 들어 신규가입을 유도하는데 있어 유의미하다는 의견을 피력하였고, 한 달 더 운영해 보자는 결정이 내려졌다. 

 

 

  A/B테스트, 자동 최적화 아웃!

---

이번에는 배너 수를 줄이고 어떤 소재가 고객들에게 반응이 좋은 파악하기 위한 A/B 테스트를 계획했다. 고객의 페르소나를 대입한 유대 자극형과 고객의 니즈를 직접적으로 겨냥한 소구 강조형으로 문구를 기획했고, 상품을 직접적으로 드러내는 모델컷과 주목도가 높은 일러스트로 이미지를 나누었다. 

 

(좌상단) A.유대 자극형 + 모델컷 / (우상단) B.유대 자극형 + 일러스트 / (좌하단) C.소구 강조형 + 모델컷 / (우하단) D.소구 강조형 + 일러스트

 

 

첫 3일은 D > B > C > A 순으로 클릭률이 높았고, 활성률에 있어서는 C > A > D > B순으로 나타났다. 하지만 시간이 더 지나자 자동 최적화가 다시 말썽을 부리기 시작했다(지난 달 자동 최적화로 인한 문제를 겪고도 원인을 제대로 인지하지 못한 나). 클릭률이 가장 좋았던 D에 비용이 집중되고 다른 배너들의 비용이 뚝 떨어진 것이었다. 사실 3일째 보았던 수치도 편차가 크지 않았기에 간과했을 뿐 이미 최적화에 의해 소재의 노출이 영향을 받았을 터였다(이제서야 원인을 제대로 인지한 나).

 

결국 테스트를 다시 세팅하기로 했다. 일 예산이 균일하게 분배되도록 소재별로 광고그룹을 나누어 설정하였다. 광고 그룹을 나누어 일 예산을 통제하고 나니 이전과 다른 결과가 나타났다. 클릭률은 A > D > B > C 순으로 높게 나타났고 활성률은 A > D > C > B 순으로 나타났다. 

 

 

  통계적 유의성 검토. 나홀로 인사이트 키우기

---

각 배너의 활성률이 극명한 차이를 보였기 때문에 굳이 통계적 유의성을 검토할 필요는 없었지만, 배너 유형에 따른 카이제곱 검정통계량의 P-value를 확인했을 때는 아래와 같았다. 

 

카이제곱 검정통계량 계산식

 

O. 관측값

배너 소재	활성	비횔성	세션(활성+비활성)
A	136	130	266
B	20	81	101
C	34	68	102
D	71	106	177
계	261	385	646

 

 

E. 기대값

배너 소재	활성	비횔성	세션(활성+비활성)
A	107.4705882	158.5294118	266
B	40.80650155	60.19349845	101
C	41.21052632	60.78947368	102
D	71.5123839	105.4876161	177
계	261	385	646

 

 

(O-E)^2/E

배너 소재	활성	비횔성
A	7.5735	5.1342
B	10.6089	7.1920
C	1.2616	0.8553
D	0.0037	0.0025

 

 

각 배너의 활성에 대한 Chi-Square Test

Chi-Squre	32.6316
P-Value	0.00000039

 

P-value를 기반해 볼때 배너유형이 활성률에 대해 유의한 영향이 있고, 이는 사용자가 선호하는 배너유형에 따라 자사몰에 관심을 보이는 정도가 다를 것이라는 생각으로 이어졌다. 다시 말해, 소재에 따라 자사몰에 들어와 상품을 둘러볼 가능성이 높은 고객들을 더 많이 혹은 더 적게 불러모을 수 있다는 것이다.

 

추가적으로 D를 기준으로 하여 카피와 이미지에 따른 효과 차이가 있는지 확인해 보았다. 그 결과 C와의 차이는 유의하지 않았고 A와 B와의 차이는 유의하게 나타났다. 

배너 소재	Chi-Squre	P-Value
A	5.180020753	0.0228
B	12.04813027	0.0005
C	1.267228855	0.2603
D - 대조군(기준)	-	-

 

이를 미루어 볼 때, 활성에 대해 이미지 유형은 유의미한 영향이 없는 반면 카피 유형은 유의미하다고 결론 내릴 수 있었다. 자사 상품과 브랜드의 주 타겟층이 선호하는 카피유형이 어느정도 정해져 있을 수 있고, 주 타겟들이 선호하는 유형을 찾아낸다면 더 높은 광고 효과를 낼 수 있을 터였다. 

 

 

(참고) 검정량 계산 시트

카카오톡 광고배너 A/B테스트_유의성 검정

 

---

 

최종적으로 나머지 배너는 내리고 A배너에 예산을 집중하였고, 랜딩 위치를 바꿔도 보고 상세 페이지를 수정도 해보면서 관리한 결과 60%대의 활성률을 유지할 수 있었다.

 

카카오톡 배너로 유입된 트래픽의 80%이상이 최초 방문자였기에 온라인몰의 노출 및 인지도 증대에 대한 목표는 달성했다고 보았다. 다만, 2월 한달간 운영하여 획득한 트래픽이 9천에 달하고 그중 80% 이상이 최초방문자이며 활성률이 60프로 수준인데 회원가입자 수가 단 1명이라는 것이 마음에 걸렸다. 이에 대해서는 자연유입과 브랜드검색광고 유입에서의 회원가입자가 전월 대비 70% 가량 증가했기에 카카오톡 배너광고가 기여했다고 추정할 뿐이다.

 

결과적으로 카카오톡 배너광고가 온라인몰의 성장에 도움이 된다는 판단을 내렸고 윗선의 동의를 얻어 광고운영을 지속하는 것으로 결정하였다.