데이터 분석 프레임워크와 수행방법(feat. AARRR 퍼널분석, 코호트 분석, A/B테스트)

---

데이터 분석 프레임워크와 수행방법
(feat. AARRR 퍼널분석, 코호트 분석, A/B테스트)

AARRR 퍼널 분석(바로가기 Click)

코호트 분석(바로가기 Click)

A/B 테스트(바로가기 Click)

---

AARRR은 고객여정과 사용자의 상호작용의 단계를 나누어 최적화 및 관리하기 위해 개발된 프레임워크로 프러덕트 분석과 마케팅 분석에서 퍼널 분석이란 이름으로 활용된다. AARRR 퍼널 분석이 고객여정과 사용자의 상호작용에 대해 분석하는 만큼 고객에 대한 분석이 수반되어야 한다. 이를 위해 진행하는 것이 동질집단 분석이라고 하는 코호트(Cohort) 분석이다. 유사한 행동이나 특성을 보이는 고객을 집단으로 묶어 파악하고 인사이트를 도출한다. 퍼널 분석의 목적은 결국 고객여정의 각 순간에서 일어나는 사건을 정의하고 부정적인지, 긍정적인지를 판단하는 것이다. 그리고 무언가 개선하기 위해서 또는 새로운 걸 적용하기 전, 복수의 선택지 중 어떤 안이 좋을지 비교하는 A/B 테스트를 수행한다. 이처럼 퍼널분석, 코호트분석, A/B테스트는 독립적인 분석방법론이 아니라 긴밀하게 연관된 하나의 파이프라고 생각해야 한다. 

 

 

  AARRR 퍼널 분석

서비스와 사용자 사이의 인터렉션을 5단계(퍼널)로 구분한 AARRR 프레임워크(Pirate Metrics, 해적지표)를 바탕으로 각 퍼널에서 나타나는 사용자의 상호작용을 측정하여 문제정의/개선 등을 수행

---

1. AARRR 프레임워크란?

그로스해킹 방법론 중 하나로 서비스와 사용자 사이의 상호작용을 5단계로 구분하여 비즈니스의 성장을 관리하기 위해 만든 프레임워크

AARRR 프레임워크

 

 

2. AARRR 퍼널 설계 및 분석 프로세스

① 퍼널 별 인터렉션 정의
② 퍼널/인터렉션 별 세부 지표 정의
③ 지표를 바탕으로 분석 수행
④ 퍼널/인터렉션 별 문제 정의
⑤ 문제에 대한 가설설정 및 개선 방향 도출
⑥ 실험(A/B테스트) or 개선

 

 

3. 사용자 인터렉션과 지표를 측정하기 위한 솔류션툴

Google Analystics & GTM
*무료로 사용할 수 있어서 대학생/취업준비생도 프로젝트로 진행할 수 있음
*상호작용 이벤트 적용/지표 설계, 측정, 코호트 분석 등 가능

Google Analytics Academy

👇 [유튜브 클립] 참고하면 좋은 영상 

 

 

 

 

 

  코호트 분석

유사한 특성이나 행동을 가진 그룹을 정의하고 이 그룹의 변화를 추적하고 분석하는 방법

---

1. 코호트 분석에서 사용되는 용어/개념

① 코호트(Cohort): 비슷한 특성을 가진 그룹으로 특정 기간에 동일한 경험을 공유
② 세그멘테이션(Segmentation): 코호트 분석에서 비슷한 특성을 가진 그룹을 정의하는 과정을 의미
③ 유지율(Retention Rate): 특정 기간 동안 코호트의 멤버가 그룹에 유지되는 비율
④ 이탈율(Churn Rate): 특정 기간 이후 그룹에서 이탈한 코호트 멤버의 비율

퍼널 분석 예시

 

 

2. 코호트 분석의 활용

① 유지율 분석
- 특정 기간 동안 코호트의 멤버가 그룹에 유지되는 비율을 분석
- 어떤 요인이 유지율에 영향을 미치는지 파악고객 이탈을 예방하고 장기적인 가치를 창출

②  개인화 마케팅
- 특정 코호트의 행동 패턴을 파악
- 해당 코호트에게 맞춤형 마케팅 전략을 구성고객 경험을 개선/매출 증대

③  제품 개선
- 사용자 행동을 이해하여 제품 또는 서비스를 개선하는 데 활용

 

---

 

 

  A/B 테스트

동일집단을 실험군과 대조군으로 나누어 동일한 기간 동안 동일한 소재(배너/UI/콘텐츠 등 유저와 인터렉션하는 것)의 2가지 버전을 실험하여 시즈널, 채널특성 등 외부요인를 최대한 통제하고 더 효과적인 수단을 찾아내는 최적화 방법

---

1. 문제정의

어떠한 목표를 위해 A/B 테스트를 진행할 것인가?
지표를 바탕으로 현상을 파악하고, 그에 대한 원인과 그로부터 예상되는 결과를 정의
ex.
현상: 추천상품을 클릭한 유저들의 평균객단가(ARPU)가 높음. 하지만 추천상품을 클릭하는 유저의 비율은 적음
문제정의: 추천상품 UX/UI를 비교하여 클릭 및 매출에 대한 효과를 파악

① Success metrics(Primary metrics)

- 회사의 궁극적인 달성 목표(하나 혹은 최소한의 지표)    ex. 객단가(ARPU)

② Supporting metrics(Secondary metrics)
- 테스트와 직접적으로 관련된 지표    ex. 추천상품 클릭 유무
- 변경사항과 인과관계를 파악하고 싶은 지표    ex. 상품추천 UI에 대한 클릭율

③ Guardrial metrics
- 비즈니스를 보호하는 지표    ex. 유의미한 매출 하락, 로딩 지연 등 
- 실험 결과의 신뢰성을 확인하는 지표   ex. sample ratio mismatch

 

 

2. 가설 설정

① 각 버전이 목표에 어떠한 효과를 가질 것으로 예상하는가?
ex. 구매전환이 이루어지지 않고 이탈하는 퍼널(제품 상세페이지)에서 추천상품을 노출한다면 객단가가 증가할 것으로 예상

② 가설에 따른 실험 소재 설계
ex.
A type. 기존 UI - 상품 리스트 페이지에만 노출, 상품 클릭 시 상세페이지에 해당 상품에 대한 정보만 노출
B type. 실험 UI - 상세페이지에 클릭한 상품 정보 외 추천상품 노출 추가
추천상품의 노출이 증가한 B type의 UI에서 객단가가 높아질 것으로 예상

 

 

3. 실험

① 실험의 대상으로 할 샘플 및 실험 기간 설정
- 실험 특성에 맞는 실험군과 대조군 샘플링 설정 ex. 단순 랜덤 샘플링, 층화 랜덤 샘플링 등
- 기존 효과와 기대하는 효과를 바탕으로 검증에 필요한 샘플 수 설정
- 서비스의 일활성사용자(DAU)을 기준으로 필요한 샘플 수를 나누어 실험 기간 설정
ex. DAU가 1000일 때, 실험에 필요한 샘플이 2500명이라면 3일 수행

② 실험 수행 및 지표 모니터링
- Guardrial metrics를 확인하며 실험으로 인한 문제 방지
ex. 실험을 시작한 후 3일간 매출이 유의미하게 하락하는 경우 실험을 중단

 

 

4. 검증/분석

① 실험군에 대한 효과와 통계적 유의성 검증
- 대조군 대비 실험군의 효과(+/-)를 확인
- 지표가 연속형 변수인 경우 t-test를 통한 p-value 확인
- 지표가 범주형 변수인 경우 Chi-square test를 통한 p-value 확인 

② 결과 해석
- 각 지표의 p-value가 통상적으로 사용하는 유의수준 5%에 유의하지 않더라도 효과가 있는 것으로 판단할 수 있음
- p-value는 샘플수에 영향을 받아 샘플수가 충분히 크지 않으면 실제 유의미한 효과를 갖더라도 통계적으로 검증되지 않을 수 있음
- 세그먼트(제품군 별, 디바이스 별 등)의 p-value가 유의하지 않더라도, 전체적인 지표들의 일관된 효과를 가진다면 효과가 유의하다고 판단할 수 있음

③ 결론/인사이트 도출
- 긍정적인 효과가 검증되었다면 서비스에 적용
- 분석결과가 가설과 다르더라도 유저의 관점/반응을 이해하는 것에 의의를 둠
*기업들이 A/B테스트에서 유의미한 결과를 도출하는 비율은 10~30% 수준이라고 함
*성과를 내는 것도 중요하지만, 실험을 통해 인사이트를 누적해가는 것도 중

 

 

👇 [유튜브 클립] 참고하면 좋은 영상

 

⭐ 추천하는 강의

AB 테스트 실무자 완벽 가이드 - 인프런 | 강의