A/B Test 설계 및 분석 방법

A/B Test 설계하기

📍 실험기간

샘플 크기를 고려했을 때 가설 검증을 위한 데이터를 수집하는데 필요한 기간을 정의.
특별한 이유가 없다면 진행중인 실험을 임의로 중단하고 중간에 결론을 내려서는 안된다.

📍 샘플크기

통계적 유의도를 확보하기 위한 샘플크기.

📍 통제변수

실험 결과에 영향을 미칠 수 있기 때문에 실험집단, 통제집단 모두에서 동등한 조건을 가져야하는 변수.

독립변수가 아니지만 종속변수에 영향을 미칠 수 있는 제3의 변수.

A/B테스트의 성패는 통제변수를 얼마나 잘 관리하느냐에 달린 경우가 많다.

📍 종속변수

측정가능해야하며 구체적으로 어떤 기준으로 측정할 것인지에 대한 조작적인 정의가 명확해야함.

실험설계과정에서는 종속변수의 현재 수준을 측정하고 실험을 통해 어느정도의 변화를 기대하는지 정의하는 것이 필요.

📍 독립변수

설명변수 또는 예측변수. 일반적으로는 2개 내외수준.

📍 실험 집단/통제 집단

실험 조건에 할당되는 사용자들을 어떤 기준, 어떤 비율로 할당할 것인지 정의.

통제집단 및 실험집단과 관련해서 통제변수 관리와 엄격한 기준에 따른 샘플링이 중요.

📍 가설

독립 변수와 종속 변수가 무엇인지를 정의하고 종속변수의 목표수준을 정하는 형태.

eg. ‘서비스 소개를 텍스트로 보여주는 화면보다 이미지로 보여주는 화면에서 가입 전환율이 10% 더 높을 것이다’

 

📍 A/B테스트 설계 시 유의사항

• 실험집단&통제집단 샘플링
  랜덤추출은 통제변수가 잘 관리된것을 전제로 모든 표본이 동일한 확률을 가진 상태에서 뽑는 무작위 추출을 의미.
  → 서비스소개를 보여주는 방식에 따른 가입전환율 실험일 때, 회원번호 홀/짝으로 나누기는 가입경로라는 통제 변수가 고려되지 않았기 때문에 실제로 랜덤추출되지않았을 수 있음
• 순차 테스트 vs 동시 테스트
  순차테스트 : A조건으로 일정 기간 테스트한 다음, B조건으로 바꿔 연이어 테스트하고 두가지 조건의 결과를 비교.
  실험기간이 달라짐에 따라 기대하지못한 외부효과 개입여지가 있으므로 통제변수 관리 불가
  (A-B-A 테스트와 같이 시차를 두고 통제조건을 재차 테스트하는 것으로 보완 가능)
• 샘플 크기
  샘플크기 고려없이 실험을 진행한다면 엿보기&조기중지의 함정에 빠질 수 있음 샘플크기 계산기 1, 샘플크기 계산기 2

 

A/B Test 분석

📍 p-value

• 귀무가설 하에서 관찰된 검정통계량만큼의 극단적인 값이 관찰될 확률을 의미
• H0 : A조건의 클릭률과 B조건의 클릭률의 차이가 없다
  H1 : A조건의 클릭률이 B조건의 클릭률보다 높다
  표본 추출 후 검정 → 검정통계량(t-통계량, F-통계량 등)이 매우 극단적인 경우,
  귀무가설 하에서 이처럼 극단적 검정통계량이 관찰될 확률이 5%미만이다(p값 0.05이하)
  → A조건과 B조건은 클릭률의 차이가 있다고 할 수 있다.

📍 A/B테스트 계산기

• 종속변수가 범주형 - 로지스틱 회귀, 카이제곱 검정
  https://www.evanmiller.org/ab-testing/chi-squared.html
  https://www.abtestcalculator.com
• 종속변수가 이산형 - t검증, 분산분석
  https://www.evanmiller.org/ab-testing/t-test.html
  https://mathcracker.com/t-test-for-two-means

📍 테스트 비용, 효과 크기

• p값이 절대적인 기준은 아님 → 표본크기가 커지면 p값은 낮아지는 특성이 있음 → p값이 충분히 낮더라도 집단간 차이가 미미하면 사업적 관점에서 무의미할수도? 효과 계산해봐야함

📍 테스트 시 주의사항

• 무가설
  A/B테스트의 출발점은 가설이며, 통제 집단 관리나 독립변수와 종속변수 정의 등 모든 설계는 가설에 근거해서 진행됨
• 통제 변수 관리 실패
  A/B테스트 실패의 가장 큰 원인: 통제변수를 식별하지 못했더나 잘 관리하지 못하는 것
• 단순 평균 비교
  우연에 의한 결과와 실제 효과를 혼동 가능. 분포, 유의수준, 효과 크기 등 종합 고려후 판단
• 엿보기&조기중지
  p값 변화를 살펴보다가 0.05이하로 내려가는 시점에 중단하는것
  → 어뷰징 행위 p값 안정화 전 중지 시, 실제로 없는 효과를 있는 것처럼 판단할 수 있음
• 시간의 흐름에 따른 차이 살펴보지 않음
  시간의 흐름에 따라 종속변수의 변화 확인 또한 중요
  → 실험집단 샘플링 실패, 특정 시점 기능 오류 발생, 데이터 수집과정에서 오류 등 발견 가능
• 과거 A/B테스트 경험을 지나치게 신뢰
  시장, 계절, 외부환경, 사용자층, 사용자들의 취향 등 다양한 요인에 의해 변화 가능
• 국지적 최적화의 함정
  A/B테스트는 주어진 조건 안에서 비교하는 실험이므로, B가 모든 경우에서 가장 좋은 최적의 조건은 아님

 

 

 

참고도서  
- 양승화, 「그로스해킹」, 위키북스, 2021