[아티클] A/B 테스트 제대로 이해하기⑤: A/B 테스트에 적정한 표본과 주의 사항

주제: A/B 테스트 제대로 이해하기: A/B 테스트에 적정한 표본과 주의 사항

A/B 테스트 제대로 이해하기: 5 A/B 테스트에 적정한 표본과 주의 사항 | 요즘IT

---

요약

💡표본, 실험의 트래픽은 얼마나 모아야 할까?

→ A안과 B안 사이의 차이가 어느 정도 되기를 기대하느냐에 따라 다르다
→ 동일한 신뢰 수준이라도 표본의 크기에 따라 유의미한 결과 여부가 달라질 가능성이 있기 때문!
→ 표본은 얼마나 필요한가? = 두 방안의 결과가 몇 % 정도 차이가 날 것이라고 기대하는가
→ 이는 결국 담당자의 추측, 자신감, 또는 이전 경험을 바탕으로 이루어짐

 

💡A/B 테스트 수행 시 주의점

 1. 내가 미는 방안이 이길 때까지 기다리기? NO 
    → 원래 목표인 ‘고객에게 더 좋은 방안 제공하기’는 뒷전이 될 수 있음
 2. 내가 미는 방안이 지기 전에 그만두기? NO 
    → 표본의 크기가 충분해질수록 내가 설계한 B안이 질 것 같이 보이면 실험을 조기에 종료하는 것은 의도적인 오류가 될 수 있음
 3. A안과 B안을 다른 날짜에 시작하기? NO 
    → 같은 시간에 실험을 시작해야 결과의 차이가 실험에서 만든 요소에 의한 것인지, 혹은 다른 이유가 있는 것인지 파악할 수 있음

---

인사이트

• A/B 테스트 시 표본의 크기는 결국 담당자의 판단에 따라 정해야 한다. 많은 경험을 통해 적절한 표본의 크기를 찾을 수 있으면 좋겠다. 원하는 만큼 표본을 모으지 못했을 경우도 종종 발생할텐데 이러한 경우 결과가 유의미한지 판단하기 어려워질 것 같다.
• A/B 테스트 수행 시 주의점을 더 명확히 알게 되었다! 내가 저질렀던 의도적인 오류는 없었는지 돌아보고 앞으로는 의도적인 오류를 만들지 않도록 더 주의해야겠다. 특히, A안과 B안의 테스트를 불가피하게 다른 날짜에 시작한 경우가 있었는데 이러한 상황에서는 실험에서 만든 요소 외에 다양한 외부적인 요소가 실험에 영향을 미칠 수 있기 때문에 최대한 같은 시간에 실험을 시작하는 것이 중요할 것 같다.
• 카카오 알림톡 발송 시 시안을 여러개 제작하고 그 중 직관적인 판단으로 최종 시안을 선택했던 경험이 있는데 타겟을 랜덤으로 추출하여 다른 시안을 발송하고 전환율을 판단해봐도 좋았을 것 같다.