아티클 스터디
[아티클] 알라미의 A/B 테스팅 일지 #1
sawo11
2025. 1. 23. 21:23
주제: 알라미의 A/B 테스팅 일지 #1
알라미의 A/B 테스팅 일지 #1
A/B 테스팅을 하면서 다른 팀들은 어떤 가설을 기반으로 어떠한 결과를 냈는지 궁금한 적이 많았는데, 이번 기회에 알라미에서 진행했던 A/B 테스팅 중 몇몇 경험들을 공유해보려고 한다.
medium.com
요약
💡앱 등록정보 A/B 테스팅 성공 사례
- 그래픽 이미지
- 간단한 설명
- 자세한 설명
- 캡쳐화면
💡전환 문구 A/B 테스팅 사례
- 가설: 보상이 늘어나면 앱 다운로드 역시 증가할 것이다
- 실제 전환률*: 30일 보상 6% | 60일 보상 14% | 100일 보상 10%*
- why? 100일의 경우 보상이 너무 커 희소성이 60일에 비해 낮다고 느낌
- 추천앱 리스트가 5개인 것보다 3개인 것이 효율이 높음 (선택지가 많아지면 구매력이 떨어지는 선택의 역설)
- 단가가 가장 높은것을 ****첫 번째에 배치하고 ‘좋아요’ 배지를 다는 것으로도 효율을 높일 수 있음
💡주의할 점
- 리소스는 제한되어 있기 때문에 A/B 테스팅이 가져올 파급력을 고려해서 진행해야함
- 사용자에 대한 높은 이해도는 가설의 유효성과 맞닿아있음
- 동일한 기간, 적절한 모수( 통계적 유의미도 계산기) 역시 중요
인사이트
- 앱 등록정보 화면(스토어 소개 화면)에 관해서는 어떻게 제작되는지에 대해 큰 관심이 없었고 관여하려고 생각하지 않았는데 지금 생각해보면 스토어 화면이 앱 다운로드에 가장 큰 영향을 미칠 수 있는 단계일 것 같다. 관심 없이 지나쳤던 부분에서 많은 개선을 이뤄낸 알라미의 사례가 정말 신기하게 느껴졌고 좀 더 유저의 입장에서 생각해야겠다고 느꼈다.
- 그리고 무엇보다 사용자를 잘 이해하는 것이 중요하다는 생각을 했다. 이전에는 내가 공감할 수 없는 분야에서 일을 하다보니 사용자에 대한 이해도도 낮았고, 그렇다보니 더 결과를 내기 어려웠던 것 같다. 앞으로는 내가 공감할 수 있는 분야에서 일을 하고 싶다…!