아티클 스터디

[아티클] 알라미의 A/B 테스팅 일지 #1

sawo11 2025. 1. 23. 21:23

주제: 알라미의 A/B 테스팅 일지 #1

 

알라미의 A/B 테스팅 일지 #1

A/B 테스팅을 하면서 다른 팀들은 어떤 가설을 기반으로 어떠한 결과를 냈는지 궁금한 적이 많았는데, 이번 기회에 알라미에서 진행했던 A/B 테스팅 중 몇몇 경험들을 공유해보려고 한다.

medium.com


요약

💡앱 등록정보 A/B 테스팅 성공 사례

  • 그래픽 이미지

가설:  슬로건 (SLEEP IF U CAN)을 강조하면 다운로드율이 증가할 것이다. (일본)

  • 간단한 설명

가설:  대상 고객 정의를 적어두면 “이건 바로 나!”라고 생각하고 다운로드율이 증가할 것이다. (한국)

  • 자세한 설명

사진으로 알람해제 모드를 첫 줄에 소개하면 (신기해서) 다운로드율이 증가할 것이다. (독일)

  • 캡쳐화면

가설:  변기 이미지를 세면대로 변경하면 다운로드가 늘 것이다. (미국)

 

💡전환 문구 A/B 테스팅 사례

  • 가설: 보상이 늘어나면 앱 다운로드 역시 증가할 것이다
  • 실제 전환률*: 30일 보상 6% | 60일 보상 14% | 100일 보상 10%*
  • why? 100일의 경우 보상이 너무 커 희소성이 60일에 비해 낮다고 느낌
  • 추천앱 리스트가 5개인 것보다 3개인 것이 효율이 높음 (선택지가 많아지면 구매력이 떨어지는 선택의 역설)
  • 단가가 가장 높은것을 ****첫 번째에 배치하고 ‘좋아요’ 배지를 다는 것으로도 효율을 높일 수 있음

💡주의할 점

  • 리소스는 제한되어 있기 때문에 A/B 테스팅이 가져올 파급력을 고려해서 진행해야함
  • 사용자에 대한 높은 이해도는 가설의 유효성과 맞닿아있음
  • 동일한 기간, 적절한 모수( 통계적 유의미도 계산기) 역시 중요

인사이트

  • 앱 등록정보 화면(스토어 소개 화면)에 관해서는 어떻게 제작되는지에 대해 큰 관심이 없었고 관여하려고 생각하지 않았는데 지금 생각해보면 스토어 화면이 앱 다운로드에 가장 큰 영향을 미칠 수 있는 단계일 것 같다. 관심 없이 지나쳤던 부분에서 많은 개선을 이뤄낸 알라미의 사례가 정말 신기하게 느껴졌고 좀 더 유저의 입장에서 생각해야겠다고 느꼈다.
  • 그리고 무엇보다 사용자를 잘 이해하는 것이 중요하다는 생각을 했다. 이전에는 내가 공감할 수 없는 분야에서 일을 하다보니 사용자에 대한 이해도도 낮았고, 그렇다보니 더 결과를 내기 어려웠던 것 같다. 앞으로는 내가 공감할 수 있는 분야에서 일을 하고 싶다…!