[아티클] 실험 조직으로 거듭나기: ② 검증할 '만'한 가설은?

주제: 실험 조직으로 거듭나기: ② 검증할 '만'한 가설은?

실험 조직으로 거듭나기: 2 검증할 ‘만’한 가설은? | 요즘IT

---

요약

가설 검증 프로세스

검증할 가설 선택 → 가설 검증 방식 결정 → 검증 지표와 목표 수치 결정 → 실험 기간 결정 → 기존 실험 환경을 튜닝해 최적의 실험 환경 만들기 → 실험 진행 및 검증 데이터 수집 → 데이터 분석을 통한 가설 검증

검증 가설 선택하기

• 주어진 시간 동안 검증할 수 있는 가설의 수는 한정되어 있으므로 우선순위를 매겨 가장 가치가 높아 보이는 가설부터 검증해야함
  • 현재 상황을 개선하는가?
    • OKR을 통한 문제 상황 파악
    • 문제 상황의 근본 원인이 검증해야 할 가설
  • Actionable한가? ( = 다음 행동을 제시할 수 있는가)
    • 이 가설을 검증했을 때, 우리가 다음에 어디로 가야 하는지 알 수 있을지 고민해야함

검증 방식 선택하기

• A/B 테스트
  • 실험에 영향을 주는 것은 A/B 테스트를 위해 설정한 변수뿐이어야 명확한 가설 검증 가능
• 실험 전후 검증
  • 실험이 진행되기 전과 후의 고객 반응을 비교하여 가설 검증
  • 통제할 수 없는 변수가 많기 때문에 유의미성을 갖기 어려움 ⇒ 되도록 A/B 테스트 추천
• XYZ 가설 검증
  • 애매모호함을 없애기 위해 사용
  • 고객의 행동에 정량적으로 접근
  • X의 Y%는 Z할 것이다
    • X: 우리의 표적은 누구일까?
    • Y: 표적 시장의 몇 퍼센트를 차지할 수 있을까?
    • Z: 표적 시장은 우리 제품에 어떤 식으로, 정확히 어느 범위까지 호응할까?
    • ex. 재방문 유저의 20%는 기능을 5분 동안 사용할 것이다

결론

• ‘어떤 가설’을 ‘어떤 방식’으로 검증할지 결정했다면 가설 설정의 뼈대를 완성한 것
• 참/거짓을 어떤 데이터를 보고 판단할지, 얼마나 실험을 진행해야 하는지 등을 결정하면 바로 검증을 위한 실험을 진행할 수 있음

---

인사이트

•  
• 검증할 가설을 선택할 때, 어떤 기준을 고려하여 우선순위를 결정해야하는지 알 수 있었다. 해당 가설 검증을 통해 현재 상황을 개선할 수 있는지, 그 다음 액션을 정할 수 있는지 고민이 필요하다는 사실을 깨닫게 되었고 데이터 분석을 할 때 해당 프로세스를 따라 진행한다면 더 체계적인 분석을 할 수 있을 것 같다고 느꼈다.
• 가설을 세우거나 KPI를 설정할 때 구체적인 수치와 그 근거를 명확히 해야겠다는 생각을 했다. 데이터 분석 부트캠프에서 하는 프로젝트에서는 인사이트는 낼 수 있지만 그 인사이트를 직접 적용해볼 수 없다는 점이 너무 아쉽다. 최종 프로젝트에서 실제 서비스의 데이터 분석을 통해 가설을 검증하여 서비스를 개선하는 경험을 할 수 있다면 너무 좋을 것 같다.