[아티클] 그 데이터는 잘못 해석되었습니다

주제: 그 데이터는 잘못 해석되었습니다

그 데이터는 잘못 해석되었습니다 | 요즘IT

---

요약

생존자 편향의 오류

• '이탈 고객 중 서비스를 장기간 이용한 고객의 비율'이 상승했다면 최근 고객들의 불만도가 높아졌다고 해석 가능
• 하지만, 직관과 반대로 이 지표가 상승할 때 서비스가 올바른 방향으로 성장한다고 해석할 수도 있음
  • 예를 들어, 전체 이탈자가 100명일 때 아래와 같은 경우 B 서비스가 더 좋은 서비스
  • A 서비스는 80명이 단기간 이용 유저, 20명이 장기간 이용 유저
  • B 서비스는 20명이 단기간 이용 유저, 80명이 장기간 이용 유저
• 생존자 편향의 오류를 막기 위해서는 전체 대상을 기준으로 잡는 것이 중요

 

심슨의 역설

• 전체 지표와 그룹을 나눈 지표의 방향성이 다르게 나타나는 상황
• 퍼널 전환율, 결제 전환율, 클릭률 등 여러 전환율 지표에서 심슨의 역설 발생 가능
• 심슨의 역설을 방지하기 위해서는 전체 집단의 지표뿐만 아니라, 집단을 나누어 지표를 확인하는 과정 필요 (집단의 규모 확인 필요)

 

상관관계를 통한 성급한 일반화

• 상관성은 있으나 인과성이 없는 경우는 제 3의 공통 원인이 존재할 가능성이 높음
  • 이벤트 페이지를 많이 보게 하면 매출이 늘어난다 X
  • 매력적인 이벤트를 하면 매출이 늘어난다 O
  • '매력적인 이벤트'가 제 3의 공통 원인
• 두 지표에 동시에 영향을 줄 공통 원인이 있는지 살펴보고 새로운 구조로 지표 간의 관계를 파악하는 과정 필요

 

목적에 맞지 않는 지표 선택

• 유저 기준 전환율: CTA 버튼 조회 유저 수(중복 제거) 대비 CTA 버튼 클릭 유저 수(중복 제거)
• 이벤트 기준 전환율: CTA 버튼 조회수 대비 CTA 버튼 클릭수
• CTA 버튼 개선 프로젝트의 목표가 유저 수와 무관하게 더 많이 클릭되는 버튼을 만드는 것이라면 사용하는 지표도 바꿔야 함
• 유저 기준 전환율은 낮더라도 이벤트 기준 전환율이 더 높다면 목적과 부합하는 지표는 이벤트 기준 전환율
• 정확히 어떤 관점에서 CTA 버튼을 개선할지 목적을 명확히 해야함

---

공통 인사이트

• 4가지 모두 데이터 해석 과정에서 흔히 일어날 수 있는 오류인 것 같다. 데이터 분석 뿐만 아니라 이후 데이터 해석 역시 매우 중요하다는 사실을 깨달을 수 있었으며 데이터 분석의 목적이 무엇인지 명확히 알고 목적과 상황에 맞는 지표를 선택하고 데이터를 해석할 줄 아는 능력을 기르기 위해 다양한 프로젝트 경험을 쌓아야 겠다는 생각이 들었다. 
• 비즈니스 상황에서 발생할 수 있는 데이터 해석 오류의 상황을 알아볼 수 있었다. 실무에서 데이터를 분석할 때 주의해야 할 점들에는 어떤 것이 있는지 알게 되었다. 원칙보다는 상황에 따른 유연한 사고가 중요하다는 걸 알게 되었다. 데이터 분석이 코드 몇 줄이면 결과가 뚝딱 나올 것 같지만 사실은 데이터 분석가의 통찰력과 도메인 지식이 훨씬 중요할 데이터 분석가로서 데이터를 해석하고 인사이트를 도출할 때 항상 충분한 근거 확보와 잘못된 해석 예방에 주의를 기울여야겠다.

---

+ 프로젝트 제출 완료!!