정형 데이터&반정형 데이터&비정형 데이터
정형 데이터: 명확한 스키마와 고정된 구조를 가지고 있는 데이터 / ERP, CRM, SCM 등의 정보시스템
ex. 수요 예측 데이터, 경쟁사 가격, 날씨 데이터, 멤버십 프로그램 데이터, CRM 거래 데이터
반정형 데이터: 고정된 스키마는 없지만, 데이터 간 구조화된 형식을 가짐 / 로그 데이터, 모바일 데이터, 센싱 데이터
ex. 이메일 기록, 웹 로그, 사물 인터넷 센싱, 모바일 위치 정보
비정형 데이터: 고정된 구조가 없고 다양한 형식으로 존재 / 영상, 음성 문자
ex. 페이스북 상태, RFID, 트위터 피드
CRISP - DM 방법론
데이터 준비단계: 데이터셋 선택, 데이터 정제, 분석용 데이터셋 편성, 데이터 통합, 데이터 포맷팅 작업
모델링 단계: 모델 테스트 계획 설계, 모델 평가, 모델링 기법 선택
빅데이터 분석 방법론
분석기획 단계 순서
프로젝트 범위 설정 - 데이터 분석 프로젝트 정의 - 프로젝트 수행계획 수립 - 데이터 분석 위험 식별
단계 간 피드백이 반복적으로 많이 발생할 수 있는 단계
데이터 준비 단계 - 데이터 분석단계
비즈니스 모델 캔버스
기업 내.외부 환경을 포괄하고 있는 비즈니스 모델이라는 특성을 활용하여 비즈니스 모델 캔버스의 9가지 블록을 단순화하여 업무, 제품, 고객 단위로 문제를 발굴하고 이를 관리하는 두가지의 영역인 규제와 감사 영역과 지원 인프라 영역에 대한 기회를 추가로 도출하는 작업 수행
업무-제품-고객-규제&감사-지원인프라
채널: 기업이 고객 세그먼트에게 가치를 제안하기 위해 커뮤니케이션을 하고 상품이나 서비스를 전달하는 방법
커뮤니케이션, 물류, 판매채널 등 기업과 고객의 인터페이스 전반이 바로 채널.
유통 채널을 공급하는 것은 채널 영역 x
데이터 분석 과제
프로젝트 관리
시간관리: 프로젝트의 활동 일정을 수립하고 일정 통제의 진척 상황을 관찰하는 데 요구되는 프로세스
데이터 분석을 위한 수준 진단
‘분석 준비도’의 분석 데이터 진단 항목
충분성, 신뢰성, 적시성, 비구조적 데이터 관리, 외부 데이터 활용 체계, 기준 데이터 관리
과제 중심적인 접근 방식&장기적인 마스터 플랜 방식
1차 목표: Speed&Test / Accuracy&Deploy
과제의 유형: Quick-win / Long Term View
접근 방식: Problem Solving / Problem Definition
데이터 분석 준비도 프레임워크
분석 업무 파악 영역: 발생한 사실 분석 업무, 예측 분석 업무, 시뮬레이션 분석 업무, 최적화 분석 업무, 분석 업무 정기적 개선
데이터 분석을 위한 조직 구조
집중 구조
전사 분석 업무를 별도의 분석 전담 조직에서 담당하며 전략적 중요도에 따라 분석 조직이 우선순위를 정해서 진행 가능하기 때문에 현업 업무부서의 분석 업무와 이중화 / 이원화 가능성이 높음
분석 마스터 플랜 수립
과제 우선순위 평가는 비즈니스 효과인 시급성과 투자비용 요소인 난이도에 근거하여 결정
분석 과제 도출, 우선 순위 결정, 중장기 마스터 플랜 수립과제 도출 순서
과제별 데이터 분석 체계는 폭포수 방식도 있으나 반복적인 정련과정을 통해 과제의 완성도를 높이는 방법으로 많이 사용
과제의 우선순위를 고려하여 작성하되 과제별 선후관계를 감안하여 단계별 추진 내용 정렬
과제 우선순위 결정
투자 비용 요소: 크기, 다양성, 속도
비즈니스 효과: 가치
빅데이터 거버넌스
단순히 대용량 데이터를 수집, 축적하는 것보다는 어떤 목적으로 어떤 데이터를 어떻게 분석에 활용할 것인가가 더욱 중요
ERD는 운영 중인 데이터베이스와 일치하기 위하여 철저한 변경관리 필요
산업분야별, 데이터 유형별, 정보 거버넌스 요소별로 구분하여 작성
빅데이터 분석에서 품질관리도 중요하지만, 데이터 수명주기 관리방안을 수립하지 않으면 데이터 가용성 및 관리비용 증대 문제에 직면할 수 있음
데이터 거버넌스
- 전사 차원의 모든 데이터에 대해 정책 및 지침, 표준화, 운영 조직 및 책임 등의 표준화된 관계를 수립하고 운영을 위한 프레임워크 및 저장소를 구축하는 것
- 기업은 데이터 거버넌스 체계를 구축함으로써 데이터의 가용성, 유용성, 통합성, 보안성, 안정성을 확보할 수 있음
- 마스터 데이터, 메타 데이터, 데이터 사전은 데이터 거버넌스의 중요 관리 대상
- 데이터 거버넌스는 독자적으로 수행될 수도 있지만 전사 차원의 IT 거버넌스나 EA의 구성요소로써 구축되는 경우도 있음
분석 과제 관리 프로세스
분석 과제 중 발생된 시사점과 분석 결과물이 풀로 관리하고 공유됨
확정된 분석과제는 풀로 관리 X
빅데이터 분석의 특성(데이터 분석과 비교)
분석 대상 데이터를 모든 형태 및 내외부 데이터로 확대
데이터의 생산 시점에서부터 실시간에 가까운 분석 가능
데이터 마트에 정형 데이터를 적재하고 데이터 분석을 통해 모델을 만들 수 있음
Self Service Analytics
포함되어야 하는 주요 기능: BI도구, Ad hoc Report, OLAP, Visual Discovery, MachineLearning
성공적인 적용을 위해서는 Reference Method의 작성 및 공유, 표준 데이터의 활용, 데이터 거버넌스, 도구 사용에 대한 지속적인 교육 필요
R, Python 등의 데이터 분석 언어와 많은 통계적 지식 필요
분산 처리 지원 x
Servitization
제품과 서비스의 결합, 서비스의 상품화, 기존 서비스와 신규 서비스의 결합 현상 포괄
빅데이터 분석 방법론
- 분석 기획 단계
- 프로젝트 위험 대응 계획 수립 시 예상되는 위험에 대한 대응 방법의 구분: 회피, 전이, 완화, 수용
- 시스템 구현 단계
- 설계 및 구현, 테스트 및 운영으로 이루어짐
- 시스템 설계서를 바탕으로 BI 패키지를 활용하거나 새롭게 프로그램 코딩을 통하여 시스템 구축
- 정보 보호 및 시스템 성능, 정보 보안 영역과 코딩은 시스템 구현 단계에 해당되지 않음
프로토타이핑 접근법
신속하게 해결책이나 모형을 제시함으로써 문제를 좀 더 명확하게 인식하고 필요한 데이터를 식별하여 구체화할 수 있게 하는 유용한 상향식 접근 방법
데이터 분석을 위한 기업의 성숙도 모델
도입 단계: 데이터 웨어하우스, 데이터 마트, ETL/EAI, OLAP
활용 단계: 실시간 대시보드, 통계분석 환경
확산 단계: 빅데이터 관리 환경, 시뮬레이션.최적화, 비주얼 분석, 분석 전용 서버
최적화 단계: 분석 협업환경, 분석 Sandbox, 프로세스 내재화, 빅데이터 분석
분석 기획 단계
비즈니스 이해 및 범위 설정 태스크
프로젝트 범위 설정의 산출물: SoW (Statement of Works)
프로젝트 관리 분야에서 서비스를 제공하기 위한 활동, 산출물, 작업 시간 등을 포함하는 기술서
데이터 분석 조직구조
집중형 조직구조: 조직 내 별도의 분석 전담 조직을 독립적으로 구성하는 것으로 분석 업무의 중복 또는 이원화 이슈가 있음
기능 중심 조직구조; 별도의 분석 전담 조직을 구성하지 않고 해당 부처에서 직접 분석을 수행함으로써 국한된 분석 수행 이슈
분산 구조: 분석 조직의 인력을 현업 부서에 배치하여 분석 업무를 수행함으로써 분석 결과에 따른 신속한 Action 가능
분석 조직은 분석 전문 인력 뿐만 아니라 도메인 전문가, IT 인력, 변화 관리 및 교육 담당 인력으로 구성되어야 효율적인 운영 가능
분석 과제 발굴 방식 중 하향식 접근법의 과제 도출 단계
Problem Discovery - Problem Definition - Solution Search - Feasibility Study
문제 탐색 - 문제 정의 - 해결 방안 탐색 - 타당성 평가
분석 준비도
- 분석 업무 파악
- 인력 및 조직
- 분석 기법
- 업무별 적합한 분석 기법 사용
- 분석 업무 도입 방법론
- 분석 기법 라이브러리
- 분석 기법 효과성 평가
- 분석 기법 정기적 개선
- 분석 데이터
- 분석 문화
- IT 인프라
데이터 분석 방법론 구성요소
- 상세한 절차
- 방법
- 도구와 기법
- 템플릿과 산출물
분석 마스터플랜과 ISP의 관계
- 기업 및 공공기관에서는 시스템의 중장기 로드맵을 정의하기 위한 정보 전략 계획인 ISP를 수행
- ISP는 분석 마스터 플랜과 달리 시스템 구축 우선순위를 결정하는 등의 중장기 마스터 플랜을 수립
- 분석 마스터 플랜을 데이터 분석 기획의 특징을 고려하여 수행