[ADsP] 2과목 데이터 분석 기획

1. 분석 기획 방향성 도출

데이터의 핵심은 데이터 자체가 아닌 분석을 통한 의사결정 최적화

 

▣  데이터 분석 기획

☞ 실제 분석을 수행하기에 앞서 분석을 수행할 과제를 정의하고, 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 작업

 

▣  데이터 분석 도입의 성공 요소

☞ 데이터(Data) + 분석 모델(Analytics Model) + 분석가(Analyst) ▷ 가치 창출(Value) 
• Question First 방식으로 접근

: 업무에 필요한 분석이 무언지를 찾기 위해 분석 질문을 먼저 정의하고 분석하기 위해 필요한 데이터가 무엇인지 정의
• 선택과 집중 : 핵심 분석 몇 가지만 잘해도 차별화된 복제할 수 없는 핵심 경쟁력 가짐
• 자동화된 분석을 업무 프로세스에 내재화 : 분석은 업무 의사결정 프로세스의 일부

 

▣ 분석 대상(What)과 분석 방법(How)

① 해결해야 할 문제를 알고 분석 방법도 알려짐 ▶ 개선을 통한 최적화(Optimization)  

② 해결해야 할 문제는 알지만 분석 방법을 모름 ▶ 솔루션(Solution)을 찾아내는 방식으로 수행  

③ 해결해야 할 문제는 모르지만 분석 방법은 알려짐 ▶ 기존 분석 방법을 활용하여 새로운 지식의 통찰(Insight)을 도출  

④ 해결해야 할 문제도 모르고 분석 방법도 모름 ▶ 발견(Discovery) 접근법으로 분석 대상 자체를 새롭게 도출

 

▣  목표 시점별 분석 기획 방안

☞ 과제 중심적인 접근 방식의 단기 방안, 마스터플랜 단위의 중장기 방안으로 구분

 

▣  분석 기획 시 고려 사항

① 가용할 데이터에 대한 고려 필요

 - 대이터 확보 및 데이터 유형에 대한 분석이 선행되어야 함

② 분석을 통해서 가치가 창출될 수 있는 적절한 활용 방안과 활용 가능한 유즈 케이스 탐색이 필요

③ 분석 과제 수행을 위한 장애 요소에 대한 사전 계획 수립 필요

 

2. 분석 방법론

▣ 기업의 합리적 의사 결정 장애 요소

① 고정 관념(Stereotype)

② 편향된 생각(Bias)

③ 프레이밍 효과(Framing Effect)

 - 문제의 표현 방식에 따라 동일한 사건이나 상황임에도 불구하고 개인의 판단이나 선택이 달라지는 현상

 

▣ 적용 업무에 따른 모델 (3가지)

① 폭포수 모델 (Waterfall Model, 하향식 방식)

 - 전통적인 프로그래밍 개발 모델이며 이전 단계가 완료되어야 다음 단계로 진행

② 프로토타입 모델(Prototyoe Model, 상향식 방식)

 - 시제품을 만들고 평가한 뒤, 보완하는 시행착오 과정을 여러 번 반복하는 방식

③ 나선형 모델(Spiral Model, 상향식 방식)

 - 작은 규모에서 반복을 통해 점자 규모를 늘려 나가는 방식

 

☞ 하향식 방식은 무엇을 분석할지, 즉 what을 아는 상태에서 채택 가능한 방식이고, 상향식 방식은 무엇을 분석할지, 즉 what를 모르는 상태에서 채택 가능한 방식

 

▣ 빅데이터 분석 방법론 프로세스(5단계)

① 분석 기획(Planning)

 비즈니스 이해 및 범위 설정 → 프로젝트 정의 및 계획 수립 → 프로젝트 위험 계획 수립

  * 프로젝트 위험 계획 수립

   : 예상되는 위험에 대해 회피(Avoid), 전이(Transfer), 완화(Mitigate), 수용(Accept)으로 구분하여 위험관리계획서를 작성

② 데이터 준비(Preparing)

 필요 데이터 정의 → 데이터 스토어 설계 → 데이터 수집 및 정합성 점검

③ 데이터 분석(Analyzing)

 분석용 데이터 준비 → 텍스트 분석 → 탐색적 분석(EDA) → 모델링 → 모델 평가 및 검증

 - 탐색적 분석(EDA, Exploratory Data Analysis)

 : 다양한 데이터 시각화를 활용하여 데이터의 가독성을 명확히 하고 데이터의 형상 및 분포 등 데이터 특성을 파악하는 과정

 - 모델링 : 분석용 데이터를 이용한 가설 설정을 통래 모델을 만들거나 기계학습을 이용한 데이터의 분요 예측, 군집 등의 기능을 수행하는 과정

④ 시스템 구현(Developing)

 설계 및 구현 → 시스템 테스트 및 운영

⑤ 평가 및 전개(Deploying)

  모델 발전 계획 수립 → 프로젝트 평가 및 보고

 

▷ 분석 과제 도출 방법

1) 하향식 접근 방법(Top Down Approach)

 : 전통적 방식으로, 문제가 주어지고 이에 대한 해법을 찾기 위해 사용.

  - 문제가 확실할 때 사용함

 

  : 문제 탐색(Problem Discovery) → 문제 정의(Problem Definition) → 해결방안 탐색(Solution Search) →  타당성 검토(Feasibility Study)

 a. 문제 탐색(Problem Discovery) 

  : 무엇을 어떤 목적으로 수행해야 하는지의 관점

  * 비즈니스 모델 기반의 문제 탐색 : 비즈니스 모델 캔버스의 9가지 블록으로 5개 영역(업무, 제품, 고객, 규제와 감사, 지원 인프라)으로 단순화하여 기업의 비즈니스 분석에 이용함.

  * 분석 기회 발굴의 범위 확장

    거시점 관점의 요인 : STEEP - 사회, 기술, 경제, 환경, 정치 영역

    경쟁자 확대 관점 : 대체제, 경쟁자, 신규 진입자 영역

    시장의 니즈 탐색 : 고객, 채널, 영향자들 영역

    역량의 재해석 관점 : 내부역량, 파트너 네트워크 영역

  * 외부 참조 모델 기반의 문제 탐색   

  * 분석 유즈 케이스

b. 문제 정의(Problem Definition) 

  : 문제 탐색에 필요한 데이터 및 기법(How)을 정의하기 위하여 데이터 분석 문제로 변환을 수행

 

2) 상향식 접근 방법(Bottom Up Approach)

 : 문제의 정의 자체가 어려운 경우 데이터를 기반으로 사용함

* 비지도 학습 방법

 

3) 디자인 사고(Design Thinking)

 : 중요한 의사 결정 시 상향식과 하향식을 반복적으로 사용

 - 상향식 접근 방식의 발산(Deverge) 단계와 도출된 옵션을 분석하고 검증하는 하향식 접근 방식의 수렴(Converge) 단계를 반복하여 과제를 발굴함.

 

4. 분석 프로젝트 관리 방안

기존 프로젝트의 영역별 관리(범위, 일정, 품질, 리스크, 의사소통)뿐만 아니라 5가지 추가 관리가 필요함.

1) Data Size

  분석하고자 하는 데이터의 양을 고려하는 관리 방안 수립 필요

2) Data Complexity

  비정형 데이터 및 다양한 시스템에 산재되어 있는 원천 데이터들을 통합해서 분석

3) Speed

  분석 결과 도출 후 분석 결과를 활용하는 시나리오 측면에서의 속도를 고려해야 함

  - 일 단위, 주 단위 실적의 경우에는 배치 형태의 일괄 처리로 작업이 이루어져도 무방하지만

  - 실시간으로 사기 탐지하거나 고객에게 개인화된 상품이나 서비스 추천하는 경우에는 실시간 수행되어야 함.

4) Analytic Complexity

  분석 모델의 복잡도(Complexity)와 정확도(Accuracy)를 고려한 최적의 모델을 찾는 방식 모색

  복잡도와 정확도는 트레이드오프 관계

5) Accuracy & Precision

Accuracy : 높을수록 모델과 실제 값 사이의 차기가 적음

Precision : 높을수록 모델을 지속적으로 반복했을 때의 편차가 적음

분석의 활용 측면에서는 Accuracy가 중요하지만, 안정성 측면에서는 Precision이 중요함

 

* 분석 프로젝트의 관리 영역

- 시간, 범위, 품질, 통합, 이해관계자, 자원, 원가, 리스크, 조달, 의사소통

 

5. 분석 마스터플랜 수립 프레임워크

분석 과제를 대상으로 다양한 기준을 고려하여 적용 우선순위를 설정하고, 데이터 분석 구현을 위한 로드맵을 수립한다.

* 분석 과제 우선순위 결정 시 고려 사항

1) 전략적 중요도

2) 비즈니스 성과 / ROI(투자 자본 수익률)

3) 실행 용이성

 

* 분석 적용 범위 및 방식 고려 요소

1) 업무 내재화 수준

2) 분석 데이터 적용 수준

3) 기술 적용 수준

 

▣ 빅데이터 4V(volume, Variety, Velocity, Value)를 고려한 ROI 관점

1) 투자 비용 측면의 요소

 • Volume : 데이터의 규모 및 양

 • Variety : 데이터의 다양한 종류와 유형

 • Velocity : 데이터의 생성, 처리 속도

2) 비즈니스 효과 측면의 요소

 • Value : 분석 결과 활용 및 실행을 통한 비즈니스 가치

 

- 데이터 분석 과제를 추진할 때 우선 고려해야 하는 요소
• 시급성의 판단 기준: 전략적 중요도가 핵심. 분석 과제의 목표가치(KPI)를 함께 고려하여 판단
• 난이도의 판단 기준: 데이터를 생성, 저장, 가공, 분석하는 비용과 현재 기업의 분석 수준을 고려

 

포트폴리오 사분면을 통한 과제 우선순위 선정 기법

 

• 시급성 기준 : Ⅲ→Ⅳ→Ⅱ 순서로 진행
• 난이도 기준 : Ⅲ→Ⅰ→Ⅱ 순서로 진행

시급성이 높고 난이도가 높은 1 사분면은 경영진 또는 실무 담당자의 의사 결정에 따라 적용 우선순위 조정 가능함.

 

이행 계획 수립

1) 로드맵 수립

2) 세부 이행 계획 수립

 

6. 분석 거버넌스 체계 수립

▣ 거버넌스 체계 개요

※ 거버넌스(Governance)

☞ 기업, 비영리 기관 등에서 규칙, 규범 및 행동이 구조화되고, 유지되고, 규제되고 책임을 지는 방식 및 프로세스

※ 분석 거버넌스

☞ 기업에서 데이터가 어떻게 관리되고, 유지되고, 규제되는지에 대한 내부적인 관리 방식이나 프로세스를 의미

※ 데이터 거버넌스

☞ 데이터의 품질 보장, 프라이버시 보호, 데이터의 수명 관리, 전담 조직과 규정 정립, 데이터 소유권과 관리권 명확화 등을 통해 데이터가 적시에 필요한 사람에게 제공되도록 체계를 확립하는 것

- 데이터 거버넌스가 확립되지 못하면 빅브라더(정보의 독점으로 사회를 통제하는 관리 권력 혹은 그러한 사회 체계)의 우려가 현실화될 가능성이 높음.

 

▣ 분석 거버넌스 체계 구성 요소

1) 조직(Organization) - 분석 기획 및 관리를 수행하는 조직

2) 프로세스(Process) - 과제 기획 및 운영 프로세스

3) 시스템(System) - 분석 관련 IT 시스템과 프로그램

4) 데이터(Data) - 데이터 거버넌스

5) 휴먼 리소스(Human Resource) - 분석 관련 교육 및 마인드 육성 체계

※ 주의 : 분석 비용 및 예산 없음

 

▣ 데이터 분석 수준 진단

 

▣ 분석 준비도(readiness)

☞ 기업의 데이터 분석 도입의 수준을 파악하기 위한 진단 방법

1) 분석 업무 파악

2) 인력 및 조직

3) 분석 기법

4) 분석 데이터

5) 분석 문화

6) IT 인프라

 

▣ 분석 성숙도 (CMMI, Capability Maturity Model Integration) 모델

☞ 소프트웨어 공학에서 시스템 개발 업무 능력과 조직의 성숙도를 파악하기 위해 사용하는 모델

- 성숙도 진단(3개 부분) : 비즈니스 부분, 조직 역량 부분, IT 부분

- 성숙도 수준(4단계) : 도입 단계 - 활용 단계 - 확산 단계 - 최적화 단계

 

▣ 분석 수준 진단 결과 사분면 분석

: 분석 준비도와 성숙도 진단 결과를 토대로 기업의 현재 분석 수준을 객관적으로 파악 가능

- 분석 관점에서 4가지 유형으로 구분하여 목표 방향을 정의하고 유형별 특성에 따라 개선방안 수립

1) 준비형

2) 정착형

3) 도입형

4) 확산형

 

▣ 데이터 거버넌스 체계 수립

☞ 데이터 거버넌스 체계 요소

1) 데이터 표준화

 - 데이터 표준 용어 설정, 명명 규칙 수립, 메타 데이터 구축, 데이터 사전 구축

2) 데이터 관리 체계

 - 메타데이터와 데이터 사전의 관리 원칙 수립

3) 데이터 저장소 관리

 - 전사 차원의 저장소 구성

 - 워크 프로우 및 관리용  응용 소프트웨어 지원, 인터페이스를 통한 통제를 진행

 - 데이터 구조 변경에 따른 사전 영향평가도 반드시 수행되어야 효율적인 활용 가능

4) 표준화 활동

 - 주기적인 점검 및 모니터링

 

☞ 데이터 거버넌스 구성 요소

1) 원칙(Principle)

2) 조직(Organization)

3) 프로세스(Process)

 

▣ 데이터 분석 조직

1) 분석 조직의 개요

• 목표: 기업의 경쟁력 확보를 위해 비즈니스 질문과 이에 부합하는 가치를 찾고 비즈니스를 최적화
• 역할: 전사 및 부서의 분석업무를 발굴하고 전문적 기법과 분석도구를 활용하여 기업 내 존재하는 빅데이터 속에서 insight를 찾아 전파하고 이를 Action 화
• 구성: 기초통계학 및 분석방법에 대한 지식과 분석 경험 가진 인력으로 전사 또는 부서 내 조직으로 구성하여 운영

2) 분석 조직의 3가지 유형

① 집중형 조직 구조

② 기능형 조직 구조

③ 분산형 조직 구조

 

▣ 분석 교육 및 변화 관리

• 기업 내 모든 직원이 분석, 업무 활용을 위한 분석문화 정착을 위한 변화
• 기업에 맞는 적합한 분석업무 도출
• 분석조직 및 인력에 대한 지속적 교육과 훈련 실시
• 경영층이 사실 기반(fact-based) 의사 결정할 수 있는 문화 정착

 

▣ 빅데이터 거버넌스의 특징

• 분석 대상 및 목적을 명확히 정의하고, 필요한 데이터를 수집, 분석하여 점진적으로 확대

→ 기업이 가진 모든 데이터를 분석하여 비즈니스 인사이트를 찾는 노력은 비용면에서 효율적이지 못함.

• 데이터 수명 주기 관리방안을 수립하지 않으면 데이터 가용성 및 관리 비용 증대 문제에 직면

• ERD는 운영 중인 데이터베이스와 일치하기 위해 계속해서 변경 사항 관리 필요

• 산업 분야별, 데이터 유형별, 정보 거버넌스 요소별로 구분하여 작성

• 분석 조직에 대한 지속적인 교육과 훈련 실시

• 개인 정보 보호 및 보안에 대한 방법을 마련해야 함.

 

▣ Servitization

제조업과 서비스업의 융합을 나타내는 용어

▣ CoE(Center of Excellence)

구성원들이 비즈니스 역량, IT 역량 및 분석 역량을 고루 갖추어야 하며, 협업부서 및 IT부서와의 지속적인 커뮤니케이션을 수행하는 조직 내 분석 전문 조직

▣ ISP(정보전략계획) - 전사적인 종합추진 계획

▣Sandbox

보안 모델, 외부 접근 및 영향을 차단하여 제한된 영역 내에서만 프로그램을 동작시키는 것