본문 바로가기

ADSP 요점정리

 (6)
[데이터 이해] 04. 빅데이터의 이해 04. 빅데이터의 이해 1. 빅데이터의 특징(3V) 빅데이터는 단순히 용량만 방대한 것이 아니라 복잡성도 증가해 기존 데이터 처리 애플리케이션이나 관리 툴(tool)로는 다루기 어려운 데이터 세트의 집합이다. Volume • 데이터의 크기, 생성되는 모든 데이터 수집 Variety • 데이터의 유형과 다양성 증가함 Velocity • 데이터의 수집과 처리 측면에서 속도 향상 ☞ 데이터의 양의 단위 기가바이트(GB) < 테라바이트(TB) < 페타바이트(PB) < 엑사바이트(EB) < 제타바이트(ZB) < 요타바이트(YB) 2. 빅데이터의 출현 배경 1) 기업들이 보유한 데이터가 거대한 가치 창출이 가능할 만큼 충분한 규모에 도달 2) 학계의 거대 데이터 활용 과학 확산 3) 디지털화, 저장기술, 클라우딩 ..
[데이터 이해] 02. 데이터베이스의 정의와 활용 [데이터 이해] 02. 데이터베이스의 정의와 활용 1. 데이터베이스의 특징 데이터베이스는 통합, 저장, 공용, 변화되는 데이터를 특징으로 한다. 통합된 데이터 (integrated data) 동일한 내용의 데이터가 중복되어 있지 않음. 저장된 데이터 (stored data) 컴퓨터가 접근할 수 있는 저장 매체(자기 디스크, 자기 테이프)에 저장됨. 공용 데이터 (shared data) 여러 사용자에게 서로 다른 목적으로 데이터베이스의 데이터를 공동으로 이용. 변화되는 데이터 (changeable data) 새로운 데이터의 추가, 기존 데이터의 삭제, 갱신으로 항상 변화하면서도 항상 현재의 정확한 데이터를 유지. 2. 데이터베이스 관리 시스템 데이터베이스를 관리하여 응용프로그램들이 데이터베이스를 공유하며 ..
[데이터 이해] 01. 데이터의 이해 [데이터 이해] 01. 데이터의 이해 1. 데이터 유형 정성적 데이터 (Qualitative Data) • 언어, 문자로 기술 • 비정형 데이터로 저장되며, 분석에 시간과 비용이 필요함. 예: 설문지의 주관식 응답, SNS에 올린 글, 기상 특보 정량적 데이터 (Quantitative Data) • 수치, 기호, 도형으로 표시 • 데이터 양이 증가하더라도 저장, 분석이 용이함. 예: 지역별 온도, 풍속, 강우량 2. 암묵지와 형식지 Polanyi에 의해 구분된 지식의 차원 암묵지 학습과 체험을 통해 개인에게 습득 예 : 김장 담그기, 자전거 타기 형식지 교과서, 메뉴얼, 비디오, DB 등으로 형상화된 지식 예 : 회계, 재무 관련 대차대조표에 요구되는 지식의 메뉴얼 ▣ 암묵지와 형식지의 상호 작용(지식 ..
[데이터 분석 기획] 08. 분석 프로젝트 관리 특성 08. 분석 프로젝트 관리 특성 분석 프로젝트는 다른 프로젝트 유형처럼 범위, 일정, 품질, 리스크, 의사소통 등 영영 별 관리뿐만 아니라 5가지 추가 관리가 수행되어야 한다. 1. 분석 과제의 주요 특성 5가지 Data Size 분석하고자 하는 데이터의 양을 고려하는 관리 방안 수립 필요 Data Complexity 비정형 데이터 및 다양한 시스템에 산재되어 있는 원천 데이터들을 통합해서 분석 Speed 분석 결과 도출 후 분석 결과를 활용하는 시나리오 측면에서의 속도를 고려해야 함. - 일 단위, 주 단위 실적의 경우에는 배치 형태의 일괄 처리로 작업이 이루어져도 무방하지만, 실시간으로 사기 탐지하거나 고객에게 개인화된 상품이나 서비스 추천하는 경우에는 실시간 수행되어야 함 Analytic Compl..

티스토리툴바