본문 바로가기

ADsP 데이터 분석 준전문가 자격증

(22)
[데이터 이해] 05. 빅데이터의 위기요인과 통제방안 05. 빅데이터의 위기요인과 통제방안 1. 빅데이터의 위기요인과 해결방안 사생활 침해 • 동의제에서 책임제로 전환 • 특정 데이터가 본래 목적 외에 가공 처리되어 2차, 3차적 목적으로 활용 책임원칙 훼손 • 결과기반 책임 원칙 고수 • 분석 대상이 된느 사람들은 예측 알고리즘의 희생양이 될 가능성 증가 예 : 범죄 예측 프로그램을 통해 범죄 전에 체포(영화 마이너리티 리포트) 데이터 오용 • 알고리즘 접근 허용 및 객관적인 인증 방안 도입 • 데이터 과신, 잘못된 지표 사용으로 잘못된 인사이트를 얻어 비즈니스에 직접 손실 발생 ☞ 익명화(Anonymization) 사생활 침해를 방지하기 위해 데이터에 포함된 개인 식별 정보를 삭제하거나 알아볼 수 없는 형태로 변환하는 것. ☞ 알고리즈미스트(Algori..
[데이터 이해] 04. 빅데이터의 이해 04. 빅데이터의 이해 1. 빅데이터의 특징(3V) 빅데이터는 단순히 용량만 방대한 것이 아니라 복잡성도 증가해 기존 데이터 처리 애플리케이션이나 관리 툴(tool)로는 다루기 어려운 데이터 세트의 집합이다. Volume • 데이터의 크기, 생성되는 모든 데이터 수집 Variety • 데이터의 유형과 다양성 증가함 Velocity • 데이터의 수집과 처리 측면에서 속도 향상 ☞ 데이터의 양의 단위 기가바이트(GB) < 테라바이트(TB) < 페타바이트(PB) < 엑사바이트(EB) < 제타바이트(ZB) < 요타바이트(YB) 2. 빅데이터의 출현 배경 1) 기업들이 보유한 데이터가 거대한 가치 창출이 가능할 만큼 충분한 규모에 도달 2) 학계의 거대 데이터 활용 과학 확산 3) 디지털화, 저장기술, 클라우딩 ..
[데이터 이해] 03. 기업 내부 데이터베이스 [데이터 이해] 03. 기업 내부 데이터베이스 1. 시대별 기업 내부 데이터베이스 솔루션 1980년대 - OLTP, OLAP, 2000년대 - CRM, SCM, RTE OLTP • 온라인 거래 처리(On-Line Transation Processing) • 주 컴퓨터와 통신회선으로 접속되어 있는 복수의 사용자 단말에서 발생한 트랜잭션을 주 컴퓨터에서 처리하여 그 결과를 사용자에게 되돌려 보내 주는 처리 형태 예 : 상품 주문, 회원정보 수정 OLAP • 온라인 분석 처리(On-Line Analytical Processing) • 다차원으로 이루어진 데이터로부터 통계적 요약 정보를 제공할 수 있는 기술, 다차원의 데이터를 대화식으로 분석하기 위한 SW 예 : 10년간 A사의 직급별 임금 상승률 CRM • ..
[데이터 이해] 02. 데이터베이스의 정의와 활용 [데이터 이해] 02. 데이터베이스의 정의와 활용 1. 데이터베이스의 특징 데이터베이스는 통합, 저장, 공용, 변화되는 데이터를 특징으로 한다. 통합된 데이터 (integrated data) 동일한 내용의 데이터가 중복되어 있지 않음. 저장된 데이터 (stored data) 컴퓨터가 접근할 수 있는 저장 매체(자기 디스크, 자기 테이프)에 저장됨. 공용 데이터 (shared data) 여러 사용자에게 서로 다른 목적으로 데이터베이스의 데이터를 공동으로 이용. 변화되는 데이터 (changeable data) 새로운 데이터의 추가, 기존 데이터의 삭제, 갱신으로 항상 변화하면서도 항상 현재의 정확한 데이터를 유지. 2. 데이터베이스 관리 시스템 데이터베이스를 관리하여 응용프로그램들이 데이터베이스를 공유하며 ..