[ADsP] 1. 데이터 이해

[데이터]

 

특성

- 존재적 특성 : 객관적 사실

- 당위적 특성 : 추론의 근거

 

유형

- 정성적 데이터 : 비정형, 비용 소모, 주관적

- 정량적 데이터 : 정형, 비용 적음, 객관적, 통계분석

 

지식경영의 핵심 이슈

- 암묵지(tacit knowledge) : 체화, 내면화 -> 공통화

- 형식지(explicit knowledge) : 형상화, 표출화 -> 연결화

 

DIKW 피라미드

- Data : 사실

- Information : 도출

- Knowledge : 내재화

- Wisdom : 창의

 

 

[데이터 베이스]

 

*데이터베이스가 정의되는 흐름

 

특징

- 통합된 데이터 : 중복 없음

- 저장된 데이터 : 컴퓨터 저장 매체

- 공용 데이터 : 다른 목적으로 공동 이용

- 변화되는 데이터 : 삽입, 삭제, 갱신

 

다양한 측면

- 정보 전달의 측면 : 기계가독성, 검색가독성, 원격조작성

- 정보 이용의 측면 : 요구에 따라 획득

- 정보 관리 측면

- 정보 기술 발전 측면

- 경제, 산업 측면

 

1980년대 기업 내부 데이터베이스

- OLTP(Online Transaction Processing): 호스트의 컴퓨터가 DB에 엑세스하고 바로 처리 결과를 돌려 보냄

- OLAP(Online Analytical Processing): 데이터에 접근하여 의사결정에 활용할 수 있는 정보 획득

*OLTP와 OLAP 비교표

 

2000년대 기업 내부 데이터베이스

- CRM(Customer Relationship Management) : 고객관계관리

- SCM(Supply Chain Management) : 판매망관리

 

분야별 내부 데이터베이스

- 제조부문

     - ERP(Enterprise Resource Planning) : 전사적 자원 관리

     - BI(Business Intelligence) : 데이터를 의사결정에 활용하는 프로세스

     - CRM(Customer Relationship Management) : 고객관계관리

     - RTE(Real-Time Enterprise) : 회사 전 부문의 정보 통합

- 금융부문

     - EAI(Enterprise Application Integration)

     - EDW(Enterprise Data Warehouse)

- 유통부분

     - KMS(Knowledge Management System) : 지식관리시스템

     - RFID(Radio Frequency ID)

 

사회기반구조로서의 데이터베이스

- EDI(Electornic Data Interchange) : 표준화된 양식 따라 서류를 전자 신호로 변환, 전송

- VAN(Value Added Network) : 부가가치통신망

- CALS(Commerce At Light Speed)

 

분야별 사회기본구조로서의 데이터베이스

- 물류부문

     - CVO(Commercial Vehicle Operation System)

     - PORT-MIS(항만운영정보시스템)

     - KROIS(철도운영정보시스템)

- 지리/교통부문

     - GIS(Geographic Information System)

     - RS(Remote Sensing)

     - GPS(Global Positioning System)

     - ITS(Intellignet Transport System)

     - LBS(Locaiton Based Service)

     - SIM(Spatial Information Management)

- 의료부문

     - PACS(Picture Archiving and Communication System)

     - U-Health

- 교육부문

     - NEIS(National Educaiton Information System)

 

 

[빅데이터]

 

정의 (범주 점차 확대)

1) 좁은 범위의 정의 : 3V + 4V

     - Volume(양) : 데이터의 규모

     - Variety(다양성) : 데이터의 유형과 소스

     - Velocity(속도) : 데이터의 수집과 처리

     + Value(가치), Visualization(시각화), Veracity(정확성)

2) 중간 범위의 정의 : 처리, 분석 기술 변화까지 포함

3) 넓은 범위의 정의 : 인재, 조직 변화까지 포함

 

출현 배경

- 산업계, 학계, 기술발전

 

기대 비유

- 산업혁명의 석탄과 철 : 혁명적 변화

- 21세기의 원유 : 새로운 범주의 산업

- 렌즈 : 현미경

- 플랫폼 : 플랫폼 역할

 

과거->현재

- 사전처리 -> 사후처리 : 가능한 한 많은 데이터 속에서 숨은 정보 찾기

- 표본조사 -> 전수조사

- 질 -> 양

- 인과관계 -> 상관관계

 

가치 산정이 어려운 이유

- 데이터 활용 방식 : 특정 데이터를 언제, 어디서, 누가 활용할지 알 수 없음

- 새로운 가치 창출 : 기존에 없던 가치를 창출함

- 분석 기술 발전 : 새로운 분석 기법 등장으로 가치를 지니게 될 수도 있음

 

영향

- 기업, 정부, 개인

 

기본 테크닉

- 연관규칙학습 : 상관관계

- 유형분석 : 분류

- 유전자 알고리즘 : 진화

- 기계학습 : 예측

- 회귀분석 : 종속, 독립 변인

- 감정분석 : 감정

- 소셜네트워크분석(사회관계망분석) : 관계망

 

위기 -> 통제 방안

- 사생활 침해 -> 동의에서 책임으로

- 책임원칙 훼손 -> 결과 기반 책임 원칙 고수

- 데이터 오용 -> 알고리즘 접근 허용

 

기본 3요소

- 데이터, 기술, 인력

 

회의론

- 과거 CRM의 부정적 학습효과

- 빅데이터 성공사례가 기존 분석 프로젝트를 포함해놓은 것이 많음 (CRM분석결과를 빅데이터 분석 결과로 과대포장)

 

전략적 통찰의 중요성

- 기존 프로세스의 자동화를 우선 시행

- 크기의 이슈가 아닌, 어떤 통찰을 얻을 수 있느냐의 문제

 

일차원적 분석의 문제점

*산업별 분석 애플리케이션(p.91 표)

- 큰 변화에 대응하거나 새로운 기회를 포착하기 어려움

 

[데이터 사이언스]

 

의미

- 데이터 공학, 수학, 통계학, 컴퓨터공학, 시각화, 해커의 사고방식, 해당 분야의 전문지식을 종합한 학문

- 데이터로부터 의미있는 정보를 추출해내는 학문으로, 각종 유형의 데이터를 대상으로 분석 뿐 아니라 효과적으로 구현하고 전달하는 과정까지 포함

 

영역

*p.94 그림 참고

- 분석적 영역

- IT 영역

- 비즈니스 컨설팅 영역

 

요구 역량

- 하드 스킬 : 이론적 지식, 기술 숙련

- 소프트 스킬 : 통찰력 있는 분석, 설득력 있는 전달, 다분야간 협력

 

외부 환경 측면에서 본 인문학 열풍

- 컨버전스(단순세계화) -> 디버전스(복잡한 세계화)

- 제품 생산 -> 서비스

- 공급자 중심의 생산 기술 경쟁 -> 무형자산의 경쟁(시장 창조)

 

한계

- 인간의 해석이 개입되는 단계를 반드시 거침

- 사람에 따라 전혀 다른 해석과 결론

- 모든 분석은 가정에 근거함

 

 

[최신 빅데이터 상식]