메타 스터디 그룹

XIV. 빅데이터 및 NoSQL에 대한 이해

- 목표 : 빅데이터 개념과 관련 기술, NoSQL의 개념과 특징

- 핵심 키워드 : 빅데이터, 3V, 비정형데이터, 분산파일시스템(DFS), NoSQL, CAP이론

01 빅데이터의 개요

가. 빅데이터 정의 및 특징

  1) 빅데이터 정의

      - 기존 DB 관리도구의 데이터 수집, 저장, 분석하는 역량을 넘어서는 데이터

      - 다양한 종류의 대규모 데이터로부터 저비용으로 추출, 빠른 수집, 발굴, 분선을 지원하는 차세대 기술 및 아키텍처

   2) 빅데이터 특징(3V)

 - 빅데이터 6V : Volume, Variety, Velocity + Veracity(진실성), Visualization(시각화), Value(가치)

  3) 정형 데이터 VS 비정형 데이터

나) 빅데이터의 Life Cycle별 세부기술

 * CEP(Complex Event Processing, 실시간 복합 이벤트 처리)

   - 실시간 데이터의 가시화를 통해 이벤트 간 연관성, 패턴을 이해하고 유의미한 정보를 통해 다양한 비즈니스 가치를 창출하는 과정

02. 빅데이터 관련 기술

  가) 수집기술

    - ETL, 웹 크롤링, RSS Feeding, Open API, CEP

   - 웹 크롤링 : 웹 문서, 데이터 자동 수집(SNS, 블로그, 뉴스), HTML 코드 분석, 특정 태그 데이터 수집 

  나) 빅데이터 저장/처리 기술

- 최근 클라우드 환경에서 가상화 기술 이용한 클라우드 기반 분산 파일 시스템 도입 중

    다) 표현기술

    - 이해하기 쉽도록 분류, 통계, 그래프 이용하는 기법

  라) 빅데이터 분석

     - 빅 데이터로부터 의미 있는 패턴을 발견하는 것

  마) 주요 빅데이터 분석 방법

   바) 데이터 과학자

     - 데이터 수집, 정리, 조사, 분석, 가시화 전문가. 데이터를 이용해 기업/조직에 필요한 정보 제공

03. NoSQL

 가) NoSQL 정의 및 특징

 - 비정형, 초고용량 데이터 처리 위해 쓰기속도 증가, 복제/분산 저장, 수평적 확장이 가능한 비관계형 분산 데이터 저장소

 - 특징

나) NoSQL의 BASE 속성

 BASE 속성과 ACID 속성 비교

 다) NoSQL의 저장방식

 - NoSQL 종류

   라) NoSQL 데이터 모델의 특징 비교              

방식	관계형DB 데이터 모델링	NoSQL 데이터 모델링
개념도
핵심	- ACID 기반 데이터 모델링	- BASE기반 데이터 모델링
방식	- 최소 중복 통한 데이터 일관성 확보	- 데이터 중복통한 빠른 조회 확보
단계	- 데이터 모델링(설계)후 개발	- 화면, 개발 로직 고려한 데이터셋 설계
독립성	- 프로그램 독립적 설계(데이터 독립성 중요)	- 프로그램 종속적 설계(데이터 독립서 회피)
특징	- 논리적 연결점 보유한 모델링 기법	- 파일구조 설계에 근접

   마) NoSQL 데이터 모델의 특징

     1) CAP 이론의 정의

        - 대용량 분산 DB는 일관성(Consistency), 가용성(Availability), 단절내성(Partition Tolerance)을 모두 만족시키는 것은 

          불가능, 두 가지만 전략적으로 선택해야 한다는 이론

     2) CAP 이론의 구성과 관리 전략

특성	설명
구성도
Consistency	- 각 사용자는 항상 동일한 데이터 조회
Availability	- 소수 노드 장애 발생에도 다른 노드에 영향 없음
Partition Tolerance	- 일부 메시지 손실에도 시스템은 정상 동작
C + A	- 메시지 손실 방지하는 강한 신뢰성, 일반 RDBMS
C + P	- 모든 노드가 함께 퍼포먼스 내는 성능형, Big Table, Hyper Table, HBase
A + P	- 비동기화된 스토어 작업에 필수적 - Dynamo, Apache Cassandra, CouchDB, Oracle Coherence

  - NoSQL 시스템들은 A+P, C+P의 특성을 가지는 분산시스템들로 구성

[TOPCIT 목차]

01. 데이터 품질관리 프레임워크

-  데이터 품질관리 ? 데이터의 품질을 향상 시키기 위해 데이터 값, 데이터 구조, 데이터 관리 프로세스 대상에 대한 활동을 수행

가) 데이터 값

 ① 표준 데이터 : 공통된 형식과 내용으로 정의하여 사용하는 표준 관련 데이터

     ex> 표준 단어(word) 사전, 표준 도메인(domain) 사전, 표준 용어(term) 사전, 표준 코드, 데이터 표준 요소

 ② 모델 데이터 : 데이터 모델을 운용, 관리하는 데 필요한 데이터

    - 완전성, 일관성, 추적성, 상호연계성, 최신성, 호환성 관리

     ex> 모델에 대한 메타 데이터 및 DBMS 객체 정보 

 ③ 관리 데이터 : DB를 표과적으로 운영, 관리하는 데 필요한 데이터

    ex> 사용 관리 데이터, 장애 및 보안관리 데이터, 성능관리 데이터, 흐름 관리 데이터, 품질 관리 데이터

 ④ 업무 데이터 : 기관이나 기업의 업무 및 비즈니스를 수행하는데 필요한 데이터

    ex> 소스데이터, 운영 데이터, 분석 데이터

나) 데이터 구조

 ① 개념 데이터 모델

 ② 데이터 참조 모델

 ③ 논리 데이터 모델

④ 물리 데이터 모델

⑤ 데이터베이스

⑥ 사용자 뷰

다) 데이터 관리 프로세스

라) 데이터 품질관리 성숙모형

 ① 데이터 품질 기준

    - 데이터 유효성 측면 : 정확성, 일관성

    - 데이터 활용성 측면 : 유용성, 접근성, 적시성, 보안성

 ② 데이터 품질 관리 프로세스

    - 정확성, 일관성, 유용성, 접근성, 적시성, 보안성을 향상 시키기 위한 프로세스를 식별

 ③ 데이터 품질 관리 성숙 수준

    - 단계 : 1~5단계로 정의

    - 성숙수준이 높을 수록 체계적이고 정교한 관리가 수행됨을 의미

02. 데이터 표준화

가) 데이터 표준화 개요

• 기업내 시스템별로 산재해 있는 데이터 정보요소에 대한 명칭, 정의, 형식, 규칙에 대한 원칙을 수립하여 전사적으로 적용하는 관리 활동
• 시스템 별로 산재해 있는 데이터 정보요소에 대한 명칭, 정의, 형식, 규칙에 대한 원칙을 수립하여 이를 전사적으로 적용하는 것
• 데이터의 정확한 의미를 파악, 데이터의 상반된 시각적 조정하는 역할 수행

나) 데이터 표준화 필요성

다) 데이터 표준화 구성요소

• 데이터 표준화 위해 표준관리, 구조관리, 프로세스 관리 등 존재

라) 데이터 표준 정의

 ① 표준단어의 도출 전체 개요

    - 표준단어는 모든 시스템에서 사용되고 있는 용어를 단어 단위로 분할하여 도출

    - 표준단어는 전사적으로 관리하고 있는 엔티티와 속성을 개별단위로 추출

 ② 단어 분할

     - 수집된 용어를 업무상 사용되며 일정한 의미를 가지고 있는 최소 단위의 단어로 분할

       ex>  주민등록 번호 -> 주민 + 등록 + 번호

 ③ 이음동의어 처리

    - 의미가 동일한 단어들에 대해 하나의 대표 단어를 표준으로 선정

    - 최종 도출된 모든 단어들은 한글명과 영문 약어명 모두 유일해야 함

      ex>  비밀번호, 암호, 패스워드를 비밀번호로 통일

 ④ 표준 도메인 사전 도출

    - 각 속성은 임의의 도메인에 할당 되어야 하며, 하나 이상의 도메인에 복수로 할당할 수 없음

    - 새로운 속성이 추가될 경우 해당 속성의 도메인을 선정, 등록해야함

      ex> (용어)주민번호-(도메인명)등록번호-(타입)char(13)

 ⑤ 표준 코드 사전 도출

     - 전사적으로 사용되고 있는 모든 코드들을 수집하여 동일 코드를 파악하고 통합하여 표준 코드를 정의

       ex> 색상코드->포장이 생삭코드

 ⑥ 표준 용어 사전 도출

     - 전사적으로 보유하고 있는 엔티티와 속성을 대상으로 추출된 표준 단어를 조합하여 표준용어를 생성

       ex> (표준단어)고객, 구분, 코드, ID->(표준용어) 고객구분코드, 고객ID 

마) 데이터 표준 확정

 ① 데이터 표준 검토 대상

    - 표준 단어 사전, 표준 도메인 사전, 표준 코드 사전, 표준 용어 사전 등

 ② 데이터 표준에 대한 주요 검증 기준

    - 유일성, 완전성, 정확성, 범용성

1. 데이터베이스 설계 및 구축 과정

가) 요구사항 수집 및 분석

-. 사용자 요구사항 수집 분석

-. 요구 조건 명세서 작성

-. 정적요구사항, 동적 요구사항 파악

   * 정적 요구사항: 엔터티, 속성, 관계, 제약조건

   * 동적 요구사항: 트랜잭션의 유형, 빈도

나) DB 설계

다) DB 구축

-. DB 구현, DB 개발 단계라고도 한다.

-. DB 구성에 필요한 SQL 문을 작성하고 이를 실행하여 사용자 요구사항을 수용할 수 있는 데이터 베이스를 생성한다.

-. 구축해야 할 데이터를 수집하고 이를 가공한다.

-. 수집, 가공된 데이터를 입력, 저장한다. 

라) 운영 및 유지보수

-. 데이터베이스 품질 관리 및 모니터링

-. 데이터베이스 복구, 회복에 대한 전략 수립

-. 보안 정책 수립

-. 지속적인 유지보수 및 사후 평가: 분석 대상 산출물, 설계 주체, 설계 영향도

2. 데이터베이스 설계 고려사항

가) 분석 대상 산출물

나) 설계 주체 고려사항

DA, DBA

3. 프로젝트 라이프사이클에서 DB 설계 영향도

[TOPCIT 목차]

키워드 : 갱신손실, 현황파악오류, 모순성, 연쇄복귀, Locking, 2PL, Timestamp

01. 트랜젝션이란

  가) 트랜잭션의 개념

• 하나의 논리적인 작업 단위를 이루는 여러 연산 집합으로 데이터베이스의 일관된 상태를 또 다른 일관된 상태로 변환시킴
• 한 번에 수행되어야 할 데이터베이스의 일련의 읽기(Read)와 쓰기(Write) 연산을 수행하는 단위

  나) 트랜잭션의 ACID 특징

• 트랜잭션 완료(Commint) 연산 : 트랜잭션 안에서 수행한 모든 SQL 문장들의 결과를 데이터베이스에 영구적으로 반영하면서 해당 트랜잭션을 종료하는 연산
• 트랜잭션 복귀(Rollback) 연산 : 트랜잭션의 수행 도중에 치명적인 오류가 있어 더 이상 진행할 수 없거나, 사용자에 의해 반영 취소 명령(rollback)이 수행되었을 때 지금까지 수행해왔던 트랜잭션 안에서 변경된 모든 데이터 값을 트랜잭션 수행 이전 상태로 되돌리는 연산{즉, 트랜잭션을 철회(abort)하는 연산}

  라) 트랜잭션 처리 시 고려사항

• 트랜잭션의 동시성 구현 : 트랜잭션의 동시 실행은 트랜잭션의 처리율과 시스템 이용률을 높이고 대기시간을 줄임으로써 동시성을 높일 수 있음
• 트랜잭션 수행시간을 최대한 짧게 수행 : 긴 트랜잭션의 경우에 잠금(Lock) 수행시간이 길어져 충돌 현상 및 교착상태를 발생시킬 소지가 큼. 트랜잭션은 직렬성을 보장할 수 있도록 잠금(Lock)을 충분히 오랫동안 유지해야 하지만 동시에 성능을 저하하지 않도록 짧게 구성할 필요가 있음.

02. 동시성(병행)제어

  가) 트랜잭션의 직렬가능 스케줄의 정의

• 직렬성을 가진 트랜잭션 스케줄이란 각각의 트랜잭션이 동시에 수행되더라도 그 결과가 순차적으로 트랜잭션이 수행된 결과와 같은 경우
• 트랜잭션의 직렬화 수행 보장

 

  나) 동시성(병행) 제어의 정의

• 다중 사용자 환경을 지원하는 데이터베이스 시스템에서 여러 트랜잭션이 성공적으로 동시에 실행될 수 있도록 지원하는 기능
• 다중 사용자 환경을 지원하는 데이터베이스 시스템의 경우 필수적으로 지원해야 하는 기능으로 동시성(병행) 제어라고도 함

  다) 동시성(병행) 제어의 목적

• 직렬가능스케줄(Serializable Schedule)의 생성 또는 트랜잭션들의 직렬가능성 보장
• 공유도 최대, 응답시간 최소, 시스템 활동의 최대 보장
• 데이터의 무결성 및 일관성 보장

  라) 동시성(병행) 제어를 하지 않았을 경우 발생하는 문제점

  마) 동시성(병행) 제어 기법들

• 잠금(Lock) 기반 기법
• 타임 스탬프 기반 기법
• 다중버전 기법
• 검증(낙관적) 기반 기법

  바) 2PL(2-Phase Locking) 기법이란

• 직렬성 보장을 통해 동시성을 제어하는 2단계 잠금(Locking) 기법으로 Lock과 Unlock 연산을 확장단계와 수축단계로 구분하여 수행하는 2 PL 규약을 따른다.

        - 확장단계 : 트랜잭션은 Lock만 수행할 수 있고 Unlock은 수행할 수 없는 단계

        - 수축단계 : 트랜잭션은 Unlock만 수행할 수 있고 Lock은 수행할 수 없는 단계

• 모든 잠금 연산(Read_Lock, Write_Lock)들이 최초의 unlock 연산보다 앞에 나오는 경우, 그 트랜잭션은 2단계 잠금 프로토콜을 준수한다.
• 만일 모든 트랜잭션이 2단계 잠금 규약을 준수한다면, 모든 트랜잭션은 직렬성을 보장받게 되나 그 역은 성립하지 않는다.
• 직렬가능성을 보장할 수 있는 규약으로 가장 많이 사용된다.

03. 트랜잭션 수준(Isolation Level)

  가) 완료되지 않은 읽기(Read Ucommitted)

• 트랜잭션에서 처리 중인 아직 완료되지 않은 데이터를 다른 트랜잭션이 읽는 것을 허용한다.

  나) 완료된 읽기(Read Committed)

• 트랜잭션이 완료되어 확정된 데이터만 다른 트랜잭션이 읽도록 허용한다.

  다) 반복 읽기(Repeatable Read)

• 트랜잭션 내에서 질의를 두 번 이상 수행할 때, 첫 번째 질의에 있던 레코드가 사라지거나 값이 바뀌는 현상을 방지해준다.

  라) 직렬화(Serializable Read)

• 트랜잭션 내에서 질의를 두 번 이상 수행할 때, 첫 번째 질의에 있던 레코드가 사라지거나 값이 바뀌지 않음은 물론 새로운 레코드가 나타나지도 않게 한다.

  가) 교착상태 정의

• 다중처리 환경 또는 다중 트랜잭션 데이터베이스 시스템에서 다수의 프로세스 또는 트랜잭션이 특정 자원의 할당을 무한정 기다리고 있는 상태
• 교착상태에 있는 트랜잭션들은 결코 실행을 끝넬 수 없으며 시스템 자원이 묶여있어서 다른 작업을 시작하는 것도 불가능하므로, 교착상태가 발생하면 반드시 시스템은 두 트랜잭션 중의 하나를 취소시켜야 한다.

• 모든 트랜잭션이 실행을 전혀 진전시키지 못하고 무한정 기다리고 있는 상태

        - T1은 T2가 데이터 X를 Unlock 하기를 기다림

        - T2는 데이터 X를 Locking하고 있는 상태

        - T2는 T이 데이터 Y를 Unlock 하기를 기다림

        - T1은 데이터 Y를 Locking하고 있는 상태

관련 링크

 1. Topic >  동시성 제어(Concurrency Control)/병행 제어

 2. 합격답안 > [답안] 동시성 제어 필요성, 해결방법(1교시)

1.관계형 데이블 전환 및 테이블 설계

   가) 물리적 모델링에 대한 학계와 산업계의 이해 차이

   나) 관계형 테이블 전환

1.엔티티 타입의 변환
2.악성 엔티티의 변환
3.1:1 관계의 변환
4.1:N 관계의 변환
5.M:N관계의 변환
6.다중치 속성의 변환	여러개이 값을 가질 수 있는 속성, 예) 전화번호 : 집전화, 휴대폰, 직장전화 등
7.N-ary 관계의 변환(N>2)	이항관계 ( R = { (철수,남자), (선희,여자) } ) 이상인 관계
8.일반화 관계의 변환

  다) 테이블 설계

2.테이터타입 설계

3.인덱스 설계

4.뷰 설계 

가) 데이터베이스 뷰의 특징	1.하나 또는 그 이상의 테이블에서 원하는 데이터만을 모아 가상적으로 만든 테이블 2.자주 사용되는 질의를 정의해 둠으로써 반복되는 데이터 조작을 효율적으로 수행 3.사용자가 관심을 가지는 데이터에만 촛점 4.계산된 정보나 파생된 정보를 보여 줄 수 있다 5.사용자가 볼 수 있는 데이터를 제한할 수 있다
나) 뷰의 생성	1.CREATE VIEW 2.WITH CHECK OPTION    -뷰에 대해 수행되는 모든 데이터 수정 문장들이 뷰를 정의하는 SELECT문의 조건을 지키도록 함 3.WITH ENCRYPTION    -암호화를 해제하려면 뷰를 삭제하고 다시 생성해야 함 4.제약사항    -사용되는 엔티티에 대한 SELECT 권한이 있어야 함    -SELECT INTO 문을 사용 할 수 없음    -임시 테이블에 대한 뷰를 생성할 수 없음    -트리거나 색인을 생성할 수 없음    -최대 250컬럼을 참조할 수 있음
다) 뷰를 통한 데이터 수정	1.뷰는 별도의 데이터 복사본을 가지지 않는다 2.뷰에 대한 갱신은 항상 원본 데이블에 영향을 미친다 3.제약사항    - 뷰에 대한 갱신은 하나의 테이블에만 영향을 미칠 수 있다    - 계산된 값이나 내장함수, 계산함수를 포함하는 컬럼에 대해서는 뷰를 통한 갱신이 허용안된다    - NOT NULL 컬럼을 가지는 테이블에 영향을 미치는 경우에는 오류를 유발    - 입력되지 않는 컬럼들의 경우 디폴트 값이 정의 되어 있거나 NULL이 허용되어 있어야 함
라) 기타 고려사항	1.뷰를 정의한 후에 원본 테이블에 컬럼이 추가되면, 이 컬럼은 뷰에 추가되지 않는다 2.뷰 자체의 정의를 변경하려면 뷰 자체를 삭제하고 다시 정의해야한다 3.원본 엔티티가 삭제되어도 뷰가 자동으로 삭제되지 않으므로 직접 뷰를 삭제해야 한다

5.분산 데이터베이스

가) 분산 데이터베이스의 특징	1.정의	데이터베이스가 네트워크 상에 여러 컴퓨터에 물리적으로 분산되어 있지만, 사용자가 하나의 데이터베이스처럼 인식할 수 있도록 논리적으로 통합되어 공유되는 데이터베이스를 의미
	2.관리시스템	여러 데이터베이스를 하나의 논리적인 데이터베이스로 인식하도록 하기 위해 각 지역 데이터베이스의 정보를 교환하고 관리해주는 시스템 의미
	3.장점	- 자산의 데이터를 지역적으로제어하여 원격 데이터에 대한 의존도 감소 - 단일 서버에서 불가능한 대용량 처리가 가능 - 기존 시스템에 서버를 추가하여 점진적으로 확장 가능 - 한 사이트가 고장 나더라도 해당 사이트의 데이터만 사용하지 못하므로, 신뢰도와 가용성 향상
	4.단점	- 분산 처리로 인해 복잡도가 증가하여 소프트웨어 개발 비용이 증가 - 통제 기능이 취약 - 분산 처리에 따른 오류 발생 가능성이 증가 - 데이터가 물리적으로 저장된 시스템의 상황에 따라 응답 속도가 불규칙 할 수 있음 - 데이터 무결성을 완전히 보장하기 어려움
나) 데이터 투명성	정의	여려 개의 물리적인 데이터베이스를 논리적인 단일 데이터베이스로 인식하려면, 사용자들이 데이터가 물리적으로 어디에 배치되어 있고 어떻게 접근해야 하는지 알 필요가 없어야 한다
	종류	분할 투명성 : 사용자는 전역 스키마가 어떻게 분할되어 있는지 알 필요가 없음 위치 투명성 : 사용자는 데이터 위치나 입력 시스템과 무관하게 동일 명령을 사용 접근 가능 중복 투명성 : 사용자는 논리적으로 하나처럼 인식되어야 함 장애 투명성 : 네트워크 장애가 발생하여도 데이터 무결성 보장 되어야 함 병행 투명성 : 다수 트랜잭션이 동시에 수행되어도 일관성 유지 성질 , Locking, 타임스탬프 두가지 방법을 주로 사용