메타 스터디 그룹

1. 데이터베이스 장애와 복구 개념

 1) 데이터복구(Data Recovery)의 정의

  - 데이터베이스 장애가 발생할 경우 데이터베이스를 장애 발생 이전으로 일관성과 무결성을 복원하는 것

 2) 데이터베이스 장애(실패) 유형

  - 트렌젝션 장애 : 논리적 오류, 시스템 오류(Deadlock 등)

  - 시스템 장애 : 전원, 하드웨어, 소프트웨어 등

  - 디스크 장애 : 디스크 스토리지 고장

  - 사용자 장애 : DBA 작업등의 사용자 실수

 3) 데이터베이스 복구의 기본원리 

  - 아카이브, 덤프 : 데이터베이스를 다른 저장 장치에 복사 저장

  - 로그, 저널 : 데이터베이스가 변경될 때마다 별도 파일에 기록

 4) 데이터베이스 복구조치 유형

2. 데이터베이스 장애 복구 방법

 1) 데이터베이스 복구 기법

 2) 분산 데이터베이스에서의 복구(회복)와 2단계 완료 프로토콜

  (1) 분산 데이터베이스 트렌젝션

   - 여러 사이트에 걸쳐 동작하는 트렌젝션

   - DBMS간 다른 회복 기법과 트렌젝션 관리자를 사용할 수 있음

   - 분산 데이터베이스 트렌젝션은 원자성을 위해 2단계 완료 프로토콜 사용

  (2) 2단계 완료 프로토콜 (2 Phase Commit Protocol)

   - 분산 데이터베이스 트렌젝션의 원자성 유지를 위한 대표 트렌젝션 완료 규약

   - 1단계 : 트렌젝션 조정자 C는 A와 B 데이터베이스에 트렌잭션 완료 준비를 묻는 메세지를 보내고, A와 B는 완료줌비 또는 완료 불가 응답을 회신

   - 2단계 : 모든 참여 데이터베이스가 "완료 준비"되었으면 조정자는 "완료(Commit)" 신호를 보내거나, 하나 이상의 참여 데이터베이스가 "완료 불가" 신호를 보내면 조정자는 "철회(Abort)" 신호를 보냄

3. 데이터베이스 백업

 1) 데이터베이스 백업 개요

  (1) 데이터베이스 백업 정의

   - 장애시 데이터베이스 복구를 위해 데이터베이스의 전체 또는 일부를 중복시켜 보관하는 작업

  (2) 백업의 목적

   - 데이터 유실 방지, 비지니스 연속성 확보

 2) 데이터베이스 백업의 요구사항 및 주요 작업사항

  (1) 데이터베이스 백업 요구사항

  (2) 데이터베이스 백업관리 내용

 3) 데이터 베이스 백업 방식의 종류와 특징

XIV. 빅데이터 및 NoSQL에 대한 이해

- 목표 : 빅데이터 개념과 관련 기술, NoSQL의 개념과 특징

- 핵심 키워드 : 빅데이터, 3V, 비정형데이터, 분산파일시스템(DFS), NoSQL, CAP이론

01 빅데이터의 개요

가. 빅데이터 정의 및 특징

  1) 빅데이터 정의

      - 기존 DB 관리도구의 데이터 수집, 저장, 분석하는 역량을 넘어서는 데이터

      - 다양한 종류의 대규모 데이터로부터 저비용으로 추출, 빠른 수집, 발굴, 분선을 지원하는 차세대 기술 및 아키텍처

   2) 빅데이터 특징(3V)

 - 빅데이터 6V : Volume, Variety, Velocity + Veracity(진실성), Visualization(시각화), Value(가치)

  3) 정형 데이터 VS 비정형 데이터

나) 빅데이터의 Life Cycle별 세부기술

 * CEP(Complex Event Processing, 실시간 복합 이벤트 처리)

   - 실시간 데이터의 가시화를 통해 이벤트 간 연관성, 패턴을 이해하고 유의미한 정보를 통해 다양한 비즈니스 가치를 창출하는 과정

02. 빅데이터 관련 기술

  가) 수집기술

    - ETL, 웹 크롤링, RSS Feeding, Open API, CEP

   - 웹 크롤링 : 웹 문서, 데이터 자동 수집(SNS, 블로그, 뉴스), HTML 코드 분석, 특정 태그 데이터 수집 

  나) 빅데이터 저장/처리 기술

- 최근 클라우드 환경에서 가상화 기술 이용한 클라우드 기반 분산 파일 시스템 도입 중

    다) 표현기술

    - 이해하기 쉽도록 분류, 통계, 그래프 이용하는 기법

  라) 빅데이터 분석

     - 빅 데이터로부터 의미 있는 패턴을 발견하는 것

  마) 주요 빅데이터 분석 방법

   바) 데이터 과학자

     - 데이터 수집, 정리, 조사, 분석, 가시화 전문가. 데이터를 이용해 기업/조직에 필요한 정보 제공

03. NoSQL

 가) NoSQL 정의 및 특징

 - 비정형, 초고용량 데이터 처리 위해 쓰기속도 증가, 복제/분산 저장, 수평적 확장이 가능한 비관계형 분산 데이터 저장소

 - 특징

나) NoSQL의 BASE 속성

 BASE 속성과 ACID 속성 비교

 다) NoSQL의 저장방식

 - NoSQL 종류

   라) NoSQL 데이터 모델의 특징 비교              

방식	관계형DB 데이터 모델링	NoSQL 데이터 모델링
개념도
핵심	- ACID 기반 데이터 모델링	- BASE기반 데이터 모델링
방식	- 최소 중복 통한 데이터 일관성 확보	- 데이터 중복통한 빠른 조회 확보
단계	- 데이터 모델링(설계)후 개발	- 화면, 개발 로직 고려한 데이터셋 설계
독립성	- 프로그램 독립적 설계(데이터 독립성 중요)	- 프로그램 종속적 설계(데이터 독립서 회피)
특징	- 논리적 연결점 보유한 모델링 기법	- 파일구조 설계에 근접

   마) NoSQL 데이터 모델의 특징

     1) CAP 이론의 정의

        - 대용량 분산 DB는 일관성(Consistency), 가용성(Availability), 단절내성(Partition Tolerance)을 모두 만족시키는 것은 

          불가능, 두 가지만 전략적으로 선택해야 한다는 이론

     2) CAP 이론의 구성과 관리 전략

특성	설명
구성도
Consistency	- 각 사용자는 항상 동일한 데이터 조회
Availability	- 소수 노드 장애 발생에도 다른 노드에 영향 없음
Partition Tolerance	- 일부 메시지 손실에도 시스템은 정상 동작
C + A	- 메시지 손실 방지하는 강한 신뢰성, 일반 RDBMS
C + P	- 모든 노드가 함께 퍼포먼스 내는 성능형, Big Table, Hyper Table, HBase
A + P	- 비동기화된 스토어 작업에 필수적 - Dynamo, Apache Cassandra, CouchDB, Oracle Coherence

  - NoSQL 시스템들은 A+P, C+P의 특성을 가지는 분산시스템들로 구성

[TOPCIT 목차]

01. 데이터 품질관리 프레임워크

-  데이터 품질관리 ? 데이터의 품질을 향상 시키기 위해 데이터 값, 데이터 구조, 데이터 관리 프로세스 대상에 대한 활동을 수행

가) 데이터 값

 ① 표준 데이터 : 공통된 형식과 내용으로 정의하여 사용하는 표준 관련 데이터

     ex> 표준 단어(word) 사전, 표준 도메인(domain) 사전, 표준 용어(term) 사전, 표준 코드, 데이터 표준 요소

 ② 모델 데이터 : 데이터 모델을 운용, 관리하는 데 필요한 데이터

    - 완전성, 일관성, 추적성, 상호연계성, 최신성, 호환성 관리

     ex> 모델에 대한 메타 데이터 및 DBMS 객체 정보 

 ③ 관리 데이터 : DB를 표과적으로 운영, 관리하는 데 필요한 데이터

    ex> 사용 관리 데이터, 장애 및 보안관리 데이터, 성능관리 데이터, 흐름 관리 데이터, 품질 관리 데이터

 ④ 업무 데이터 : 기관이나 기업의 업무 및 비즈니스를 수행하는데 필요한 데이터

    ex> 소스데이터, 운영 데이터, 분석 데이터

나) 데이터 구조

 ① 개념 데이터 모델

 ② 데이터 참조 모델

 ③ 논리 데이터 모델

④ 물리 데이터 모델

⑤ 데이터베이스

⑥ 사용자 뷰

다) 데이터 관리 프로세스

라) 데이터 품질관리 성숙모형

 ① 데이터 품질 기준

    - 데이터 유효성 측면 : 정확성, 일관성

    - 데이터 활용성 측면 : 유용성, 접근성, 적시성, 보안성

 ② 데이터 품질 관리 프로세스

    - 정확성, 일관성, 유용성, 접근성, 적시성, 보안성을 향상 시키기 위한 프로세스를 식별

 ③ 데이터 품질 관리 성숙 수준

    - 단계 : 1~5단계로 정의

    - 성숙수준이 높을 수록 체계적이고 정교한 관리가 수행됨을 의미

02. 데이터 표준화

가) 데이터 표준화 개요

• 기업내 시스템별로 산재해 있는 데이터 정보요소에 대한 명칭, 정의, 형식, 규칙에 대한 원칙을 수립하여 전사적으로 적용하는 관리 활동
• 시스템 별로 산재해 있는 데이터 정보요소에 대한 명칭, 정의, 형식, 규칙에 대한 원칙을 수립하여 이를 전사적으로 적용하는 것
• 데이터의 정확한 의미를 파악, 데이터의 상반된 시각적 조정하는 역할 수행

나) 데이터 표준화 필요성

다) 데이터 표준화 구성요소

• 데이터 표준화 위해 표준관리, 구조관리, 프로세스 관리 등 존재

라) 데이터 표준 정의

 ① 표준단어의 도출 전체 개요

    - 표준단어는 모든 시스템에서 사용되고 있는 용어를 단어 단위로 분할하여 도출

    - 표준단어는 전사적으로 관리하고 있는 엔티티와 속성을 개별단위로 추출

 ② 단어 분할

     - 수집된 용어를 업무상 사용되며 일정한 의미를 가지고 있는 최소 단위의 단어로 분할

       ex>  주민등록 번호 -> 주민 + 등록 + 번호

 ③ 이음동의어 처리

    - 의미가 동일한 단어들에 대해 하나의 대표 단어를 표준으로 선정

    - 최종 도출된 모든 단어들은 한글명과 영문 약어명 모두 유일해야 함

      ex>  비밀번호, 암호, 패스워드를 비밀번호로 통일

 ④ 표준 도메인 사전 도출

    - 각 속성은 임의의 도메인에 할당 되어야 하며, 하나 이상의 도메인에 복수로 할당할 수 없음

    - 새로운 속성이 추가될 경우 해당 속성의 도메인을 선정, 등록해야함

      ex> (용어)주민번호-(도메인명)등록번호-(타입)char(13)

 ⑤ 표준 코드 사전 도출

     - 전사적으로 사용되고 있는 모든 코드들을 수집하여 동일 코드를 파악하고 통합하여 표준 코드를 정의

       ex> 색상코드->포장이 생삭코드

 ⑥ 표준 용어 사전 도출

     - 전사적으로 보유하고 있는 엔티티와 속성을 대상으로 추출된 표준 단어를 조합하여 표준용어를 생성

       ex> (표준단어)고객, 구분, 코드, ID->(표준용어) 고객구분코드, 고객ID 

마) 데이터 표준 확정

 ① 데이터 표준 검토 대상

    - 표준 단어 사전, 표준 도메인 사전, 표준 코드 사전, 표준 용어 사전 등

 ② 데이터 표준에 대한 주요 검증 기준

    - 유일성, 완전성, 정확성, 범용성

1. 데이터베이스 설계 및 구축 과정

가) 요구사항 수집 및 분석

-. 사용자 요구사항 수집 분석

-. 요구 조건 명세서 작성

-. 정적요구사항, 동적 요구사항 파악

   * 정적 요구사항: 엔터티, 속성, 관계, 제약조건

   * 동적 요구사항: 트랜잭션의 유형, 빈도

나) DB 설계

다) DB 구축

-. DB 구현, DB 개발 단계라고도 한다.

-. DB 구성에 필요한 SQL 문을 작성하고 이를 실행하여 사용자 요구사항을 수용할 수 있는 데이터 베이스를 생성한다.

-. 구축해야 할 데이터를 수집하고 이를 가공한다.

-. 수집, 가공된 데이터를 입력, 저장한다. 

라) 운영 및 유지보수

-. 데이터베이스 품질 관리 및 모니터링

-. 데이터베이스 복구, 회복에 대한 전략 수립

-. 보안 정책 수립

-. 지속적인 유지보수 및 사후 평가: 분석 대상 산출물, 설계 주체, 설계 영향도

2. 데이터베이스 설계 고려사항

가) 분석 대상 산출물

나) 설계 주체 고려사항

DA, DBA

3. 프로젝트 라이프사이클에서 DB 설계 영향도

[TOPCIT 목차]

키워드 : 갱신손실, 현황파악오류, 모순성, 연쇄복귀, Locking, 2PL, Timestamp

01. 트랜젝션이란

  가) 트랜잭션의 개념

• 하나의 논리적인 작업 단위를 이루는 여러 연산 집합으로 데이터베이스의 일관된 상태를 또 다른 일관된 상태로 변환시킴
• 한 번에 수행되어야 할 데이터베이스의 일련의 읽기(Read)와 쓰기(Write) 연산을 수행하는 단위

  나) 트랜잭션의 ACID 특징

• 트랜잭션 완료(Commint) 연산 : 트랜잭션 안에서 수행한 모든 SQL 문장들의 결과를 데이터베이스에 영구적으로 반영하면서 해당 트랜잭션을 종료하는 연산
• 트랜잭션 복귀(Rollback) 연산 : 트랜잭션의 수행 도중에 치명적인 오류가 있어 더 이상 진행할 수 없거나, 사용자에 의해 반영 취소 명령(rollback)이 수행되었을 때 지금까지 수행해왔던 트랜잭션 안에서 변경된 모든 데이터 값을 트랜잭션 수행 이전 상태로 되돌리는 연산{즉, 트랜잭션을 철회(abort)하는 연산}

  라) 트랜잭션 처리 시 고려사항

• 트랜잭션의 동시성 구현 : 트랜잭션의 동시 실행은 트랜잭션의 처리율과 시스템 이용률을 높이고 대기시간을 줄임으로써 동시성을 높일 수 있음
• 트랜잭션 수행시간을 최대한 짧게 수행 : 긴 트랜잭션의 경우에 잠금(Lock) 수행시간이 길어져 충돌 현상 및 교착상태를 발생시킬 소지가 큼. 트랜잭션은 직렬성을 보장할 수 있도록 잠금(Lock)을 충분히 오랫동안 유지해야 하지만 동시에 성능을 저하하지 않도록 짧게 구성할 필요가 있음.

02. 동시성(병행)제어

  가) 트랜잭션의 직렬가능 스케줄의 정의

• 직렬성을 가진 트랜잭션 스케줄이란 각각의 트랜잭션이 동시에 수행되더라도 그 결과가 순차적으로 트랜잭션이 수행된 결과와 같은 경우
• 트랜잭션의 직렬화 수행 보장

 

  나) 동시성(병행) 제어의 정의

• 다중 사용자 환경을 지원하는 데이터베이스 시스템에서 여러 트랜잭션이 성공적으로 동시에 실행될 수 있도록 지원하는 기능
• 다중 사용자 환경을 지원하는 데이터베이스 시스템의 경우 필수적으로 지원해야 하는 기능으로 동시성(병행) 제어라고도 함

  다) 동시성(병행) 제어의 목적

• 직렬가능스케줄(Serializable Schedule)의 생성 또는 트랜잭션들의 직렬가능성 보장
• 공유도 최대, 응답시간 최소, 시스템 활동의 최대 보장
• 데이터의 무결성 및 일관성 보장

  라) 동시성(병행) 제어를 하지 않았을 경우 발생하는 문제점

  마) 동시성(병행) 제어 기법들

• 잠금(Lock) 기반 기법
• 타임 스탬프 기반 기법
• 다중버전 기법
• 검증(낙관적) 기반 기법

  바) 2PL(2-Phase Locking) 기법이란

• 직렬성 보장을 통해 동시성을 제어하는 2단계 잠금(Locking) 기법으로 Lock과 Unlock 연산을 확장단계와 수축단계로 구분하여 수행하는 2 PL 규약을 따른다.

        - 확장단계 : 트랜잭션은 Lock만 수행할 수 있고 Unlock은 수행할 수 없는 단계

        - 수축단계 : 트랜잭션은 Unlock만 수행할 수 있고 Lock은 수행할 수 없는 단계

• 모든 잠금 연산(Read_Lock, Write_Lock)들이 최초의 unlock 연산보다 앞에 나오는 경우, 그 트랜잭션은 2단계 잠금 프로토콜을 준수한다.
• 만일 모든 트랜잭션이 2단계 잠금 규약을 준수한다면, 모든 트랜잭션은 직렬성을 보장받게 되나 그 역은 성립하지 않는다.
• 직렬가능성을 보장할 수 있는 규약으로 가장 많이 사용된다.

03. 트랜잭션 수준(Isolation Level)

  가) 완료되지 않은 읽기(Read Ucommitted)

• 트랜잭션에서 처리 중인 아직 완료되지 않은 데이터를 다른 트랜잭션이 읽는 것을 허용한다.

  나) 완료된 읽기(Read Committed)

• 트랜잭션이 완료되어 확정된 데이터만 다른 트랜잭션이 읽도록 허용한다.

  다) 반복 읽기(Repeatable Read)

• 트랜잭션 내에서 질의를 두 번 이상 수행할 때, 첫 번째 질의에 있던 레코드가 사라지거나 값이 바뀌는 현상을 방지해준다.

  라) 직렬화(Serializable Read)

• 트랜잭션 내에서 질의를 두 번 이상 수행할 때, 첫 번째 질의에 있던 레코드가 사라지거나 값이 바뀌지 않음은 물론 새로운 레코드가 나타나지도 않게 한다.

  가) 교착상태 정의

• 다중처리 환경 또는 다중 트랜잭션 데이터베이스 시스템에서 다수의 프로세스 또는 트랜잭션이 특정 자원의 할당을 무한정 기다리고 있는 상태
• 교착상태에 있는 트랜잭션들은 결코 실행을 끝넬 수 없으며 시스템 자원이 묶여있어서 다른 작업을 시작하는 것도 불가능하므로, 교착상태가 발생하면 반드시 시스템은 두 트랜잭션 중의 하나를 취소시켜야 한다.

• 모든 트랜잭션이 실행을 전혀 진전시키지 못하고 무한정 기다리고 있는 상태

        - T1은 T2가 데이터 X를 Unlock 하기를 기다림

        - T2는 데이터 X를 Locking하고 있는 상태

        - T2는 T이 데이터 Y를 Unlock 하기를 기다림

        - T1은 데이터 Y를 Locking하고 있는 상태

관련 링크

 1. Topic >  동시성 제어(Concurrency Control)/병행 제어

 2. 합격답안 > [답안] 동시성 제어 필요성, 해결방법(1교시)