메타 스터디 그룹

[빅데이터/인공지능 목차]

불편 추정량(Unbiased Estimator)

1. 좋은 추정량을 선택하기 위한 기준, 불편 추정량의 개념

1) 정의

• 추정량의 기대 값이 모수와 같거나, 표본 평균의 기대값이 모 평균과 같아지는 값
• 추정하고자 하는 모수(모집단의 평균, 중앙 값, 최빈치, 분산 등)가 실제 값에 대해 매우 가깝거나 근사한 값
• E(X`) - E(X) = 0, E(X`) = E(X) 표본집단의 기대치에서 모집단의 기대치를 뺀 값을 편의라고 하며, 편의가 0인 상태는 모수와 표본의 차이가 없는 불편 추정량 상태라고 함  (E(X) : 추정량, X` : 표본 집단, X : 모딥단)

2) 특징

• 편의(bias, 치우침) 없는 성질
• 일치성
• 상대적 효율성

2. 불편 추정량 선택 주요 기준

주요 기준	그래프	설명
불편성/불편의성 (Unbiasedness)		- 편의(치우침) 없는 성질    E(X`) - E(X) = 0 - 어떤 통계량의 기대 값이 모수에 일치하는 통계량
일치성 (Consistency)		- 표본의 크기가 커질수록, 추정량이 모수에 점근적(Asymptotic)으로 근접하는 성질 - 일치추정량 : 표본 분산 (표본 표준편차)
상대적 효율성/유효성 (Relative Efficiency)		- 여러 불편의 추정량이 있을 경우, 이들 중 추정량 분산이 더 작게 나타나는 성질

• 추정하고자 하는 모수의 실제 값과 매우 가깝거나 그 주위에 집중된 추정량을 선택하는 방식

[데이터베이스 목차]

1. 데이터 체계적 관리 프로세스, 데이터거버넌스의 개념 

전사 차원의 모든 데이터에 대한 정책, 지침, 표준화, 전략을 수립하고 데이터를 관리하는 조직과 프로세스를 구축함으로써 고품질의 데이터를 활용하여 기업의 가치 창출을 지원하는 체계 (데이터 체계적 관리)

목적) 고품질 데이터의 확보와 관리, 기업에 제공하는 정보 활용 극대화, 기업의 다양한 가치 창출 기여 

2. 데이터거버넌스 프레임워크 및 주요요소

가. 데이터거버넌스 프레임워크

• 데이터 거버넌스는 데이터를 문서화, 체계적인 관리와 정책 수립을 통해 데이터의 자산화에 필요한 기반을 제공

나. 데이터거버넌스 프레임워크 구성요소

3. 데이터거버넌스 주요기능

- 기업의 데이터 거버넌스 체계 수립시 기본이 되는 데이터의 데이터(마스터 데이터) 체계적 관리의 중요성 부각

참조) https://itpewiki.tistory.com/m/171

[데이터베이스 목차]

개념 : 빅데이터 저장 기술

• 기존의 관계형 데이터가 아닌 다양한 데이터 형태를 효율적으로 처리할 수 있는 구조와 유연성을 갖춘 분산 데이터베이스 관리 시스템
• 전통적인 RDBMS와 다른 DBMS를 지칭하기 위한 용어로 데이터 저장에 고정 Table-Schema가 필요하지 않고, Join 연산을 사용할 수 없으며, 수평적으로 확장 가능한 DBMS 

NoSQL 특징 : 스키마가 없으며, 관계가 없음

NoSQL 아키텍처

데이터 모델 유형

데이터모델	개념도	설명	DB
키-값 모델 (Key-Value Model)		키-값 쌍 데이터 표현 단순구조 빠른연산 비효율적 범위 질의	Dynamo , Redis
순서화된 키-값 모델 (Ordered Key- Value Model)		순서화된 키-값 쌍 데이터 표현 범위 질의 효율적 지원 값 모델링 미지원	ArangoDB, MemcacheDB
열 지향 모델 (Column Oriented Model)		값(value), 열(Column) 기반 모델링 표현 값의 지속적 다차원 Map 구성	HBase, Cassandra
문서 데이터베이스 모델 (Document Database Model)		값(value) 부분에 문서 저장 임의적 스키마 사용, 자유로운 속성 추가 가능 복잡한 검색조건 데이터 추출	CouchDB , MongoDB
그래프 모델 (Graph Model)		노드, 관계, 속성 통한 데이터 표현 높은 확장성 보장 시맨틱 웹과 온톨로지 분야에서 활용	Neo4J, AgensGraph

CAP 이론에 기반한 NoSQL 선택전략

	C+P	일관성 + 단절내성 모든 노드가 함께 퍼포먼스를 내야하는 성능형 구글의 BigTable, HyperTable, HBase
	A+P	가용성 + 단절내성 비동기화된 서비스 스토어 작업 Dynamo, Apache Cassandra, CouchDB, Orache Coherence

[데이터베이스 목차]

1. 신뢰성, 확장성을 제공하는 분산 DB의 개요

 가. 분산 DB(Distributed Database)의 정의

  - 논리적으로 하나의 가상 시스템으로 구현되어 있으나, 물리적으로 네트워크를 통하여 분산화 된 형태로 관리되는 데이터베이스

 나. 분산 DB(Distributed Database)의 목적

2. 분산 데이터베이스의 요건

3. 분산 DB의 구조 및 설계 전략

 가. 분산 DB의 구조

 나. 분산DB의 설계 및 분할 전략

4. 분산 DB의 구축 시 고려사항

5. 분산 데이터 베이스의 3가지 설계 전략 비교

[데이터베이스 목차]

샤딩(Sharding)

I. DB Scale out을 통한 성능 개선, 가용성 향상 샤딩의 개요

-. 물리적으로 다른 데이터베이스에 데이터를 수평 분할 방식으로 분산 저장하고 조회하는 방법

-. 샤드라고 부르는 각각의 파티션이 있는 하나의 데이터베이스의 수평적인 파티셔닝

-. 과거의 샤딩은 어플리케이션 레벨에서 구현하는 경우가 많았는데 최근에는 샤딩 플랫폼에서도 처리 가능

-. 성능향상을 위해 샤딩, 파티셔닝 기법이 사용되고, 가용성을 위해 리플리케이션, 쿼리 오프로딩 기법을 사용

-특징: 데이터분할, 성능개선, 높은 신뢰성, 위치 추상화

-샤딩의 장점:

  1) 성능개선: 큰 데이터를 압축, 개별 테이블은 각 샤드에서 더 빠른 작업을 지원

  2) 신뢰성 개선: 한 샤드가 실패하더라도 다른 샤드는 데이터서비스를 제공

  3) 위치 추상화: 어플리케이션 서버에서 어떤 데이터가 어떤 데이터베이스에 위치해 있는지 알 필요가 없음

II. 샤딩의 개념도 및 구성요소

가. 샤딩의 개념도

나. 샤딩의 구성요소

III. 샤딩 방법

데이터의 성격과 특징에 따라 Table 단위를 작게 유지할 수 있는 Shard 분할 방법을 결정해야 하며 적용시 정지없이 데이터 재분배 수행 필요

IV. 쿼리 오프로딩 vs. 샤딩

V. 샤딩 파티셔닝 비교