기울기 소실(배준호 대리님)

[빅데이터/인공지능 목차]

 

 

1. 기울기소실(Gradient Vanishing) 의 정의

  - 깊은 신경망을 학습할 때 역전파 과정에서 미분값이 사라지면서 학습이 중단되는 현상

  - 각 계층에서의 미분값이 0에 가까울 수록 입력층에 가까운 가중치들의 변동이 줄어들어 학습이 중단되는 현상

 

2. 기울기소실 개념도

3. 기울기소실을 발생시키는 활성화함수

4. 기울기소실 해결방안

  - Relu 활성함수 이용. Relu의 도함수는 상수값(0, 1)이므로 가중치변화가 계속 작아지는 문제 사라짐

 

 

경사하강법

  - 손실함수의 최소지점을 찾기 위해 경사가 가장 가파른 곳을 찾아서 한걸음씩 내려가는 방법

 

경사하강법에서의 가중치 업데이트식

 

그레이디언트 값을 구하기 위해 합성함수의 미분을 수행. (연쇄법칙 필요)

-> 각 계층에서의 활성화함수나 가중합함수의 미분값을 계산해서 서로 곱해서 구함

-> 미분값이 1보다 작은 값이면 가중치의 변화율이 점점 줄어들어 효과가 줄어드는 기울기소실 문제가 발생