경사하강법과 역전파

경사하강법

- 딥러닝의 가장 기본적인 학습 알고리즘

- 함수의 기울기 계산해 함숫값이 작아지는 방향으로 이동 반복

- 미니배치 입력에 대해 순전파와 역전파를 번갈아 반복 수행

 

순전파: 입력 정보로부터 손실 함수 계산 과정

- 신경망 구조를 따라가면서 현재의 파라미터값 이용해 계산

 

역전파

- 순전파 계산 과정의 역순으로 진행

- 손실 함숫값에 영향 미친 모든 성분에 대해 손실 기울기 계산

- 파라미터 성분의 경우 계산된 손실 기울기 이용해 값을 변경

(이변경이 바로 신경망 변화를 가져오는 학습의 핵심 과정

 

학습률

- 학습 속도를 조절하는 하이퍼 파라미터

- 파라미터값 = 파라미터값 - 학습률 x 손실기울기

 

 

참고자료: 파이썬 날코딩으로 알고 짜는 딥러닝