two-track

경사하강법 - 딥러닝의 가장 기본적인 학습 알고리즘 - 함수의 기울기 계산해 함숫값이 작아지는 방향으로 이동 반복 - 미니배치 입력에 대해 순전파와 역전파를 번갈아 반복 수행 순전파: 입력 정보로부터 손실 함수 계산 과정 - 신경망 구조를 따라가면서 현재의 파라미터값 이용해 계산 역전파 - 순전파 계산 과정의 역순으로 진행 - 손실 함숫값에 영향 미친 모든 성분에 대해 손실 기울기 계산 - 파라미터 성분의 경우 계산된 손실 기울기 이용해 값을 변경 (이변경이 바로 신경망 변화를 가져오는 학습의 핵심 과정 학습률 - 학습 속도를 조절하는 하이퍼 파라미터 - 파라미터값 = 파라미터값 - 학습률 x 손실기울기 참고자료: 파이썬 날코딩으로 알고 짜는 딥러닝