경사하강법과 역전파
경사하강법 - 딥러닝의 가장 기본적인 학습 알고리즘 - 함수의 기울기 계산해 함숫값이 작아지는 방향으로 이동 반복 - 미니배치 입력에 대해 순전파와 역전파를 번갈아 반복 수행 순전파: 입력 정보로부터 손실 함수 계산 과정 - 신경망 구조를 따라가면서 현재의 파라미터값 이용해 계산 역전파 - 순전파 계산 과정의 역순으로 진행 - 손실 함숫값에 영향 미친 모든 성분에 대해 손실 기울기 계산 - 파라미터 성분의 경우 계산된 손실 기울기 이용해 값을 변경 (이변경이 바로 신경망 변화를 가져오는 학습의 핵심 과정 학습률 - 학습 속도를 조절하는 하이퍼 파라미터 - 파라미터값 = 파라미터값 - 학습률 x 손실기울기 참고자료: 파이썬 날코딩으로 알고 짜는 딥러닝
개념정리
2022. 3. 26. 14:14
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- weka
- Index
- JAVA mail
- t4g.micro
- 렌더링 특수문자
- 역전파
- SMTP
- ELB
- Graphviz
- Apple 개발자 프로그램
- 실리콘 맥
- DBeaver
- react html
- AUTO_INCREMENT
- EC2
- aws ec2
- MariaDB 테이블 복사
- 테이블 사용량
- 신경망
- 파이썬 아나콘다
- dfs
- 경사하강법
- mariadb
- BFS
- HTTPS
- jconsole
- HTTP Status Code
- 맥북 캡처
- ChatGPT
- graph
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
글 보관함