gradient 작동 원리 [수기 작성]
경사 하강법(Gradient Descent)의 작동 원리를 설명합니다. 수기 작성을 통해 기울기가 0인 지점을 찾는 과정을 이해하고, 머신러닝에서의 최적화 알고리즘 개념을 학습합니다.
GD(경사하강법)
- 비용함수를 최소화 하기위해 파라미터를 반복적으로 수정하는 것
ex) 짙은 안개산에서 앞은 안보이고 발 끝으로 산의 기울기만 느낄 수 있을 때, 탈출하기 위해 가장 기울기가 급한 길을 따라 내려가는 것
GD를 수기 작성으로 이해해보자
- 나동빈 선생님의 설명을 토대로 똑같이 적어보았습니다.
진행순서는 순차적으로 이어집니다.
아래 종이에 적힌 것을 보면 경사하강법의 증명을 알 수 있습니다.
참고
1. https://www.youtube.com/watch?v=ve6gtpZV83E
2. https://hi-guten-tag.tistory.com/205
3. https://www.inflearn.com/course/lecture?courseSlug=파이썬-머신러닝&unitId=89443
This post is licensed under CC BY 4.0 by the author.
