반응형 편미분2 [경사하강법] 미분 , 경사하강법 , gradient vector , 확률적 경사하강법 ( SGD ) 이번 포스팅에서는 weight 업데이트에 사용되는 경사하강법에 대해 정리할 것이다. weight를 조정하는 방법을 설명하기 위해 가장 먼저 미분부터 살펴본다. 그 이유는 기울기를 알면 변수를 어느 방향으로 움직여야 함숫값이 증가하는지 감소하는지를 알 수 있기 때문이다. 그 후 변수가 벡터인 경우의 기울기를 나타내는 gradient vector를 다룰 것이다. 1. 미분(differentiation) 미분은 함수 f의 주어진 점 (x, f(x))에서의 접선의 기울기이다. ※ 파이썬에서 미분은 sym.diff함수를 사용하여 계산할 수 있다. import sympy as sym from sympy.abc import x sym.diff(sym.poly(x**2 + 2*x + 3), x) #poly(2*x + .. 2021. 8. 9. 딥러닝) 수치 미분 , 해석적 미분 , 편미분 1. 수치 미분미분이란 한 점에서의 기울기를 의미한다. 기울기는 두 점 사이에서 발생하는 경사인데, 미분을 '한 점에서의 기울기'라고 하는 이유는 그 두 점 사이의 거리를 매우 좁혀서 한 점으로 보일때 그 점에서 기울기를 구하기 때문이다. 즉, 처음에는 두 점 사이의 기울기에서 시작하여 최종적으로는 거의 한 점에서의 기울기가 된다. 차분을 통해 미분하는 것을 수치 미분이라 하는데 수치 미분은 아래와 같다 (※ 차분이란 임의의 두 점에서의 함수 값들의 차이를 말한다.) 위의 미분 식을 보면, f(x)를 x에 대해 미분한다는 것은 x의 변화가 함수 f(x)를 얼마나 변화시키는지를 구하겠다는 것이며, 시간 h를 무한히 0으로 근접시켜 한 순간의 변화량을 나타낸다. 위의 식대로 미분 계산을 구현해보면 다음과 같.. 2021. 2. 25. 이전 1 다음 728x90 반응형
