반응형 ReLU함수2 딥러닝) 활성화 함수 ReLU 계층 , Sigmoid 계층 구현 1. ReLU 계층 구현 (forward/ backward) 활성화 함수 중 하나인 ReLU함수는 아래와 같다. 순전파에서 입력이 x > 0이면 역전파에서 upstream 값을 그대로 downstrem으로 보내는 반면, 입력이 x 2021. 3. 15. 딥러닝) 활성화 함수 Activation Functions 이번 포스팅에서는 신경망에서 활성화 함수로 어떤 함수를 이용하는 지 살펴볼 것이다. 신경망에서는 활성화 함수로 비선형 함수를 사용해야 한다. 그렇지 않고 선형 함수를 사용할 경우, 신경망의 층을 깊게하는 의미가 없어진다. 즉, 층을 깊게 해도 은닉층 없는 네트워크로 대체할 수 있게 된다. > 선형 함수란? 특정 입력값에 대한 출력값이 입력값의 상수배만큼 변하는 함수, f(x) = ax + b > 비선형 함수란? 직선 1개로는 그릴 수 없는 선형이 아닌 함수 ★예를 들어, h(x) = cx 를 활성화 함수로 사용한 3층 네트워크를 생각해보면 y(x) = h(h(h(x))) 가 된다. 계산해보면 y(x) = c*c*c*x 로 층을 쌓듯 세 번 계산하지만 y(x) = ax 로 치환할 경우, 은닉층이 없는 네트.. 2021. 2. 10. 이전 1 다음 728x90 반응형
