반응형 활성화함수4 딥러닝) 활성화 함수 ReLU 계층 , Sigmoid 계층 구현 1. ReLU 계층 구현 (forward/ backward) 활성화 함수 중 하나인 ReLU함수는 아래와 같다. 순전파에서 입력이 x > 0이면 역전파에서 upstream 값을 그대로 downstrem으로 보내는 반면, 입력이 x 2021. 3. 15. 딥러닝이란 / 딥러닝 학습 과정 / Concept of Deep Learning / Deep Learning training process ■ Deep Learning이란? Deep Learning을 설명하기 위해 먼저 Machine Learning에 대해 간단히 언급하겠습니다. Machine Learning은 어떤 문제를 해결하고자 할 때, 사람이 문제 해결을 위한 function을 설계하지 않아도 컴퓨터가 입력 데이터와 정답 레이블에서 유의미한 특징(function)을 찾아 문제를 스스로 해결하는 것을 말합니다. 그 중에서 인공신경망(Artificial Neural Network)이라는 알고리즘은 인간의 뇌가 자극을 처리하는 과정을 모델링하여 만든 것입니다. 정보를 처리하는 기본 단위를 뉴런(Neuron) 또는 노드(Node)라 하며 입력된 문제를 해결하기 위해 인공 뉴런들은 서로 연결하여 네트워크를 구성합니다. 그 기본 구조는 아래 그.. 2021. 3. 15. 딥러닝) 활성화 함수 Activation Functions 이번 포스팅에서는 신경망에서 활성화 함수로 어떤 함수를 이용하는 지 살펴볼 것이다. 신경망에서는 활성화 함수로 비선형 함수를 사용해야 한다. 그렇지 않고 선형 함수를 사용할 경우, 신경망의 층을 깊게하는 의미가 없어진다. 즉, 층을 깊게 해도 은닉층 없는 네트워크로 대체할 수 있게 된다. > 선형 함수란? 특정 입력값에 대한 출력값이 입력값의 상수배만큼 변하는 함수, f(x) = ax + b > 비선형 함수란? 직선 1개로는 그릴 수 없는 선형이 아닌 함수 ★예를 들어, h(x) = cx 를 활성화 함수로 사용한 3층 네트워크를 생각해보면 y(x) = h(h(h(x))) 가 된다. 계산해보면 y(x) = c*c*c*x 로 층을 쌓듯 세 번 계산하지만 y(x) = ax 로 치환할 경우, 은닉층이 없는 네트.. 2021. 2. 10. 딥러닝) 퍼셉트론에서 신경망 신경망은 데이터로부터 적절한 매개변수 값을 학습하는 성질이 있어서 퍼셉트론에서 사람이 수동적으로 가중치를 설정했던 것을 해결해준다. 신경망의 기본 구조는 아래 그림과 같다. 보다시피 뉴런이 연결되는 방식은 퍼셉트론과 유사하다. 신경망의 신호 전달 방법을 보기 위해 잠깐 퍼셉트론과 그 수식을 보면 다음과 같다. 여기서 h(x) 함수를 사용하였는데, 이렇게 입력 신호의 총합을 출력 신호로 변환하는 함수를 활성화 함수(actication function)라 한다. 활성화 함수는 입력 신호의 총합이 활성화를 일으키는지를 정한다. a는 입력 신호의 총합이고, y는 a를 활성화 함수 h( )에 적용하여 출력한 결과값이다. 활성화 함수의 처리 과정을 명시적으로 나타내면 아래 그림과 같다. 이 퍼셉트론을 보면 활성화 .. 2021. 2. 2. 이전 1 다음 728x90 반응형
