반응형 출력층3 딥러닝) Affine , Softmax , Cross Entropy Error 계층 구현 1. Affine 계층 신경망의 feed-forward를 위해 입력값 X와 가중치 W와 편향 B를 Y = np.dt(X, W) + B와 같이 계산한 후 Y를 활성화 함수로 변환하여 다음 Layer로 전파하였다. 기하학에서는 순전파 때 수행하는 행렬의 곱을 어파인 변환(Affine transformation)이라고 한다. 어파인 변환은 대응하는 차원의 원소의 수를 일치시키는 것이 핵심이다. 위에서는 데이터 하나만 고려한 Affine계층을 보았는데, 이제 데이터 N개를 묶어서 순전파하는 Affine계층을 다룰 것이다. 순전파에서는 matrix인 X·W 와 vector인 B 를 더하기 위해서 vector인 B 에 repeat을 적용하여 matrix로 만들어 '+' 노드를 실행하고, 역전파에서는 matrix인 .. 2021. 3. 16. 딥러닝) 소프트맥스 함수로 출력층 설계 Machine Learning은 분류(classificaton)와 회귀(regression)로 나뉘며, 이 데이터 클래스에 따라 출력층에서 사용하는 활성화 함수가 다르다. 일반적으로 회귀에서는 항등 함수를 사용하고 분류에서는 소프트맥스 함수를 사용한다. 항등 함수(identity function)는 입력값을 그대로 출력하는 함수이고, 소프트맥스 함수(softmax function)는 다음과 같다. 1. 소프트맥스 함수 소프트맥스 함수는 분자는 k번째 입력 신호의 지수 함수로, 분모는 모든 입력 신호의 지수 함수의 합으로 이루어진 함수이다. 2. 소프트맥스 함수 구현 시 주의점 소프트맥스 함수는 지수 함수를 사용하는데, 지수 함수는 기하급수적으로 증가하는 함수이므로 오버플로 문제가 발생할 수 있다. 이러한.. 2021. 2. 14. 딥러닝) 퍼셉트론에서 신경망 신경망은 데이터로부터 적절한 매개변수 값을 학습하는 성질이 있어서 퍼셉트론에서 사람이 수동적으로 가중치를 설정했던 것을 해결해준다. 신경망의 기본 구조는 아래 그림과 같다. 보다시피 뉴런이 연결되는 방식은 퍼셉트론과 유사하다. 신경망의 신호 전달 방법을 보기 위해 잠깐 퍼셉트론과 그 수식을 보면 다음과 같다. 여기서 h(x) 함수를 사용하였는데, 이렇게 입력 신호의 총합을 출력 신호로 변환하는 함수를 활성화 함수(actication function)라 한다. 활성화 함수는 입력 신호의 총합이 활성화를 일으키는지를 정한다. a는 입력 신호의 총합이고, y는 a를 활성화 함수 h( )에 적용하여 출력한 결과값이다. 활성화 함수의 처리 과정을 명시적으로 나타내면 아래 그림과 같다. 이 퍼셉트론을 보면 활성화 .. 2021. 2. 2. 이전 1 다음 728x90 반응형
