딥러닝) 퍼셉트론에서 신경망

신경망은 데이터로부터 적절한 매개변수 값을 학습하는 성질이 있어서 퍼셉트론에서 사람이 수동적으로 가중치를 설정했던 것을 해결해준다. 신경망의 기본 구조는 아래 그림과 같다.

 

 

 

신경망 구조 예시

 

 

 

보다시피 뉴런이 연결되는 방식은 퍼셉트론과 유사하다. 신경망의 신호 전달 방법을 보기 위해 잠깐 퍼셉트론과 그 수식을 보면 다음과 같다.

 

 

 

편향을 포함한 퍼셉트론

 

 

퍼셉트론의 수식

 

 

 

여기서 h(x) 함수를 사용하였는데, 이렇게 입력 신호의 총합을 출력 신호로 변환하는 함수를 활성화 함수(actication function)라 한다. 활성화 함수는 입력 신호의 총합이 활성화를 일으키는지를 정한다.

 

 

 

입력 신호의 총합과 그 총합을 활성화 함수에 적용하는 수식

 

 

 

a는 입력 신호의 총합이고, y는 a를 활성화 함수 h( )에 적용하여 출력한 결과값이다. 활성화 함수의 처리 과정을 명시적으로 나타내면 아래 그림과 같다.

 

 

 

활성화 함수 과정을 명시한 퍼셉트론

 

 

 

이 퍼셉트론을 보면 활성화 함수는 임계값을 경계로 출력이 바뀌는데, 이러한 함수를 계단 함수(step function)라 한다.

결론적으로, ★퍼셉트론은 계단 함수를 활성화 함수로 이용한 것이고 신경망은 계단 함수에서 다른 함수로 변경하며 나아간 것이다. 따라서 다음 포스팅에서는 신경망에서 이용하는 활성화 함수들을 살펴볼 것이다.

 

 

---

<배운 것>

· 퍼셉트론과 신경망의 차이점: 이용하는 활성화 함수 (계단 함수 vs 다른 함수)

---

 

출처: 사이토 고키, 『밑바닥부터 시작하는 딥러닝』, 한빛미디어(2017), p63-68.

https://www.hanbit.co.kr/store/books/look.php?p_code=B8475831198

밑바닥부터 시작하는 딥러닝