반응형 Backpropagation2 딥러닝이란 / 딥러닝 학습 과정 / Concept of Deep Learning / Deep Learning training process ■ Deep Learning이란? Deep Learning을 설명하기 위해 먼저 Machine Learning에 대해 간단히 언급하겠습니다. Machine Learning은 어떤 문제를 해결하고자 할 때, 사람이 문제 해결을 위한 function을 설계하지 않아도 컴퓨터가 입력 데이터와 정답 레이블에서 유의미한 특징(function)을 찾아 문제를 스스로 해결하는 것을 말합니다. 그 중에서 인공신경망(Artificial Neural Network)이라는 알고리즘은 인간의 뇌가 자극을 처리하는 과정을 모델링하여 만든 것입니다. 정보를 처리하는 기본 단위를 뉴런(Neuron) 또는 노드(Node)라 하며 입력된 문제를 해결하기 위해 인공 뉴런들은 서로 연결하여 네트워크를 구성합니다. 그 기본 구조는 아래 그.. 2021. 3. 15. 딥러닝) 오차 역전파 backpropagation , 연쇄법칙 chain rule , 기울기 효율적으로 구하기 신경망 모델을 최적화 하기 위해서는 손실 함수의 값을 최소화하는 가중치 매개변수를 찾아야 한다. 복잡한 손실 함수에서 더 좋은 가중치를 찾기 위해 경사하강법(Gradient Descent)을 이용하여 가중치를 갱신하고자 하는데 이때 필요한 것이 기울기이다. 그 이유는 기울기가 이 경사 하강법에서 기울기가 손실 함수의 값을 줄일 수 있는 방향을 제시해주는 지표이기 때문이다. 이전 포스팅에서는 기울기를 구하기 위해 아래와 같이 수치 미분을 통해 기울기를 구하였다. 즉 도함수의 정의로 계산하였다. 그러나 수치 미분은 구현하기는 쉬우나 모든 가중치 매개변수에 대해 하나하나 일일이 계산해야 하므로 시간이 오래 걸리며 비효율적이다. 따라서 가중치 매개변수의 기울기를 효율적으로 구하기 위해 '오차역전파(backpro.. 2021. 3. 8. 이전 1 다음 728x90 반응형
