반응형 AI/밑딥18 딥러닝) 수치 미분 , 해석적 미분 , 편미분 1. 수치 미분미분이란 한 점에서의 기울기를 의미한다. 기울기는 두 점 사이에서 발생하는 경사인데, 미분을 '한 점에서의 기울기'라고 하는 이유는 그 두 점 사이의 거리를 매우 좁혀서 한 점으로 보일때 그 점에서 기울기를 구하기 때문이다. 즉, 처음에는 두 점 사이의 기울기에서 시작하여 최종적으로는 거의 한 점에서의 기울기가 된다. 차분을 통해 미분하는 것을 수치 미분이라 하는데 수치 미분은 아래와 같다 (※ 차분이란 임의의 두 점에서의 함수 값들의 차이를 말한다.) 위의 미분 식을 보면, f(x)를 x에 대해 미분한다는 것은 x의 변화가 함수 f(x)를 얼마나 변화시키는지를 구하겠다는 것이며, 시간 h를 무한히 0으로 근접시켜 한 순간의 변화량을 나타낸다. 위의 식대로 미분 계산을 구현해보면 다음과 같.. 2021. 2. 25. 딥러닝) 신경망 학습 , 손실 함수 ( 오차 제곱합 , 교차 엔트로피 오차 ), 미니배치 이번 포스팅에서는 신경망 학습에 관련한 내용을 다룰 것이다. 학습이란 훈련 데이터를 이용하여 매개변수인 가중치의 최적값을 자동으로 구하는 것을 의미한다. 신경망이 학습할 때 손실 함수(Loss function)를 지표로 하는데, 손실 함수의 결과값을 가장 작게하는 가중치를 구하는 것이 학습하는 것의 목표이다. 기존에는 데이터가 주어지면 사람이 모든 규칙을 만들거나 특징을 설계하였지만, 신경망은 데이터로부터 스스로 학습하여 규칙을 찾아낸다. 딥러닝을 종단간 기계학습(end-to-end learning)이라고도 한다. '처음부터 끝까지'라는 의미로, 데이터 입력에서 결과 출력까지 사람의 개입없이 얻는다는 것을 뜻한다. 1. 훈련 데이터와 시험 데이터Machine Learning은 훈련 데이터(training.. 2021. 2. 21. 딥러닝) 손글씨 숫자 인식 MNIST 신경망 , 배치 batch 처리 신경망 구조를 손글씨 숫자 분류 문제를 해결하는데 적용해볼 것이다. 기계학습의 문제 풀이는 학습과 추론 단계를 거친다. 학습 단계에서는 모델을 학습하고, 추론 단계에서는 학습한 모델로 예측해야하는 데이터에 대해 추론을 수행하는 것이다. 신경망도 마찬가지로 두 단계를 거친다. 훈련 데이터를 사용하여 가중치 매개변수를 학습하고, 추론 단계에서는 학습한 매개변수를 사용하여 입력 데이터를 분류한다. 이번 포스팅에서는 학습 단계를 생략하고, 순전파(foward propagation)라고도 불리는 '추론 과정'을 구현해볼 것이다. 1. MNIST 데이터셋 MNIST dataset은 0~9까지 숫자 이미지 데이터이다. Training dataset은 60,000개이고 Test dataset은 10,000개이다. Tr.. 2021. 2. 18. 딥러닝) 소프트맥스 함수로 출력층 설계 Machine Learning은 분류(classificaton)와 회귀(regression)로 나뉘며, 이 데이터 클래스에 따라 출력층에서 사용하는 활성화 함수가 다르다. 일반적으로 회귀에서는 항등 함수를 사용하고 분류에서는 소프트맥스 함수를 사용한다. 항등 함수(identity function)는 입력값을 그대로 출력하는 함수이고, 소프트맥스 함수(softmax function)는 다음과 같다. 1. 소프트맥스 함수 소프트맥스 함수는 분자는 k번째 입력 신호의 지수 함수로, 분모는 모든 입력 신호의 지수 함수의 합으로 이루어진 함수이다. 2. 소프트맥스 함수 구현 시 주의점 소프트맥스 함수는 지수 함수를 사용하는데, 지수 함수는 기하급수적으로 증가하는 함수이므로 오버플로 문제가 발생할 수 있다. 이러한.. 2021. 2. 14. 이전 1 2 3 4 5 다음 728x90 반응형
