반응형 AI64 딥러닝) 신경망 학습 알고리즘 , Stochasitc Gradient Descent , epoch, iteration , batch size 1. 신경망 학습 알고리즘 구현신경망에는 적응 가능한 가중치와 편향이 있고, 이 가중치와 편향을 training data에 적응하도록 조정하는 과정을 '학습'이라 한다. 신경망의 학습은 4가지 단계로 이루어진다. 1단계 - 미니배치training data 중 일부를 random으로 가져온다. 선별된 데이터를 미니배치라 하며, 미니배치의 손실 함수 값을 줄이는 것이 목표이다. 2단계 - 기울기 산출미니배치의 손실 함수 값을 줄이기 위해 손실 함수의 값을 가장 작게하는 방향을 제시해주는 각 가중치 매개변수의 기울기를 구한다. 3단계 - 매개변수 갱신가중치 매개변수를 기울기 방향으로 갱신한다. 4단계 - 반복1~3단계를 반복한다. 신경망의 학습은 경사 하강법으로 매개변수를 갱신하는 과정이다. 하지만 매개변수를.. 2021. 3. 2. 딥러닝) 기울기 , 경사하강법 , gradient descent , learning rate 1. 기울기 함수 f를 x0과 x1에 대해 동시에 편미분을 계산하면 아래와 같다. 이처럼 모든 변수의 편미분을 벡터로 정리한 것을 기울기(gradient)라고 한다. 참고로 위의 구현에서 np.zeros_like(x)는 x와 형상이 같고 그 원소가 모두 0인 배열을 만드는 함수이다. 위에서 구현한 기울기 함수를 이용해서 아래의 손실 함수에 대한 기울기를 실제로 구해보도록 하자. 기울기는 각 지점에서 함수의 값이 낮아지는 방향을 가리키킨다. ★기울기가 가리키는 쪽은 각 장소에서 함수의 출력 값을 가장 크게 줄이는 방향임을 기억해야 한다. 2. 경사 하강법 신경망은 학습을 통해 최적의 매개변수(가중치와 편향)를 찾는다. 최적의 매개변수란 손실 함수가 최솟값이 될 때의 매개변수 값을 의미한다. 매개변수의 기울.. 2021. 2. 27. 딥러닝) 수치 미분 , 해석적 미분 , 편미분 1. 수치 미분미분이란 한 점에서의 기울기를 의미한다. 기울기는 두 점 사이에서 발생하는 경사인데, 미분을 '한 점에서의 기울기'라고 하는 이유는 그 두 점 사이의 거리를 매우 좁혀서 한 점으로 보일때 그 점에서 기울기를 구하기 때문이다. 즉, 처음에는 두 점 사이의 기울기에서 시작하여 최종적으로는 거의 한 점에서의 기울기가 된다. 차분을 통해 미분하는 것을 수치 미분이라 하는데 수치 미분은 아래와 같다 (※ 차분이란 임의의 두 점에서의 함수 값들의 차이를 말한다.) 위의 미분 식을 보면, f(x)를 x에 대해 미분한다는 것은 x의 변화가 함수 f(x)를 얼마나 변화시키는지를 구하겠다는 것이며, 시간 h를 무한히 0으로 근접시켜 한 순간의 변화량을 나타낸다. 위의 식대로 미분 계산을 구현해보면 다음과 같.. 2021. 2. 25. 딥러닝) 신경망 학습 , 손실 함수 ( 오차 제곱합 , 교차 엔트로피 오차 ), 미니배치 이번 포스팅에서는 신경망 학습에 관련한 내용을 다룰 것이다. 학습이란 훈련 데이터를 이용하여 매개변수인 가중치의 최적값을 자동으로 구하는 것을 의미한다. 신경망이 학습할 때 손실 함수(Loss function)를 지표로 하는데, 손실 함수의 결과값을 가장 작게하는 가중치를 구하는 것이 학습하는 것의 목표이다. 기존에는 데이터가 주어지면 사람이 모든 규칙을 만들거나 특징을 설계하였지만, 신경망은 데이터로부터 스스로 학습하여 규칙을 찾아낸다. 딥러닝을 종단간 기계학습(end-to-end learning)이라고도 한다. '처음부터 끝까지'라는 의미로, 데이터 입력에서 결과 출력까지 사람의 개입없이 얻는다는 것을 뜻한다. 1. 훈련 데이터와 시험 데이터Machine Learning은 훈련 데이터(training.. 2021. 2. 21. 이전 1 ··· 11 12 13 14 15 16 다음 728x90 반응형
