반응형 Batch3 딥러닝) CNN 구조 , 합성곱 계층 , padding , stride , 배치 처리 이번 포스팅에서 다룰 합성곱 신경망(Convolutional neural network , CNN)은 이미지 및 음성 인식에서 주로 사용된다. 1. CNN 구조 이전 포스팅까지 다루었던 기본 신경망은 인접하는 Layer의 모든 neuron들이 서로 연결되어 있다. 이처럼 모든 neuron이 연결된 것을 완전연결(Fully connected)라 하며, Affine계층으로 구현했다. 오늘 다룰 합성곱 신경망(Convolutional neural network , CNN)은 기본 신경망의 Affine-ReLU부분은 Conv-ReLU-(Pooling)로 바뀌고, 기본 신경망과 마찬가지로 출력층 근처의 Layer에서는 Affine-ReLU을, 출력층에서는 Affine-Softmax를 사용한다. 2. Fully c.. 2021. 4. 4. 딥러닝) 신경망 학습 알고리즘 , Stochasitc Gradient Descent , epoch, iteration , batch size 1. 신경망 학습 알고리즘 구현신경망에는 적응 가능한 가중치와 편향이 있고, 이 가중치와 편향을 training data에 적응하도록 조정하는 과정을 '학습'이라 한다. 신경망의 학습은 4가지 단계로 이루어진다. 1단계 - 미니배치training data 중 일부를 random으로 가져온다. 선별된 데이터를 미니배치라 하며, 미니배치의 손실 함수 값을 줄이는 것이 목표이다. 2단계 - 기울기 산출미니배치의 손실 함수 값을 줄이기 위해 손실 함수의 값을 가장 작게하는 방향을 제시해주는 각 가중치 매개변수의 기울기를 구한다. 3단계 - 매개변수 갱신가중치 매개변수를 기울기 방향으로 갱신한다. 4단계 - 반복1~3단계를 반복한다. 신경망의 학습은 경사 하강법으로 매개변수를 갱신하는 과정이다. 하지만 매개변수를.. 2021. 3. 2. 딥러닝) 손글씨 숫자 인식 MNIST 신경망 , 배치 batch 처리 신경망 구조를 손글씨 숫자 분류 문제를 해결하는데 적용해볼 것이다. 기계학습의 문제 풀이는 학습과 추론 단계를 거친다. 학습 단계에서는 모델을 학습하고, 추론 단계에서는 학습한 모델로 예측해야하는 데이터에 대해 추론을 수행하는 것이다. 신경망도 마찬가지로 두 단계를 거친다. 훈련 데이터를 사용하여 가중치 매개변수를 학습하고, 추론 단계에서는 학습한 매개변수를 사용하여 입력 데이터를 분류한다. 이번 포스팅에서는 학습 단계를 생략하고, 순전파(foward propagation)라고도 불리는 '추론 과정'을 구현해볼 것이다. 1. MNIST 데이터셋 MNIST dataset은 0~9까지 숫자 이미지 데이터이다. Training dataset은 60,000개이고 Test dataset은 10,000개이다. Tr.. 2021. 2. 18. 이전 1 다음 728x90 반응형
