입력게이트, 출력게이트, 망각게이트등을 이용해 그라디언트 소실 문제를 극복하고 맥락을 잘 보존하게끔 하는 신경망 방법론 텍스트분석처럼 앞뒤의…
[일:] 2019년 06월 01일
그라디언트 소실 (Vanishing Gradient)
신경망을 훈련할때, 최종 출력에서 멀어질수록 값에 영향을 미치는값을 역산하여야 하는데, 거슬러올라가다보면 영향을 미치는 정도가 굉장히 작은…
피드백 구조 (Feedback Loops)
과거의 출력이 다시 입력이 되는 구조 순환신경망 (Recurrent Neural Network)에서 쓰이며, 기억저장소 같은 역할을 함 연속성이…
완전연결 레이어 (Fully Connected Layer)
앞단의 Convolution 레이어는 필요에 의해 일부만 연결되어있다고 할 수 있다. (이미지 픽셀 하나하나마다 연결되어있으면 쓸데없는 정보가…
배치 크기 (Batch Size)
Gradient Descent를 실행하고 모델의 가중치를 갱신할때 고려할 데이터의 갯수다. 배치 크기가 1이라면 Stochastic Gradient Descent가 된다.…