배치 크기 (Batch Size)

Gradient Descent를 실행하고 모델의 가중치를 갱신할때 고려할 데이터의 갯수다.
배치 크기가 1이라면 Stochastic Gradient Descent가 된다. 훈련이 느리다.
배치 크기가 데이터 전부의 갯수라면 Batch Mode가 된다. 계산량이 많다.
배치 크기가 그 사이라면, Mini-Batch Mode가 되며, 좋은 GPU의 사용이 가능하다면 각각의 데이터마다 동시에 병렬 계산이 되기 때문에 제일 빠른 수렴이 가능하다.
배치 크기는 GPU에 따라 64, 128, 256, 512.. 등으로 설정한다.
Iteration * Batch Size = Epoch 이므로, 한 데이터셋을 도는데 최대한 병렬처리가 가능하게끔 배치 크기를 주는게 이득이다.