코사인 형태로 훈련비율(learning rate)을 차츰 조정하면서 좀더 정확도를 상승시킬수 있는 방법이다. 훈련시, 오차와 정답의 차이를 100%…
[일:] 2020년 01월 30일
그룹 정규화 (또는 표준화, Group Normalization)
배치 정규화(표준화)와는 다른 방향으로 데이터를 표준화 작업을 거치는 방법. 한 채널 내의 데이터들을 적당한 수로 모아서(그룹별)…
배치 정규화 (혹은 표준화) Batch Normalization
미니배치에서 (보통은) 활성화 함수전에 해당 데이터들을 모두 Z-score 와 유사한 방법으로 표준화 (Normalization) 함으로써 빠르게 수렴하고…