Deep Learning Fundamental (4) 썸네일형 리스트형 Batch Normalization : Accelerating Deep Network Training by Reducing Internal Covariate Shift 먼저 해당 포스팅은 PMLR 2015 논문 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift을 참고하여 작성하였음을 밝힙니다. 본 논문은 ICS(Internal Coveriate Shift)가 DNN(Deep Neural Network)의 효과적인 학습을 방해한다고 주장하며, 이를 해결할 수 있는 방법으로 배치 정규화(Batch Normalization)를 제안합니다. 추후에 개제된 How Does Batch Normalization Help Optimization? 논문에서 정말로 배치 정규화가 ICS 문제를 해결하는 가에 대한 의문이 제시되만, 배치 정규화가 DNN의 학습을 가속화 하며.. The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks 먼저 해당 포스팅은 ICLR 2019 논문 The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks을 참고하여 작성하였음을 밝힙니다. ImageNet Classification with Deep ConvolutionalNeural Networks 먼저 해당 포스팅은 NIPS 2012 논문 ImageNet Classification with Deep ConvolutionalNeural Networks를 참고하여 작성하였음을 밝힙니다. 이번 포스팅에서는 논문에서 제안하는 AlexNet과 흥미로웠던 내용들을 위주로 간략하게 살펴보도록 하겠습니다. 1. The Dataset AlexNet은 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)의 2012년 대회에서 Top 5 test error 기준으로 15.4%를 기록하여 1위를 차지했습니다. 위 대회에서 사용된 ImageNet 데이터 셋은 컴퓨터 비젼 분야에서 자주 사용되는 대표적인 데이터셋이라고 할 수 있습니다. ImageNet 데이터 셋은 그림 1.. Learning both Weights and Connections for Efficient Neural Networks 먼저 해당 포스팅은 NIPS 2015 논문 Learning both Weights and Connections for Efficient Neural Networks을 참고하여 작성하였음을 밝힙니다. The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks 논문을 읽던 중 앞서 게재된 위 논문을 참조할 필요가 있다고 느꼈기에 이렇게 포스팅하여 정리해보았습니다. 1. Introduction Neural network는 computer vision, speech recognition, NLP 등에 걸쳐서 많은 분야에 사용되고 있습니다. 그 중 Computer vision 분야의 복잡한 문제들을 해결하는 과정에서 nueral network.. 이전 1 다음
