🔗paper link

🔗korean review link

• 1998년 CNN architecture를 활용한 LetNet이 나오긴 했지만 컴퓨터의 성능과 GPU라는 연산장치, ImageNet과 같은 거대 이미지 dataset이 없어 큰 성과를 거두지 못 했다. 이 후 GPU보급으로 인한 병렬연산과 cifar-100, imageNet과 같은 큰 dataset을 이용하여 이미지 processing에서 월등히 좋은 포퍼먼스를 보여준 CNN architecture가 AlexNet이다.

• AlexNet에서는 GPU와 large dataset 활용했을 뿐만 아니라 dropout, SGD with momentum, ReLU activation function, data augmentation 등 다양한 기술 및 방법론 등을 적용한 CNN architecture이며, 이러한 기술 및 방법론들은 지금까지도 쓰이는 것들이다.

  • Dropout : 학습 시 랜덤하게 특정 뉴런을 비활성화 시켜 학습이 되지 않도록 한다. 이는 다양한 뉴런들의 학습을 막아 모든 뉴런들이 지나치게 training data의 표현력만을 가지게 되는 overfitting문제를 방지하기 위해 고안되었다.
  • SGD with momentum : neural net기초 공부에서 배웠던 optimization algorithm 중 하나이다.
  • ReLU activation function : 입력값들이 saturate되도록하여 gradient가 소실되는 문제를 야기하는 시그모이드나 tanh 함수들의 문제점을 해결하는 중요한 activation functino이다.
  • Data augmentation : dataset에 특정한 변형을 가해 모델이 dataset 자체에만 overfitting 되지 않고, 조금은 다른 이미지에 대해서도 표현력을 갖는 robust한 모델을 만들기 위해 고안된 학습 전 이미지 processing 기법이다.

• alexNet architecture

아직 GPU의 성능이 모델의 연산을 모두 감당할만큼 좋지 못 해 모델을 구조적으로 두 개로 쪼개 각각의 sub 구조를 다른 GPU에서 돌려 모델을 학습시켰다.

convolution layer, max pooling layer, activation function layer, fully connected layer로 이루어져 있다.