🔗paper link

• Vgg 모델은 딥러닝 기반 컴퓨터 비전 모델의 시대를 열었던 Alexnet의 8-layer모델보다 깊이가 2개 이상 깊은 네트워크의 학습에 성공했으며, 이를 통해 ImageNet Cahllenge에서 당시 SOTA 모델인 AlexNet의 오차율을 절반으로 줄였다.

• VGG 모델이 16-19 레이어에 달하는 깊은 신경망을 학습할 수 있었던 것은 모든 합성곱 레이어에서 3x3 필터를 사용했기 때문이다.

• 핵심 : 어떻게 깊은 레이어의 모델이 높은 포퍼먼스를 낼 수 있었는가, 왜 대부분의 convolutional layer에 비교적 작은 3x3 크기의 필터를 사용했는가를 규명한다.

  1. 모델의 표현력을 증가 시키기 위해선 모델의 비선형성을 높여야 된다. (비선형은 복잡한 문제를 풀 수 있도록 해준다)
  2. 필터의 크기를 키워봤자 parameter의 수만 증가시킨다.
  3. 필터의 크기를 3x3 정도로 적당히 줄이고 층을 깊게 하면 parameter 수도 줄이면서 비선형 활성화 함수를 통해 모델의 비선형성을 높여줄 수 있다.

     • 7x7 필터의 receptive field

       

     • 3x3 필터의 receptive field

       

       receptive field는 7x7 필터가 한 번 훑고 갔을 때와 3x3필터가 input image를 3번 훑고 갔을 때가 갔다. 하지만 파라미터 수는 7x7=49, 3x3x3=27로 3x3필터를 썼을 때 더 적다.

• VGG16 architecture

  

• 학습 이미지 크기(scale jittering)으로 학습 데이터의 이미지들을 다양한 크기로 변환하고 그 중 일부분을 샘플링해 사용함으로써(마지막 fc layer가 있기 때문에 input image의 크기는 같아야 하기 때문에) data augmentation을 실시했다. 이로인해 이미지 안 오브젝트의 다양한 측면을 학습 시 반영시킬 수 있었고, 이렇게 학습시켰을 때 모델의 성능이 더 높다는 것을 확인할 수 있었다.