반응형
Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton가 2012년에 발표한 논문으로
일명 AlexNet으로 불리는 CNN 기반의 모델을 사용하여 대회에서 압도적으로 우승하였고
딥러닝을 실질적으로 이용한 첫 번째 사례이자 딥러닝 역사에 한 획을 그은 기념비적인 논문이다.
Introduction
- 기존의 머신러닝은 수작업으로 특징을 추출하였음
- AlexNet은 딥러닝을 이용해 자동으로 데이터로부터 특징을 학습하는 방법을 사용함
- ImageNet 대회(ILSVRC-2012)에서 15.3%를 기록하며 전년도의 26.2%보다 압도적인 성능을 보임
The Dataset
- ILSVRC-2012의 데이터를 사용하였음
- 총 120만 개의 학습 이미지, 1000개의 클래스 ,수만 개의 validation& test 이미지로 구성됨
The Architecture
AlexNet의 레이어
- AlexNet은 8개의 레이어로 구성됨:
- 5개의 Convolution Layer
- 3개의 Fully-Connected Layer
- 특징적 요소:
- ReLU 활성화 함수 도입: 기존의 시그모이드 또는 tanh에서 ReLU 사용으로 학습 속도 향상
- GPU 병렬 학습: 두 개의 GPU(NVIDIA GTX 580)를 사용해 네트워크를 분산 처리
- Local Response Normalization(LRN)을 적용해 일반화 능력 향상
- Overlapping Pooling 사용으로 특징 손실을 줄임
Reducing Overfitting
- 데이터 증강(Data Augmentation)
- 이미지 크롭, 좌우 반전, 색상 채널 교란 등의 방법을 사용해 인위적으로 학습 데이터 확장.
- Dropout 기법:
- Fully-connected layer에서 뉴런을 랜덤하게 제거하여 co-adaptation 방지.
- 당시 최초로 널리 소개된 dropout 활용 사례.
Details of Learning
- 옵티마이저로 Stochastic Gradient Descent(SGD) 사용
- 학습률(lr): 초깃값 이후 자동으로 감소
- 배치 크기: 128
- 가중치 초기화: Gaussian Distribution으로 무작위 초기화
- GPU 메모리를 고려하여 병렬 연산 최적화
- 이미지 120만장을 90번 정도 싸이클을 돌려서 5,6일 정도 걸려 학습함
Results
- ILSVRC-2012 대회에서 압도적 성과:
- Top-5 error rate: 15.3%
- 다른 경쟁 모델: 약 26%
- 다른 작은 데이터셋(CIFAR-10)에 적용해도 높은 성능을 보임
- 이미지넷 대회 역사상 가장 큰 격차를 보이며 딥러닝을 주류로 이끈 전환점이다
Discussion
- 대규모 CNN은 큰 데이터셋과 계산 자원(특히 GPU)이 있을 때 강력한 성능을 발휘함
- 구조적 요소(활성화 함수, 정규화, dropout 등)와 대규모 모델의 조합이 기존 방법론을 완전히 능가했음을 보여줌.
- 이후 수년간 VGG, GoogLeNet, ResNet 등의 구조 발전에 직접적 영감을 주었다.
정리
2012년에 발표한 ImageNet Classification with Deep Convolutional Neural Networks은
AlexNet으로 불리는 딥러닝 모델으로 ILSVRC-2012에서 압도적으로 뛰어난 성능을 보여주며
딥러닝의 부흥을 이끄는 결정적 계기가 되었다.
특히 굉장히 많은 방법을 처음으로 사용하였는데
GPU 기반 병렬 연산, 딥러닝의 CNN, dropout, ReLU, 데이터 증강 등이 존재한다.
반응형