딥러닝의 역사: AlexNet | AI숏츠

2012년 AlexNet이라는 딥러닝 모델의 등장은 인공지능 역사에서 큰 전환점이었다.

그 전까지는 사람이 직접 특징을 설계하는 전통적 머신러닝 방식이 주류였지만

AlexNet은 딥러닝이 실제로 기존 방법을 압도할 수 있다는 첫 증명 사례이다.

 

---

 

1.타임라임 및 배경

 

• 2009년: ImageNet 데이터셋 공개
• 2010~2011년: ILSVRC 대회에서 SVM와 같은 전통적 방법이 우세
• 2012년: AlexNet 등장 및 ILSVRC 대회에서 우승

토론토 대학의 Alex Krizhevsky, llya Sutskever, Geoffrey Hinton 연구팀이

AlexNet을 발표하였다.

 

 

2.AlexNet의 구조와 특징

​

AlexNet은 8개의 레이어로 이루어져 있다.

• 5개의 합성곱[Convolution] 레이어
• 3개의 완전연결[Fully-Connected] 레이어

그리고 마지막에 Softmax를 통해 분류를 수행한다.

 

AlexNet이 특별한 이유는 단순히 CNN을 썼다는 것이 아니라, 여러 혁신을 동시에

적용했기 때문이다.

• ReLU 활성화 함수
  • 기존 활성화 함수인 Sigmoid나 Tanh보다 학습이 빠르고 기울기 소실문제 해결함
• Dropout
  • 과적합[overfitting]을 막기 위한 정규화 기법
• 데이터 증강[Data Augmentation]
  • 이미지의 이동, 회전, 조명 변환으로 데이터를 늘림
• GPU 병렬 연산
  • 두 개의 GPU를 활용하여 대규모 연산을 가능하게 함
• LRN [Local Response Normalization]
  • 특정 층이 과도하게 커지는 것을 억제해 일반화 성능을 향상함

 

 

3.ImageNet 대회 결과

 

 

ILSVRC 2012 (ImageNet Large Scale Visual Recognition Challenge)에서

AlexNet이 우승을 차지함

 

2011년 우승 모델 오류율 약 28%

2012년 준우승 모델 오류율 약 26%

2012년 우승 모델 AlexNet 오류율 약 15%

 

단순한 개선이 아닌 딥러닝의 압도적인 우위를 보여주는 결과였다.

 

4.영향과 의의

• AlexNet 이후 CNN 기반 딥러닝 모델 연구에 본격적으로 뛰어듦
• GoogleNet, VGGNet, ResNet 등으로 이어짐
• GPU를 활용한 딥러닝 연구 붐을 일으킴

 

 

요약

 

AlexNet은 CNN을 활용한 딥러닝 모델로 기존의 머신러닝 위주의 모델을 밀어내고 새로운 표준이 됨

 

 

 

 

참고 

- https://blog.naver.com/ai_duck/223912892217

[논문 리뷰] Improving neural networks by preventing co-adaptation of feature detectors (2012)

dropout을 처음으로 제안햇던 논문 리뷰