딥러닝의 역사: Adam | AI숏츠

딥러닝을 훈련할 때 손실을 최소화하는 Optimizer[최적화 알고리즘]는 성능에 큰 영향을 끼친다.

초기의 신경망 학습에는 경사하강법[Gradient Descent]과 SGD 등이 사용하였는데

 

하지만 2014년 Kingma와 Ba가 발표한 Adam[Adaptive Moment Estimation]

은 효율성과 안정성으로 옵티마이저의 기본이 되었다.

---

Adam 이전의 흐름

 

초기의 신경망 학습에는 다음과 같은 옵티마이저가 사용되었다:

• 경사하강법(Gradient Descent)
• 확률적 경사하강법 (Stochastic Gradient Descent, SGD)
• Momentum: 관성 개념을 추가해 진동을 줄이고 빠르게 수렴
• RMSProp: 각 파라미터 별로 변화량에 따라 학습률을 조정

하지만 SGD에서는 학습 속도가 느리고 local minimum에 빠진다는 문제가

모멘텀과 RMSProp에서도 속도나 범용성이 떨어지는 단점이 존재하였다.

 

 

Adam의 등장 [2014]

 

Adam은 Adaptive Moment Estimation의 약자로

기존의 두 가지 옵티마이저를 결합함:

• Momentum: 1차 모멘트(평균)을 이용해 관성 효과 반영
• RMSProp: 2차 모멘트(분산)을 이용해 학습률을 적응적으로 조정

각 파라미터별로 다른 학습률을 적용하면서도 관성을 고려하여 안정적인 방향으로 업데이트를 할 수 있게함

---

장점

• 학습률 튜닝에 덜 민감하여 누구나 사용하기 쉬움
• 빠른 수렴 속도
• 희소한 데이터에도 강함

Adam (학습률 튜닝만)의 성능은 60% 확률로 가장 좋은 성능을 냄

영향

• 연구 측면: 새로운 모델을 빠르게 실험하고 검증하고
• 실제 사용 측면: 복잡한 하이퍼파라미터 튜닝 부담 감소로 모델의 학습의 표준이 됨

 

하지만 최근에는 Adam이 항상 가장 좋은 성능을 보장하지는 않고  Adam을 변형한 AdamW가 자주 사용됨

 

요약

Adam은 Momentum과 RMSProp를 결합하여

CNN, Transformer 등 수많은 아키텍처에서 널리 사용됨

 

참고

https://dennybritz.com/posts/deep-learning-ideas-that-stood-the-test-of-time/