옵티마이저 시리즈OptimizerURL옵티마이저란? [optimizer]https://ai-duck1.tistory.com/16SGD[Stochastic Gradient Descent]https://ai-duck1.tistory.com/17모멘텀[Momentum]https://ai-duck1.tistory.com/18RMSProphttps://ai-duck1.tistory.com/22Adamhttps://ai-duck1.tistory.com/23Adamwhttps://ai-duck1.tistory.com/35 모델을 학습하는데 있어서 손실을 최소화할 수 있도록 가중치를 업데이트하는 것을 옵티마이저(optimizer)라고 부른다. 현재 가장 보편적으로 사용하는 옵티마이저는 Adam으로 두 가지가 결합된 ..

옵티마이저 시리즈OptimizerURL옵티마이저란? [optimizer]https://ai-duck1.tistory.com/16SGD[Stochastic Gradient Descent]https://ai-duck1.tistory.com/17모멘텀[Momentum]https://ai-duck1.tistory.com/18RMSProp https://ai-duck1.tistory.com/22Adamhttps://ai-duck1.tistory.com/23Adamwhttps://ai-duck1.tistory.com/35 Adam [Adatpive Moment Estimation]은 모멘텀 + RMSProp를 결합한 옵티마이저으로방향[속도]를 기억하며 빠른 수렴함기존 옵티마이저인 모멘텀[Momentum]과 RMS..

OptimizerURL옵티마이저란? [optimizer]https://ai-duck1.tistory.com/16SGD[Stochastic Gradient Descent]https://ai-duck1.tistory.com/17모멘텀[Momentum]https://ai-duck1.tistory.com/18RMSProp https://ai-duck1.tistory.com/22Adamhttps://ai-duck1.tistory.com/23Adamwhttps://ai-duck1.tistory.com/35모멘텀[Momentum]은기울기의 방향만 보는 것이 아닌 이전 업데이트의 속도를 반영해서파라미터를 더 부드럽고 빠르게 이동시키는 방식 모멘텀은 확률적 경사 하강법[Stochastic Gradient Descent..

옵티마이저 시리즈OptimizerURL옵티마이저란? [optimizer]https://ai-duck1.tistory.com/16SGD[Stochastic Gradient Descent]https://ai-duck1.tistory.com/17모멘텀[Momentum]https://ai-duck1.tistory.com/18RMSProp https://ai-duck1.tistory.com/22Adamhttps://ai-duck1.tistory.com/23Adamwhttps://ai-duck1.tistory.com/35 확률적 경사 하강법[Stochastic Gradient Descent, SGD]은 전체 대신 일부만인 미니 배치를 활용해서손실함수의 기울기를 계산하고파라미터[가중치]를 업데이트함. ​ 기존 경사..

옵티마이저 시리즈OptimizerURL옵티마이저란? [optimizer]https://ai-duck1.tistory.com/16SGD[Stochastic Gradient Descent]https://ai-duck1.tistory.com/17모멘텀[Momentum]https://ai-duck1.tistory.com/18RMSProp https://ai-duck1.tistory.com/22Adamhttps://ai-duck1.tistory.com/23Adamwhttps://ai-duck1.tistory.com/35 옵티마이저[Optimizer]은손실 함수[loss]를 최소화하기 위해기울기를 조절하는 알고리즘이다. 학습을 하기 위해서는 정답률을 높이는 방식으로 학습을 해야한다.예측한 값이 정답과 얼마나 틀리..

딥러닝을 훈련할 때 손실을 최소화하는 Optimizer[최적화 알고리즘]는 성능에 큰 영향을 끼친다.초기의 신경망 학습에는 경사하강법[Gradient Descent]과 SGD 등이 사용하였는데 하지만 2014년 Kingma와 Ba가 발표한 Adam[Adaptive Moment Estimation]은 효율성과 안정성으로 옵티마이저의 기본이 되었다.Adam 이전의 흐름 초기의 신경망 학습에는 다음과 같은 옵티마이저가 사용되었다:경사하강법(Gradient Descent)확률적 경사하강법 (Stochastic Gradient Descent, SGD)Momentum: 관성 개념을 추가해 진동을 줄이고 빠르게 수렴RMSProp: 각 파라미터 별로 변화량에 따라 학습률을 조정하지만 SGD에서는 학습 속도가 느리고 l..