SGD란?[Stochastic Gradient Descent] | AI숏츠

옵티마이저 시리즈

Optimizer	URL
옵티마이저란? [optimizer]	https://ai-duck1.tistory.com/16
SGD[Stochastic Gradient Descent]	https://ai-duck1.tistory.com/17
모멘텀[Momentum]	https://ai-duck1.tistory.com/18
RMSProp	https://ai-duck1.tistory.com/22
Adam	https://ai-duck1.tistory.com/23
Adamw	https://ai-duck1.tistory.com/35

 

 

확률적 경사 하강법[Stochastic Gradient Descent, SGD]은

 

전체 대신 일부만인 미니 배치를 활용해서
손실함수의 기울기를 계산하고파라미터[가중치]를 업데이트함.
​

 

기존 경사 하강법과의 차이

기존의 경사 하강법[Gradient Descent]은 전체 데이터셋에 대해
손실[loss]의 기울기를 계산해서 파라미터를 업데이트 함

Stochastic GD는 데이터 1개 또는 소규모 [mini-batch] 데이터만으로
기울기를 계산하여 업데이트함
-> 따라서 SGD는 계산이 빠르며 자주 가중치를 업데이트함

 

수학식

​파라미터를 업데이트 식은 다음과 같다

 

• θ: 파라미터 (예: 가중치, bias 등)
• η: 학습률 (learning rate)

∇θL(θ): 파라미터에 대한 손실 함수의 기울기

 

 

즉, 현재 기울기 방향의 반대방향으로 파라미터를 이동시켜 손실을 줄이는 방식

---

 

작동 방식

 

1. 미니 배치 하나를 선택

2. 순전파: 입력을 네트워크에 통과시켜 예측값 계산

3. 손실 계산: 예측값과 실제값의 차이

4. 역전파: 기울기 계산

5. SGD: 기울기를 보고 weight를 한 걸음 이동

 

반복 → 학습

 

장단점

 

장점

• 빠른 계산
• 실시간 업데이트

단점

• 기울기 추정치에 노이즈가 있음
• 불안정한 수렴
• 최솟값 부분에서 진동이 생길 수 있음