![[8편] Gradient Descent : 배치 vs 확률적 방식 쉽게 이해하기](http://i1.daumcdn.net/thumb/C150x150.fwebp.q85/?fname=https://blog.kakaocdn.net/dn/AvrZi/btsNPaVtYQk/PUCoi4oezFKNVAqJlb1Wt0/img.png)
[8편] Gradient Descent : 배치 vs 확률적 방식 쉽게 이해하기
Gradient Descent?배치 경사 하강법(Full-batch GD) vs 확률적 경사 하강법(SGD)1. 배치 경사 하강법(Full-batch GD) 해석:𝑊 : 우리가 바꾸고 싶은 값 (예: 가중치)𝜂 : 얼만큼 바꿀지 정하는 값 (학습률)𝐿 : 손실(loss), 즉 얼마나 틀렸는지$ \frac{\partial L_i}{\partial W} $ : i번째 데이터에 대한 기울기 (얼마나 잘못됐는지)예를 들어,어떤 문제를 풀었더니 𝐿=100이 나왔어 (즉, 많이 틀렸다는 뜻)그런데 기울기 $ \frac{\partial L}{\partial W} $ = 20이라면?👉 지금의 W에서 Loss가 빠르게 올라가고 있다는 뜻→ 반대로, 그 방향의 마이너스(-) 방향으로 가야 Loss를 줄일 수 있다..
인공지능/딥러닝 입문
2025. 5. 8. 19:30