![[7편] 기울기 계산의 두 가지 방법](http://i1.daumcdn.net/thumb/C150x150.fwebp.q85/?fname=https://blog.kakaocdn.net/dn/b6L99t/btsNhjddZlV/dPc3iEy9eKzazaL5DkKNZK/img.png)
[7편] 기울기 계산의 두 가지 방법
기울기(Gradient)를 계산하는 두 가지 방법:수치적 방법(Numerical Gradient)과 해석적 방법(Analytical Gradient)수치적 기울기 (Numerical Gradient)수치적 기울기는 함수의 입력을 아주 조금 변화시켜서 출력이 얼마나 변하는지 직접 계산하는 방법입니다.여기서 $ h $는 아주 작은 수, 보통 0.00001 같은 값을 씁니다.장점:구현이 단순하고 직관적입니다코드가 간결합니다디버깅이 쉽습니다단점:계산이 매우 느립니다 (가중치 개수만큼 반복 계산 필요)근사값이므로 정확도가 떨어질 수 있습니다실제 모델 학습에 사용하기에는 비효율적입니다해석적 방법 (Analytical Gradient)수학적으로 미분 공식을 직접 이용해서 정확한 기울기를 계산하는 방법입니다.장점:매우..
인공지능/딥러닝 입문
2025. 4. 10. 19:59