mirabo01 님의 블로그

딥러닝을 공부하다 보면 Adam과 SGD라는 이름을 정말 자주 보게 됩니다.모델을 만들고 학습 코드를 짤 때도 “옵티마이저를 뭘로 할까?”라는 질문에서 거의 빠지지 않습니다.그런데 처음 배우는 입장에서는 둘 다 결국 가중치를 업데이트하는 도구라서 “정확히 뭐가 다른 거지?” 하고 헷갈리기 쉽습니다.가장 짧게 말하면 SGD는 가장 기본적인 경사하강 업데이트 방식이고, Adam은 기울기의 평균과 제곱 평균을 함께 사용해 파라미터별 학습률을 적응적으로 조절하는 방식입니다. Keras는 Adam을 first-order와 second-order moments의 adaptive estimation에 기반한 SGD 계열 방법으로 설명하고, SGD는 learning rate와 optional momentum을 사용하는..

딥러닝을 공부하다 보면 거의 반드시 만나게 되는 개념이 있습니다.바로 역전파입니다.이름만 들으면 뭔가 굉장히 어려운 수학처럼 느껴지지만, 실제 핵심은 의외로 단순합니다. 모델이 얼마나 틀렸는지 보고, 그 오차를 뒤에서부터 거꾸로 전달하면서 각 가중치를 얼마나 바꿔야 할지 계산하는 과정이라고 보면 됩니다.쉽게 말하면 딥러닝 모델이 문제를 풀고 난 뒤 “어디서 얼마나 잘못됐는지”를 거꾸로 추적해서 내부 연결값을 조금씩 수정하는 방식입니다.그래서 역전파는 딥러닝에서 단순히 한 번 예측하는 과정이 아니라, 모델이 점점 더 잘 맞히도록 스스로 조정해가는 핵심 메커니즘이라고 볼 수 있습니다.#역전파 #딥러닝 #인공신경망 #딥러닝학습 #오차역전파 #머신러닝기초 #AI입문딥러닝은 어떻게 학습할까역전파를 이해하려면 먼저..