mirabo01 님의 블로그

딥러닝을 공부하다 보면 Adam과 SGD라는 이름을 정말 자주 보게 됩니다.모델을 만들고 학습 코드를 짤 때도 “옵티마이저를 뭘로 할까?”라는 질문에서 거의 빠지지 않습니다.그런데 처음 배우는 입장에서는 둘 다 결국 가중치를 업데이트하는 도구라서 “정확히 뭐가 다른 거지?” 하고 헷갈리기 쉽습니다.가장 짧게 말하면 SGD는 가장 기본적인 경사하강 업데이트 방식이고, Adam은 기울기의 평균과 제곱 평균을 함께 사용해 파라미터별 학습률을 적응적으로 조절하는 방식입니다. Keras는 Adam을 first-order와 second-order moments의 adaptive estimation에 기반한 SGD 계열 방법으로 설명하고, SGD는 learning rate와 optional momentum을 사용하는..

딥러닝을 공부하다 보면 거의 반드시 만나게 되는 개념이 있습니다.바로 역전파입니다.이름만 들으면 뭔가 굉장히 어려운 수학처럼 느껴지지만, 실제 핵심은 의외로 단순합니다. 모델이 얼마나 틀렸는지 보고, 그 오차를 뒤에서부터 거꾸로 전달하면서 각 가중치를 얼마나 바꿔야 할지 계산하는 과정이라고 보면 됩니다.쉽게 말하면 딥러닝 모델이 문제를 풀고 난 뒤 “어디서 얼마나 잘못됐는지”를 거꾸로 추적해서 내부 연결값을 조금씩 수정하는 방식입니다.그래서 역전파는 딥러닝에서 단순히 한 번 예측하는 과정이 아니라, 모델이 점점 더 잘 맞히도록 스스로 조정해가는 핵심 메커니즘이라고 볼 수 있습니다.#역전파 #딥러닝 #인공신경망 #딥러닝학습 #오차역전파 #머신러닝기초 #AI입문딥러닝은 어떻게 학습할까역전파를 이해하려면 먼저..

딥러닝을 공부하다 보면 텍스트, 음성, 시계열 데이터 쪽에서 자주 보이는 모델이 있습니다.바로 RNN, LSTM, GRU입니다.셋 다 순서가 있는 데이터를 처리한다는 점은 비슷하지만, 막상 처음 배우면 “RNN이 기본형이고, LSTM이랑 GRU는 정확히 뭐가 다른 거지?” 하는 부분에서 많이 헷갈립니다.가장 짧게 말하면 RNN은 기본 순환신경망이고, LSTM과 GRU는 RNN의 단점을 보완한 변형입니다. PyTorch 문서도 nn.RNN, nn.LSTM, nn.GRU를 나란히 “recurrent layers”로 소개하고 있고, C++ 문서에서는 RNN은 기본 recurrent layer, LSTM은 장기 의존성을 다루는 gated architecture, GRU는 더 단순한 gated recurrent ..

딥러닝을 공부하다 보면 이미지 분류, 객체 인식, 얼굴 인식 같은 주제에서 거의 빠지지 않고 등장하는 모델이 있습니다.바로 CNN입니다.이름은 익숙한데, 막상 처음 보면 합성곱, 필터, 특징맵, 풀링 같은 단어가 한꺼번에 나와서 구조가 더 복잡하게 느껴질 수 있습니다.그런데 핵심만 먼저 잡으면 CNN은 생각보다 단순하게 이해할 수 있습니다.가장 짧게 말하면 CNN은 이미지 같은 격자 형태의 데이터에서 중요한 패턴을 자동으로 뽑아내는 딥러닝 모델입니다.쉽게 말하면 사람이 눈으로 보면서 “여기엔 모서리가 있네”, “여긴 둥근 모양이네”, “이건 귀처럼 보이네”라고 특징을 찾는 과정을 신경망이 여러 층을 거치며 자동으로 학습하는 구조라고 보면 됩니다.#CNN #합성곱신경망 #이미지처리 #딥러닝 #인공신경망 #..

AI를 공부하다 보면 딥러닝이라는 단어를 정말 자주 만나게 됩니다.이미지 인식, 음성 인식, 번역, 챗봇, 생성형 AI까지 거의 모든 최신 AI 이야기에는 딥러닝이 빠지지 않습니다.그런데 막상 처음 들으면 “딥러닝이 머신러닝이랑 뭐가 다른 거지?” “인공신경망은 또 뭐지?” 하는 부분에서 헷갈리기 쉽습니다.가장 짧게 말하면 딥러닝은 인공신경망을 여러 층으로 쌓아 데이터를 학습하는 머신러닝 방식입니다.즉 딥러닝을 이해하려면 먼저 인공신경망이 어떤 구조인지, 그리고 왜 층이 많아질수록 더 복잡한 패턴을 배울 수 있는지를 보면 됩니다.#딥러닝 #인공신경망 #신경망구조 #머신러닝기초 #AI입문 #딥러닝뜻 #DeepLearning딥러닝이란 무엇일까딥러닝은 머신러닝의 한 분야입니다. 다만 일반적인 머신러닝보다 인공..

강화학습을 조금 공부하다 보면 PPO라는 이름을 정말 자주 보게 됩니다.특히 최근에는 게임, 로보틱스뿐 아니라 생성형 AI 학습 문맥에서도 PPO라는 단어가 자주 등장해서 더 익숙하게 느껴질 수 있습니다.그런데 처음 접하면 “PPO가 policy gradient랑 같은 말인가?” “정확히 뭐가 다른 건가?” 하는 부분에서 헷갈리기 쉽습니다.가장 짧게 말하면 PPO는 policy gradient 계열에 속하는 대표 강화학습 알고리즘입니다.policy gradient가 “정책을 직접 업데이트하는 방식 전체”를 가리키는 큰 개념이라면, PPO는 그 안에서 정책이 한 번에 너무 크게 바뀌지 않도록 제어해 학습을 더 안정적으로 만든 방법이라고 이해하면 됩니다.#PPO #PolicyGradient #강화학습 #PP..

강화학습을 조금 공부하다 보면 DQN이라는 단어를 꽤 빨리 만나게 됩니다.이름은 자주 보이는데, 막상 처음 들으면 “Q-learning이랑 뭐가 다른 거지?” “왜 굳이 딥러닝이 붙는 거지?” 하고 헷갈리기 쉽습니다.그런데 핵심만 잡으면 DQN은 생각보다 단순하게 이해할 수 있습니다.가장 짧게 말하면 DQN은 Q-learning에 딥러닝을 붙인 강화학습 방식입니다.DeepMind의 2015년 Nature 논문은 DQN을 이용해 픽셀 입력만 보고 Atari 2600 게임 여러 개를 학습해 사람 수준에 가까운 성능을 보였다고 설명합니다. PyTorch 공식 튜토리얼도 DQN을 강화학습에서 쓰이는 Deep Q Learning 방식으로 소개합니다.쉽게 말하면 예전의 Q-learning이 작은 표로 값을 외우는 ..

머신러닝을 공부하다 보면 어느 순간부터 강화학습이라는 단어를 만나게 됩니다.이름은 익숙한데, 막상 설명을 들으면 상태, 행동, 보상, 정책 같은 단어가 한꺼번에 나와서 처음에는 더 어렵게 느껴질 수 있습니다.그런데 핵심 구조만 잡으면 강화학습은 생각보다 훨씬 단순하게 이해할 수 있습니다.가장 쉽게 말하면 강화학습은 에이전트가 환경 속에서 행동을 해보고, 그 결과로 받은 보상을 바탕으로 더 나은 행동을 배우는 방식입니다. IBM은 강화학습을 에이전트가 환경과 상호작용하면서 의사결정을 학습하는 방식으로 설명하고, AWS도 에이전트가 환경에서 행동한 뒤 새로운 상태와 보상을 관찰하며 학습한다고 설명합니다.즉 강화학습은 정답을 바로 알려주는 지도학습과 조금 다릅니다. 대신 행동해보고, 결과를 보고, 점점 더 잘..

차원 축소를 공부하다 보면 거의 반드시 만나게 되는 이름이 있습니다.바로 PCA, t-SNE, UMAP입니다.셋 다 데이터를 더 낮은 차원으로 줄여서 보기 쉽게 만든다는 점은 비슷하지만, 실제 목적과 성격은 꽤 다릅니다.가장 먼저 큰 그림부터 잡으면 이렇습니다.PCA는 분산을 최대한 보존하는 선형 차원 축소에 가깝고, t-SNE는 고차원 데이터 시각화에 특화된 비선형 임베딩에 가깝고, UMAP은 로컬 구조와 어느 정도의 전역 구조 균형을 조절할 수 있는 비선형 임베딩에 더 가깝습니다. 쉽게 말하면 PCA는 정보를 최대한 유지하며 압축하는 느낌, t-SNE는 보이기 좋게 군집을 펼쳐주는 느낌, UMAP은 시각화와 구조 보존 사이의 균형을 잡아주는 느낌으로 이해하면 꽤 편합니다.#PCA #tSNE #UMAP..

머신러닝을 공부하다 보면 지도학습 다음으로 자주 만나게 되는 개념이 있습니다.바로 비지도학습입니다.이름만 들으면 조금 어렵게 느껴지지만, 핵심은 생각보다 단순합니다. 정답이 없는 데이터에서 패턴을 찾는 방식이라고 보면 됩니다.IBM은 비지도학습을 라벨이 없는 데이터셋을 분석해서 숨겨진 패턴이나 그룹을 발견하는 방식으로 설명합니다. Google Cloud도 정답 라벨 없이 데이터 안의 구조를 찾는 접근으로 설명합니다.쉽게 말하면 지도학습이 “문제와 정답을 같이 보여주면서 배우는 방식”이라면, 비지도학습은 정답 없이 데이터끼리 어떤 공통점이 있는지 스스로 찾아보는 방식에 더 가깝습니다.#비지도학습 #클러스터링 #차원축소 #머신러닝기초 #AI입문 #데이터분석 #군집화비지도학습이란 무엇일까비지도학습은 정답 라벨..