DQN이란 | 딥러닝 기반 강화학습 쉽게 설명

강화학습을 조금 공부하다 보면 DQN이라는 단어를 꽤 빨리 만나게 됩니다.

이름은 자주 보이는데, 막상 처음 들으면 “Q-learning이랑 뭐가 다른 거지?” “왜 굳이 딥러닝이 붙는 거지?” 하고 헷갈리기 쉽습니다.

그런데 핵심만 잡으면 DQN은 생각보다 단순하게 이해할 수 있습니다.

가장 짧게 말하면 DQN은 Q-learning에 딥러닝을 붙인 강화학습 방식입니다.

DeepMind의 2015년 Nature 논문은 DQN을 이용해 픽셀 입력만 보고 Atari 2600 게임 여러 개를 학습해 사람 수준에 가까운 성능을 보였다고 설명합니다. PyTorch 공식 튜토리얼도 DQN을 강화학습에서 쓰이는 Deep Q Learning 방식으로 소개합니다.

쉽게 말하면 예전의 Q-learning이 작은 표로 값을 외우는 방식이었다면, DQN은 신경망이 그 값을 대신 예측해주는 방식이라고 보면 됩니다.

#DQN #강화학습 #DeepQNetwork #Qlearning #딥러닝강화학습 #강화학습기초 #AI입문

먼저 Q-learning부터 아주 짧게 보면

DQN을 이해하려면 먼저 Q-learning 감각이 있어야 합니다.

강화학습에서는 보통 현재 상태를 보고, 어떤 행동을 할지 고른 뒤, 그 결과로 보상을 받습니다.

Q-learning은 여기서 “이 상태에서 이 행동을 했을 때 장기적으로 얼마나 좋을까?”를 Q값으로 표현합니다. Google Cloud의 강화학습 설명도 Q-learning을 각 상태와 행동에 대한 품질 점수, 즉 Q-value를 학습하는 대표적인 model-free 방법으로 설명합니다.

Q-learning을 가장 쉽게 말하면

각 상황에서 어떤 행동이 얼마나 좋은지 점수표를 만들어가는 방식입니다.

문제는 상태가 너무 많아지면 이 점수표를 직접 저장하고 업데이트하기가 거의 불가능해진다는 점입니다. 특히 화면 픽셀처럼 입력이 아주 복잡한 환경에서는 표 기반 방식이 사실상 버티기 어렵습니다.

그렇다면 DQN은 무엇일까

DQN은 Deep Q-Network의 줄임말입니다.

DeepMind 블로그는 DQN을 강화학습과 신경망을 결합한 방식으로 설명하면서, Atari 게임에서 화면 픽셀을 입력으로 받아 어떤 행동을 할지 학습했다고 소개합니다. 

즉 DQN의 핵심은 원래 표로 저장하던 Q값을 신경망이 대신 근사(approximate)하게 만드는 것입니다.

쉽게 말하면 “상태별 행동 점수표를 전부 손으로 적어두는 대신, 신경망이 그 점수를 예측하는 계산기 역할을 한다”는 느낌에 가깝습니다.

DQN의 핵심 한 줄

Q-learning의 점수표를 딥러닝 모델로 바꿔서 큰 상태 공간에서도 학습할 수 있게 만든 방식

왜 DQN이 중요했을까

DeepMind는 기존에 신경망과 강화학습을 바로 결합하면 학습이 불안정해지는 문제가 있었다고 설명합니다. 이를 줄이기 위해 DQN은 Experience Replay와 Target Network 같은 장치를 사용했습니다. 

그리고 이 구조 덕분에 하나의 설정으로 여러 Atari 게임을 학습할 수 있다는 점이 크게 주목받았습니다. Nature 논문은 DQN 에이전트가 49개의 Atari 2600 게임에서 픽셀 입력만으로 학습했다고 설명합니다. 

즉 DQN은 단순히 “딥러닝을 붙였다” 수준이 아니라, 복잡한 고차원 입력에서도 강화학습이 돌아가게 만든 상징적인 방법으로 많이 언급됩니다.

DQN 구조를 아주 쉽게 보면

처음 공부할 때는 수식보다 흐름으로 보는 편이 훨씬 이해가 쉽습니다.

DQN의 기본 흐름

1. 현재 상태를 본다
2. 신경망이 각 행동의 Q값을 예측한다
3. 그중 하나의 행동을 고른다
4. 환경에서 보상과 다음 상태를 받는다
5. 이 경험을 이용해 신경망이 더 정확한 Q값을 예측하도록 학습한다

PyTorch 공식 튜토리얼도 CartPole 예제를 통해 현재 상태에서 왼쪽/오른쪽 행동 중 하나를 선택하고, 그 결과를 쌓아가며 DQN 에이전트를 학습하는 흐름을 보여줍니다. 

Experience Replay는 왜 필요할까

DeepMind는 DQN 학습의 안정성을 높이기 위해 에이전트가 겪은 경험을 메모리에 저장한 뒤, 그 안에서 무작위로 샘플링해 다시 학습하는 방식을 사용했다고 설명합니다. 이를 experience replay라고 부릅니다.

왜 이런 방식이 필요하냐면, 강화학습에서 바로 직전에 겪은 경험들만 연달아 학습하면 데이터가 너무 비슷해서 학습이 불안정해질 수 있기 때문입니다.

PyTorch 공식 튜토리얼도 replay memory를 사용해서 transition을 저장하고, 무작위 배치로 학습하는 구조를 보여줍니다.

Replay를 쉽게 비유하면

오늘 있었던 일만 연달아 복습하는 대신, 예전에 겪은 여러 경험을 섞어서 다시 복습하는 방식이라고 보면 됩니다.

Target Network는 왜 같이 나오나

DQN을 설명할 때 또 자주 나오는 것이 Target Network입니다.

DeepMind 블로그는 신경망과 강화학습을 바로 합치면 학습이 불안정해질 수 있어서, DQN이 이를 줄이기 위해 target network를 사용했다고 설명합니다.

쉽게 말하면 현재 계속 바뀌는 주 네트워크 하나만으로 목표값까지 동시에 만들면 쫓아가는 기준 자체가 너무 흔들릴 수 있습니다.

그래서 일정 주기로만 갱신되는 별도 네트워크를 둬서 목표값 계산을 조금 더 안정적으로 만드는 것입니다.

Target Network를 쉽게 이해하면

• 주 네트워크 = 지금 계속 배우는 학생
• 타깃 네트워크 = 잠시 고정된 기준 답안
• 기준이 너무 자주 흔들리지 않게 해주는 장치

DQN은 어디에 잘 맞을까

DQN은 기본적으로 행동이 이산적(discrete)인 환경에서 자주 설명됩니다. PyTorch 공식 튜토리얼 예제인 CartPole도 왼쪽 또는 오른쪽처럼 선택 가능한 행동 수가 정해져 있는 문제입니다.

Atari 게임도 마찬가지로 버튼 입력처럼 비교적 이산적인 행동 공간을 가집니다. 그래서 DQN은 “현재 상태에서 가능한 행동 후보 중 어떤 것을 고를까”라는 문제에 잘 맞는 편입니다.

DQN을 처음 배우는 사람은 무엇부터 잡아야 할까

처음부터 논문 수식으로 들어가면 꽤 어렵게 느껴질 수 있습니다. 그래서 아래 순서로 이해하는 편이 훨씬 좋습니다.

추천 이해 순서

1. 강화학습의 상태-행동-보상 구조 이해하기
2. Q-learning이 상태별 행동 점수를 배우는 방식이라는 점 이해하기
3. 표 대신 신경망이 Q값을 예측하면 DQN이라는 점 이해하기
4. Experience Replay와 Target Network가 왜 필요한지 보기
5. 간단한 CartPole 예제로 실제 흐름 보기

PyTorch 공식 튜토리얼은 바로 이 흐름으로 DQN을 익히기에 좋은 입문 자료입니다. CartPole 환경에서 replay memory, target network, epsilon-greedy 같은 핵심 요소를 같이 보여줍니다.

처음 배우는 사람은 이렇게 기억하면 쉽다

DQN을 너무 복잡하게 외울 필요는 없습니다. 아래 세 줄만 먼저 잡아도 충분히 출발할 수 있습니다.

Q-learning = 상태별 행동 점수를 배우는 방식

DQN = 그 점수를 표 대신 딥러닝으로 예측하는 방식

Experience Replay + Target Network = 학습을 덜 흔들리게 만드는 핵심 장치

여기에 한 줄만 더 붙이면 좋습니다.

DQN은 복잡한 상태 공간에서도 Q-learning을 가능하게 만든 딥러닝 강화학습 방법

마무리

DQN은 강화학습 역사에서 꽤 상징적인 방법입니다. 단순한 표 기반 Q-learning이 다루기 어려운 큰 상태 공간을 신경망으로 다룰 수 있게 만들었고, Experience Replay와 Target Network로 학습 안정성도 크게 끌어올렸습니다.

그래서 DQN을 이해한다는 것은 단순히 알고리즘 하나를 외우는 것이 아니라, 강화학습과 딥러닝이 어떻게 만나 실전 문제를 풀기 시작했는지 이해하는 것에 가깝습니다.