강화학습 기초 | 상태 행동 보상 구조 한 번에 정리

머신러닝을 공부하다 보면 어느 순간부터 강화학습이라는 단어를 만나게 됩니다.

이름은 익숙한데, 막상 설명을 들으면 상태, 행동, 보상, 정책 같은 단어가 한꺼번에 나와서 처음에는 더 어렵게 느껴질 수 있습니다.

그런데 핵심 구조만 잡으면 강화학습은 생각보다 훨씬 단순하게 이해할 수 있습니다.

가장 쉽게 말하면 강화학습은 에이전트가 환경 속에서 행동을 해보고, 그 결과로 받은 보상을 바탕으로 더 나은 행동을 배우는 방식입니다. IBM은 강화학습을 에이전트가 환경과 상호작용하면서 의사결정을 학습하는 방식으로 설명하고, AWS도 에이전트가 환경에서 행동한 뒤 새로운 상태와 보상을 관찰하며 학습한다고 설명합니다.

즉 강화학습은 정답을 바로 알려주는 지도학습과 조금 다릅니다. 대신 행동해보고, 결과를 보고, 점점 더 잘하는 쪽으로 바뀌는 구조에 가깝습니다. IBM은 강화학습이 단일한 정답 라벨보다 좋은 행동과 나쁜 행동에 대한 보상 신호를 중심으로 학습한다고 설명합니다.

#강화학습 #강화학습기초 #상태행동보상 #ReinforcementLearning #머신러닝기초 #AI입문 #정책학습

강화학습은 무엇을 배우는 방식일까

강화학습에서는 보통 에이전트(agent)와 환경(environment)이 등장합니다.

에이전트는 행동하는 주체이고, 환경은 그 행동의 결과를 돌려주는 세계라고 보면 됩니다.

IBM 설명에 따르면 에이전트는 환경이 제공하는 현재 상태 정보를 바탕으로 행동을 선택하고, 그 행동에 대해 환경이 보상 신호를 줍니다. 에이전트는 이 과정을 반복하면서 어떤 상태에서 어떤 행동이 더 좋은지 점점 익혀갑니다.

강화학습을 가장 쉽게 말하면

“해보고, 점수 받고, 더 잘하는 방법을 배우는 구조”라고 이해하면 가장 쉽습니다.

강화학습의 핵심 3요소: 상태, 행동, 보상

강화학습을 처음 배울 때 가장 먼저 잡아야 하는 구조가 바로 상태(state), 행동(action), 보상(reward)입니다.

OpenAI Spinning Up 문서는 강화학습에서 에이전트가 상태를 보고 행동을 고르고, 환경으로부터 보상 신호를 받는다고 설명합니다. IBM도 state space와 action space 개념을 따로 설명하면서 환경 상태와 가능한 행동의 집합을 핵심 요소로 다룹니다.

핵심 3요소

• 상태(State) = 지금 상황이 어떤지 나타내는 정보
• 행동(Action) = 지금 할 수 있는 선택
• 보상(Reward) = 그 행동이 얼마나 좋았는지 알려주는 점수

강화학습은 이 세 요소가 계속 반복되면서 돌아갑니다. 상태를 보고, 행동을 하고, 보상을 받고, 다음 상태로 넘어가는 흐름입니다.

상태란 무엇일까

상태는 에이전트가 현재 어떤 상황에 있는지 알려주는 정보입니다.

예를 들어 게임이라면 현재 캐릭터 위치, 적 위치, 체력, 남은 시간 같은 정보가 상태가 될 수 있습니다. 자율주행이라면 차선 위치, 속도, 앞차 거리, 조향 각도 같은 정보가 상태가 될 수 있습니다.

IBM은 state space를 환경이 제공하는 상태 정보 전체라고 설명합니다. 즉 상태는 에이전트가 다음 행동을 결정할 때 참고하는 현재 상황의 요약본입니다.

상태를 쉽게 이해하는 방법

상태는 “지금 무슨 상황인지 보여주는 화면”이라고 생각하면 이해가 쉽습니다.

행동이란 무엇일까

행동은 현재 상태에서 에이전트가 선택할 수 있는 것입니다.

게임에서는 왼쪽 이동, 오른쪽 이동, 점프, 공격 같은 것이 행동이 될 수 있습니다. 로봇이라면 앞으로 이동, 멈춤, 팔 올리기 같은 동작이 행동이 될 수 있습니다.

IBM은 action space를 특정 상태에서 에이전트가 취할 수 있는 모든 가능한 행동의 집합으로 설명합니다. 즉 행동은 “무엇을 할 수 있는가”의 목록입니다.

강화학습의 핵심은 아무 행동이나 반복하는 것이 아니라, 어떤 상태에서 어떤 행동이 더 유리한지를 점점 익히는 데 있습니다.

보상이란 무엇일까

보상은 행동이 얼마나 좋았는지 알려주는 피드백입니다.

OpenAI Spinning Up은 보상을 현재 상태가 얼마나 좋은지 혹은 나쁜지를 알려주는 숫자 신호로 설명합니다. 에이전트의 목표는 결국 이 보상을 장기적으로 최대화하는 것입니다.

예를 들어 게임에서 점수를 얻으면 +보상, 벽에 부딪히면 -보상, 목표 지점에 도착하면 큰 +보상이 될 수 있습니다.

AWS와 IBM 설명 모두 행동 이후에 새로운 상태와 보상이 관찰되고, 이 보상 신호를 바탕으로 에이전트가 더 나은 전략을 학습한다고 설명합니다.

보상을 쉽게 생각하면

• 잘한 행동이면 플러스 점수
• 나쁜 행동이면 마이너스 점수
• 애매한 행동이면 0점 또는 작은 점수

상태 행동 보상은 어떻게 연결될까

강화학습의 전체 구조는 사실 이 한 줄로도 요약할 수 있습니다.

상태를 본다 → 행동을 고른다 → 보상을 받는다 → 다음 상태로 간다

그리고 이 과정을 계속 반복합니다. AWS는 에이전트가 행동한 뒤 새로운 상태와 보상 값을 관찰한다고 설명하고, IBM도 비슷한 흐름으로 설명합니다.

강화학습의 기본 루프

1. 환경이 현재 상태를 보여준다
2. 에이전트가 행동을 선택한다
3. 환경이 보상을 준다
4. 환경이 다음 상태로 바뀐다
5. 에이전트는 이 경험을 바탕으로 더 나은 행동을 배우기 시작한다

결국 강화학습은 이 반복을 통해 “어떤 상황에서는 어떤 선택을 하는 게 장기적으로 유리한가”를 익혀가는 구조입니다.

정책(policy)은 왜 자주 같이 나올까

강화학습을 공부하다 보면 상태, 행동, 보상 다음으로 자주 나오는 단어가 바로 정책(policy)입니다.

IBM은 정책을 상태를 입력으로 받아 행동을 반환하는 함수처럼 설명합니다. 즉 정책은 “이 상태에서는 이렇게 행동하자”라는 규칙에 가깝습니다.

강화학습 알고리즘의 목표는 결국 보상을 많이 받을 수 있는 좋은 정책을 배우는 것입니다.

쉽게 말하면 정책은

“상태를 보면 어떤 행동을 할지 정해주는 내장 규칙”입니다.

강화학습은 왜 탐험과 활용 이야기가 같이 나올까

강화학습에는 탐험(exploration)과 활용(exploitation)이라는 아주 중요한 개념이 있습니다.

IBM은 에이전트가 보상받은 행동을 더 선호하게 되지만, 동시에 새로운 상태와 행동도 계속 탐색해야 한다고 설명합니다. AWS의 AI 에이전트 설명도 에이전트가 새로운 행동을 시도하는 탐험과, 이미 좋은 것으로 알려진 행동을 쓰는 활용 사이의 균형을 맞춘다고 설명합니다.

왜냐하면 현재까지 제일 좋아 보이는 행동만 계속하면 더 좋은 선택지를 놓칠 수 있기 때문입니다.

탐험과 활용을 쉽게 구분하면

• 탐험 = 새로운 행동도 해보는 것
• 활용 = 지금까지 가장 좋았던 행동을 쓰는 것

강화학습은 어디에 쓰일까

강화학습은 정답이 딱 주어지기보다 행동을 연속적으로 결정해야 하는 문제에서 특히 잘 맞습니다.

IBM과 AWS는 강화학습이 로보틱스, 게임, 의사결정 환경 같은 곳에 쓰인다고 설명합니다. 또 AWS는 금융 거래 같은 환경도 예시로 듭니다.

대표적인 활용 예

• 게임 플레이 전략 학습
• 로봇 움직임 제어
• 자율주행 의사결정
• 광고 또는 추천 최적화
• 금융 거래나 자원 배분 문제

처음 배우는 사람은 이렇게 기억하면 쉽다

강화학습은 수식으로 들어가면 어려워질 수 있지만, 입문 단계에서는 아래 세 줄만 먼저 잡아도 충분합니다.

가장 쉬운 요약

• 상태 = 지금 상황
• 행동 = 지금 할 선택
• 보상 = 그 선택이 얼마나 좋았는지 주는 점수

여기에 한 줄만 더 붙이면 거의 끝입니다.

강화학습은 상태를 보고 행동하고, 보상을 받으면서 더 좋은 정책을 배우는 과정

마무리

강화학습은 처음 접하면 용어가 많아서 복잡해 보이지만, 구조 자체는 꽤 직관적입니다.

상태는 현재 상황, 행동은 선택, 보상은 피드백입니다. 그리고 에이전트는 이 반복 속에서 더 많은 보상을 얻는 행동 패턴을 배워갑니다.

그래서 강화학습을 이해할 때는 알고리즘 이름부터 외우기보다 먼저 상태 → 행동 → 보상 구조를 확실히 잡는 것이 훨씬 중요합니다.