PPO 알고리즘 | policy gradient와 차이까지 정리

강화학습을 조금 공부하다 보면 PPO라는 이름을 정말 자주 보게 됩니다.

특히 최근에는 게임, 로보틱스뿐 아니라 생성형 AI 학습 문맥에서도 PPO라는 단어가 자주 등장해서 더 익숙하게 느껴질 수 있습니다.

그런데 처음 접하면 “PPO가 policy gradient랑 같은 말인가?” “정확히 뭐가 다른 건가?” 하는 부분에서 헷갈리기 쉽습니다.

가장 짧게 말하면 PPO는 policy gradient 계열에 속하는 대표 강화학습 알고리즘입니다.

policy gradient가 “정책을 직접 업데이트하는 방식 전체”를 가리키는 큰 개념이라면, PPO는 그 안에서 정책이 한 번에 너무 크게 바뀌지 않도록 제어해 학습을 더 안정적으로 만든 방법이라고 이해하면 됩니다.

#PPO #PolicyGradient #강화학습 #PPO알고리즘 #딥러닝강화학습 #AI입문 #정책최적화

먼저 policy gradient는 무엇일까

policy gradient는 강화학습에서 정책(policy)을 직접 최적화하는 방법입니다.

OpenAI Spinning Up은 policy gradient 알고리즘이 정책 성능에 대한 기울기 방향으로 파라미터를 업데이트한다고 설명합니다.

쉽게 말하면 현재 정책이 낸 행동 결과를 바탕으로 “보상을 더 많이 받는 방향으로 정책 자체를 조금씩 수정하는 방식”입니다.

policy gradient를 가장 쉽게 말하면

좋은 행동이 더 자주 나오도록 정책을 직접 밀어주는 방식입니다.

그래서 value-based 방식처럼 먼저 Q값을 학습한 뒤 행동을 고르는 구조와는 다르게, policy gradient는 처음부터 어떤 행동을 얼마나 선택할지를 나타내는 정책을 바로 학습합니다.

그렇다면 PPO는 무엇일까

PPO는 Proximal Policy Optimization의 줄임말입니다.

PPO 원논문은 PPO를 policy gradient 계열의 알고리즘으로 소개하면서, 기존의 vanilla policy gradient보다 여러 epoch의 minibatch 업데이트를 가능하게 하고, TRPO의 장점 일부를 더 단순한 방식으로 가져오려는 방법이라고 설명합니다.

OpenAI Spinning Up도 PPO가 stochastic policy를 on-policy 방식으로 학습한다고 설명합니다.

PPO 핵심 한 줄

정책을 직접 학습하되, 한 번에 너무 크게 바뀌지 않게 막아서 더 안정적으로 업데이트하는 방법

이름에 들어 있는 “Proximal”도 바로 이 느낌과 연결됩니다. 정책을 갑자기 멀리 점프시키지 않고, 기존 정책에서 너무 멀어지지 않는 범위 안에서 개선하려는 방향입니다.

PPO가 왜 필요했을까

vanilla policy gradient는 개념은 깔끔하지만 업데이트가 불안정할 수 있고, 한 번의 데이터 수집으로 효율적으로 여러 번 학습하기 어렵다는 한계가 있었습니다.

PPO 논문은 표준 policy gradient는 보통 샘플당 한 번의 gradient update를 수행하는 반면, PPO는 새로운 objective를 통해 같은 데이터로 여러 epoch의 minibatch 업데이트를 가능하게 했다고 설명합니다.

또 PPO는 TRPO보다 더 단순하고 일반적이며, 구현이 쉽고 empirical sample complexity도 좋다고 설명합니다.

즉 PPO가 해결하려고 한 것

• 정책 업데이트가 너무 크게 흔들리는 문제
• 기존 policy gradient의 데이터 활용 효율 문제
• TRPO의 복잡한 구현 부담

PPO의 핵심은 clipped surrogate objective다

PPO를 설명할 때 가장 많이 나오는 말이 바로 clipped surrogate objective입니다.

Hugging Face Deep RL Course는 PPO가 현재 정책과 이전 정책의 비율을 보고, 그 비율을 일정 범위 [1-ε, 1+ε] 안에서 clip해서 정책 업데이트가 너무 커지지 않도록 만든다고 설명합니다.

즉 모델이 “이번 업데이트에서 너무 과하게 바뀌는 것”을 막아서 학습이 더 안정적으로 진행되게 하는 장치입니다.

쉽게 비유하면

정책을 한 번에 확 바꾸지 말고, 안전한 범위 안에서 조금씩만 바꾸자는 아이디어입니다.

Hugging Face 설명도 PPO가 clipping을 통해 policy update가 너무 크지 않도록 해서 training stability를 높인다고 정리합니다.

그럼 PPO와 policy gradient 차이는 무엇일까

이 부분이 가장 많이 헷갈리는 지점입니다.

먼저 정리하면 policy gradient는 큰 범주의 이름이고, PPO는 그 안에 들어가는 구체적인 알고리즘 이름입니다.

OpenAI Spinning Up의 RL intro 문서는 policy gradient를 정책 성능의 gradient를 따라 최적화하는 알고리즘 계열로 설명하고, 예시로 Vanilla Policy Gradient와 TRPO를 언급합니다. 또 PPO는 흔히 policy gradient 알고리즘이라고 불리지만 약간 부정확할 수 있다고 덧붙입니다.

구분	policy gradient	PPO
의미	정책을 직접 최적화하는 방법 전체	그 계열 안의 구체적 알고리즘
업데이트 특징	정책 gradient 방향으로 직접 업데이트	clipping으로 업데이트 폭을 제한
대표 느낌	개념적 틀	실전형 안정화 버전

그래서 “PPO vs policy gradient”를 완전히 대등한 비교로 보기보다는, PPO는 policy gradient 계열을 더 실용적으로 만든 대표 알고리즘이라고 이해하는 것이 가장 자연스럽습니다.

PPO는 어떤 방식으로 학습할까

OpenAI Spinning Up은 PPO가 stochastic policy를 on-policy 방식으로 학습한다고 설명합니다.

즉 현재 정책으로 환경에서 데이터를 모으고, 그 최신 정책 기준으로 다시 정책을 업데이트하는 방식입니다. 과거의 오래된 데이터를 길게 재사용하는 off-policy 계열과는 성격이 다릅니다.

PPO의 기본 흐름

1. 현재 정책으로 환경에서 데이터를 모은다
2. 각 행동의 advantage를 계산한다
3. 이전 정책과 현재 정책의 비율을 본다
4. clip objective로 너무 큰 업데이트를 막는다
5. 여러 epoch 동안 minibatch 업데이트를 수행한다

PPO 논문도 데이터를 샘플링한 뒤 surrogate objective를 stochastic gradient ascent로 최적화하는 방식이라고 설명합니다.

왜 PPO가 실전에서 많이 쓰일까

PPO는 논문에서도 sample complexity, simplicity, wall-time 사이에서 좋은 균형을 보인다고 설명합니다.

즉 아주 복잡한 알고리즘은 아니면서도, 안정성 면에서 vanilla policy gradient보다 실전성이 좋고, 구현도 비교적 덜 까다로운 편이라 널리 쓰이게 된 것입니다.

Hugging Face도 PPO를 policy update를 너무 크게 하지 않게 해서 학습 안정성을 높이는 아키텍처로 설명합니다.

PPO가 많이 쓰이는 이유

• 정책 학습이 비교적 안정적임
• 구현이 TRPO보다 단순한 편임
• 같은 데이터로 여러 번 업데이트 가능
• 실전 벤치마크에서 성능과 단순성 균형이 좋음

처음 배우는 사람은 어떻게 이해하면 좋을까

PPO를 처음 배울 때는 수식부터 파고들기보다, 먼저 아래 순서로 개념을 잡는 편이 훨씬 좋습니다.

추천 이해 순서

1. 강화학습의 상태-행동-보상 구조 이해하기
2. 정책(policy)을 직접 학습하는 것이 policy gradient라는 점 이해하기
3. 정책이 너무 크게 흔들리면 학습이 불안정해질 수 있다는 점 이해하기
4. PPO가 clipping으로 이 문제를 줄인다는 점 이해하기
5. PPO는 policy gradient 계열의 실전형 알고리즘이라고 정리하기

여기까지 잡히면 PPO를 논문이나 구현 코드에서 봐도 왜 이런 구조가 들어가는지 훨씬 덜 낯설게 느껴집니다.

처음 배우는 사람은 이렇게 기억하면 쉽다

너무 복잡하게 외우지 않아도 됩니다. 아래 세 줄만 먼저 잡아도 충분합니다.

가장 쉬운 요약

• policy gradient = 정책을 직접 업데이트하는 강화학습 계열
• PPO = 그 계열 안에서 정책 업데이트를 더 안정적으로 만든 알고리즘
• 핵심 장치 = clipped surrogate objective

여기에 한 줄만 더 붙이면 거의 끝입니다.

PPO는 policy gradient를 실전에서 더 다루기 쉽게 만든 대표 알고리즘

마무리

PPO는 강화학습에서 굉장히 자주 등장하는 이름이지만, 본질은 생각보다 단순합니다.

정책을 직접 학습하는 policy gradient 계열 위에 서 있으면서, 한 번의 업데이트가 너무 과해지지 않도록 막아 학습 안정성을 높인 방식입니다.

그래서 PPO를 이해할 때는 새로운 알고리즘 이름 하나를 따로 외우기보다, policy gradient의 실전형 안정화 버전이라고 보는 것이 훨씬 자연스럽습니다.