대형 언어모델(LLM)을 강화학습으로 훈련할 때 널리 쓰이는 PPO에는 지금까지 주목받지 못한 결함이 하나 있었다. 이 논문은 그 결함을 '가치 평탄화(Value Flattening)'라고 이름 붙여 처음으로 체계적으로 드러낸다. 그리고 응답 하나당 서로 충분히 떨어진 소수의 상태(기본적으로 응답의 30%·60%·90% 세 지점, 6,144토큰이 넘는 긴 응답에서는 95%를 더해 네 지점)에만 가치 손실을 적용하는 SP³O(SParse Proximal Policy Optimization)라는 간단한 처방으로 이 문제를 완화하고, Qwen3-Base에서 여러 모델 크기와 평가 세트에 걸쳐 학습된 정책을 일관되게 개선했다.
PPO(Proximal Policy Optimization)는 LLM 강화학습의 표준 도구다. 여기서 크리틱(critic)은 "지금 이 상태(문장을 여기까지 생성한 시점)가 앞으로 얼마나 좋은 결과로 이어질까"를 점수로 매기는 역할을 한다. 이 점수를 상태 가치(state value)라고 부르는데, 이것이 있으면 정책 업데이트의 출렁임(분산)을 줄여 학습을 안정시킬 수 있다. 크리틱은 말하자면 등산 중에 "여기서부터 정상까지 얼마나 남았나"를 알려주는 고도계 같은 것이다.
문제는 이 고도계가 실제 지형을 제대로 반영하지 못한다는 데 있다. 논문은 여러 개의 몬테카를로 연속 생성(Monte Carlo continuation, 같은 지점에서 여러 번 끝까지 생성해 결과를 평균 내는 방식)으로 상태 가치를 추정해 봤더니, 진짜 가치는 중간 상태들을 지나며 급격하게 오르내리는데 정작 크리틱의 예측값은 상대적으로 평평하게 유지되더라는 사실을 발견했다. 실제 지형에는 가파른 절벽과 오르막이 있는데, 고도계는 계속 밋밋한 완만한 언덕만 가리키고 있는 셈이다.
이 어긋남을 논문은 가치 평탄화라 부른다. 그리고 이것이 우연이 아님을 보이기 위해, 상태 공간을 통제할 수 있는 FrozenLake라는 단순한 격자 환경에서도 같은 현상을 재현했다. 특히 상태 공간이 커질수록 평탄화가 더 심해진다는 점을 관찰했다. 문장이 길고 경우의 수가 많아지는 LLM 환경이야말로 이 문제에 가장 취약하다는 뜻이다.
크리틱은 왜 지형을 밋밋하게 뭉개버릴까. 논문의 분석은 두 가지 원인을 지목한다.
첫째, 특정 학습 설정에서 크리틱 손실 안에 숨는 '분산 페널티(implicit variance penalty)'다. 이것은 제곱오차(MSE) 자체의 일반적 성질이 아니라 논문이 다루는 특정 조건에서 생긴다. 보상이 응답 맨 끝에서 한 번만 주어지고(종단 보상) 할인·GAE 계수를 γ=λ=1로 두면, 표준 PPO는 한 응답 안의 모든 상태(토큰 지점)에 똑같은 하나의 종단 보상값을 회귀 목표로 준다. 이때 한 응답의 크리틱 손실을 풀어 쓰면 '예측들의 평균이 목표에서 벗어난 정도'와 '예측들끼리 서로 흩어진 정도(분산)'라는 두 항으로 갈라지는데, 뒤 항이 곧 예측값들이 서로 다르다는 것 자체에 벌점을 매긴다. 모든 지점을 촘촘히 감독할수록 응답의 모든 예측이 이 분산 항에 걸려들어, 크리틱은 실제 중간 가치가 어떻든 자기 예측을 한 값으로 모아 평평하게 만드는 쪽으로 눌린다. 시험의 모든 문항을 각 문항의 정답이 아니라 '시험 총점'이라는 단 하나의 숫자에 맞추라고 요구하면, 오차를 줄이려 모든 문항 예측을 똑같이 적어 문항별 차이가 사라지는 것과 같다.
둘째, 시간적으로 이어진 상태들의 중복 업데이트(redundant updates)다. 문장을 생성하는 도중의 이웃한 토큰 지점들은 서로 매우 비슷하다. 그래서 크리틱을 학습시킬 때 이 지점들이 거의 같은 방향의 기울기(gradient)를 만들어낸다. 사실상 똑같은 학습 신호가 수백 번 반복되면서, 미세하게 다른 진짜 차이를 덮어버리고 예측을 한 방향으로 평평하게 밀어붙인다. 거의 동일한 문제를 시험지에 100번 복붙해 놓으면, 학생은 그 유형에만 과하게 맞춰지고 정작 미묘하게 다른 변형은 구분하지 못하게 되는 것과 비슷하다.
SP³O의 처방은 놀랄 만큼 단순하다. 응답 하나의 모든 지점에 가치 손실을 걸지 말고, 서로 충분히 멀리 떨어진(well-separated) 소수의 상태에만 걸자는 것이다. 논문에 따르면 서로 떨어진 소수의 상태(기본 30%·60%·90% 세 지점, 긴 응답은 95%를 더한 네 지점)만 감독(supervise)해도 두 가지 원인을 동시에 완화할 수 있다. 이웃끼리 비슷해서 중복되던 신호를 솎아내니 중복 업데이트 문제가 줄고(원인 2 해결), 촘촘하게 눌러 평탄화하던 압력도 약해진다(원인 1 완화). 시험 문제를 100개 복붙하는 대신 서로 확연히 다른 몇 문제만 엄선해 내는 것에 가깝다.
논문은 Qwen3-Base 모델에서 실험했다. 논문이 밝히는 내용은 다음과 같다.
| 항목 | 논문이 밝히는 내용 |
|---|---|
| 감독 지점 | 응답의 30%·60%·90% 세 지점(6,144토큰 이상은 95%를 더해 네 지점)에만 가치 손실 적용 |
| 효과 | 가치 평탄화 완화 |
| 정책 성능 | 여러 모델 크기·여러 평가 세트에 걸쳐 일관되게 개선 |
구체적인 성능 향상 수치나 데이터셋 규모는 초록에 제시되어 있지 않으므로 여기서는 정성적으로만 정리한다. 핵심 메시지는 두 가지다. 하나는 가치 평탄화가 표준 PPO 크리틱 학습에서 중요하지만 간과되어 온 실패 모드라는 진단이고, 다른 하나는 아주 단순한 희소 감독(sparse supervision) 전략만으로도 이를 완화할 수 있다는 처방이다. 무언가를 더 복잡하게 붙이는 대신 오히려 학습 신호를 덜어냄으로써 더 나은 결과를 얻었다는 점이 인상적이다.
초록만으로 판단할 때 다음과 같은 물음이 남는다.
이런 점들은 논문을 깎아내리는 게 아니라, 단순한 처방이 왜·어디까지 통하는지를 더 알고 싶게 만드는 지점들이다.
온틀은 'AI 프로젝트 매니저 파견형 SaaS'로, 여러 에이전트가 긴 작업 흐름을 판단하고 실행하도록 만드는 일을 한다. 이 논문의 교훈은 그런 제품 설계에도 곧바로 닿는다.
첫째, "모든 순간을 똑같이 학습·평가하지 마라." PPO 크리틱이 이웃한 상태들의 중복 신호에 눌려 평탄해졌듯, AI PM도 긴 대화·긴 작업 로그의 모든 단계를 균등하게 학습하거나 평가하면 정작 중요한 전환점(의사결정이 갈리는 순간)의 신호가 묻힌다. 서로 확연히 다른 소수의 결정 지점을 골라 집중하는 편이 더 나은 판단으로 이어질 수 있다.
둘째, "덜어내는 것이 개선일 수 있다." 성능을 올리려 신호와 보상 항목을 자꾸 더하는 대신, SP³O처럼 학습 대상을 희소하게 솎아내는 방향이 오히려 효과적일 수 있다. 에이전트 평가 파이프라인에서도 촘촘한 중간 보상을 남발하기보다 잘 떨어진 체크포인트에 감독을 집중하는 설계를 검토할 만하다.
셋째, "가치 추정을 믿기 전에 실제 지형을 재봐라." 크리틱의 예측이 실제 몬테카를로 가치와 얼마나 어긋나는지 측정해 문제를 드러냈듯, 제품의 성공 예측 모델·리워드 모델도 실제 결과 분포와 대조하는 진단 습관이 필요하다. 예측값이 지나치게 매끄럽다면 그것은 안정이 아니라 평탄화의 징후일 수 있다.
에이전트가 긴 호흡의 일을 맡을수록 상태 공간은 커지고, 이 논문의 관찰대로 평탄화 위험도 커진다. 온틀이 다루는 문제의 정중앙에 있는 이야기다.
실제 상태 가치는 문장을 생성하는 중간 지점들을 지나며 크게 오르내리는데, PPO 크리틱의 예측값은 상대적으로 평평하게 유지되는 어긋남을 말합니다. 지형에는 절벽과 오르막이 있는데 고도계는 밋밋한 값만 가리키는 상황에 비유할 수 있습니다.
논문에 따르면 두 가지 이유입니다. 이웃한 상태들이 비슷해서 생기던 중복 학습 신호가 줄고, 값을 촘촘히 평균 쪽으로 눌러 평탄화하던 압력도 약해집니다. 서로 충분히 떨어진 소수 지점만 감독하면 이 두 효과를 동시에 완화합니다. 감독 지점은 기본 세 곳(응답의 30%·60%·90%)이며, 6,144토큰이 넘는 긴 응답에서는 95%를 더해 네 곳입니다.
상태 공간을 통제할 수 있는 FrozenLake 환경에서 현상을 재현했고, 실제 LLM 실험은 Qwen3-Base에서 진행했습니다. 초록은 여러 모델 크기와 평가 세트에 걸쳐 정책이 일관되게 개선되었다고만 밝히며, 구체적 수치는 제시하지 않습니다.
긴 작업을 다루는 에이전트일수록 상태 공간이 커지고 평탄화 위험도 커집니다. 모든 순간을 균등하게 학습·평가하기보다 서로 다른 소수의 결정 지점에 집중하고, 성공·리워드 예측이 실제 결과 분포와 어긋나지 않는지 진단하는 습관이 필요하다는 시사점을 줍니다.