메타 슈퍼인텔리전스 랩과 위스콘신·스탠퍼드·NYU 연구진이 강화학습(RL) 후처리의 숨은 비용을 정면으로 재봤습니다. 결론부터 말하면 통념과 반대입니다. 후처리를 거치지 않은 사전학습 '베이스' 모델에 가벼운 실행 보조장치(harness, 하네스 — 간단한 프롬프트와 규약으로 모델의 기본 동작을 돕는 장치)만 붙여 주면, 에이전트 과제에서 시도 예산(한 문제에 몇 번까지 시도할지)이 넉넉할 때 후처리 모델의 해답 포괄범위를 따라잡거나 앞섭니다. 연구진은 이 손실을 '선명화 세금(Sharpening Tax)'이라는 하나의 숫자로 묶고, 과제 난이도에 맞춰 샘플링 온도(답을 얼마나 다양하게 뽑을지 정하는 값)를 조절해 세금을 깎는 샘플러 PTGS까지 내놓습니다.
LLM을 '추론 모델'이나 '에이전트'로 끌어올리는 핵심 공정이 바로 이 RL 후처리입니다. 여기엔 해묵은 논쟁이 하나 붙어 있습니다. RL이 정말 없던 능력을 새로 만들어내는가, 아니면 베이스 모델이 이미 품고 있던 몇 가지 '돈 되는' 행동만 증폭하고 나머지는 눌러 버리는가. 뒤쪽 입장을 선명화(sharpening) 가설이라고 부릅니다.
지금까지의 증거는 대부분 수학·코딩에서 나왔고, 한 방향을 가리켰습니다. RL은 단발 명중률(pass@1, 한 번 시도해서 맞힐 확률)을 높이는 데는 효과적입니다. 하지만 여러 번 시도해 하나라도 맞히는 능력, 즉 해답의 포괄범위(pass@K, K번 중 적어도 한 번 맞힐 확률)는 오히려 좁힌다는 것이죠. 문제는 수학·코딩이 이 논쟁을 판가름하기엔 약한 시험대라는 점입니다. 사전학습 데이터에 수학·코딩이 넘치도록 들어 있어 베이스 모델이 이미 많은 풀이 전략을 품고 있고, 채점도 최종 답만 맞으면 통과시키는 경우가 많아 엉터리 과정이 운 좋게 정답에 닿아도 점수를 챙기기 때문입니다.
그래서 저자들은 더 가혹한 시험대로 에이전트 과제를 골랐습니다. 도구를 규격에 맞춰 호출하고, 여러 턴에 걸쳐 환경의 피드백을 받아 가며, 긴 흐름을 흐트러뜨리지 않고 끌고 가는 능력 말입니다. 이런 행동은 사전학습 데이터에 흔치 않고, 보통 후처리에서 배운다고 여겨집니다. 통념대로라면 에이전트 과제야말로 후처리가 '없던 길을 새로 뚫는' 영역이어야 합니다. 이 논문은 바로 그 지점을 찔러 봅니다.
먼저 세 가지 잣대를 구분해야 합니다. 한 번 시도해서 맞힐 확률이 pass@1(정확도), K번 중 한 번이라도 성공할 확률이 pass@K(포괄범위), K번 모두 성공할 확률이 일관성(consistency)입니다. pass@1은 효율을, pass@K는 '충분히 던지면 풀 수 있는 범위'를, 일관성은 신뢰도를 잽니다.
후처리가 모델의 행동에 무슨 짓을 하는지는 다트에 빗대면 선명해집니다. 후처리 모델은 한 가지 폼만 수천 번 연습한 선수입니다. 과녁이 익숙한 자리에 있으면 다트가 중심에 촘촘히 몰립니다(높은 pass@1, 높은 일관성). 그런데 과녁이 낯선 구석으로 옮겨가면, 연습한 폼대로 또 같은 자리에만 몰아 꽂을 뿐 좀처럼 그 구석엔 닿지 못합니다. 반대로 베이스 모델은 폼이 제각각인 아마추어입니다. 한 번 한 번은 빗나가기 일쑤지만 던지는 방향이 넓게 흩어지니, 많이 던지다 보면 선수라면 좀처럼 닿지 못할 구석까지 어쩌다 맞힙니다.
후처리가 '한 가지 폼'으로 굳는 이유는 강화학습의 작동 방식에 있습니다. 강화학습은 성공 확률이 높은 행동 경로의 확률은 더 높이고(보상), 나머지 경로의 확률은 억제하는(벌점) 방식으로 모델을 다듬기 때문입니다. 그래서 저자들이 들여다본 그림도 다트와 맞아떨어집니다. 후처리는 과제별 성공 확률을 양극단으로 몰아붙여, 실험 안에서 '매번 풀리는 과제'와 '한 번도 못 푸는 과제'로 갈라 놓습니다. 다만 여기서 '못 푸는 과제'란 논문이 과제당 128회 시도에서 성공이 0회였던 경우를 'always fail'로 분류한 것으로, 성공 확률이 정확히 0이거나 무한히 시도해도 실패한다는 뜻은 아닙니다. 이런 선명화 덕분에 적은 시도로도 풀 것은 풀어내고(샘플링 효율), 같은 과제를 매번 안정적으로 맞힙니다(일관성). 대가는 분명합니다. 한번 '못 푸는' 쪽으로 넘어간 과제는 주어진 시도 예산 안에서는 좀처럼 되살아나지 않습니다. 여러 번 병렬로 시도해 포괄범위를 넓히는 이점을 스스로 버리는 셈입니다.
여기서 하네스가 등장합니다. 데이터셋과 무관하고 모델 종류도 가리지 않는 얇은 보조층으로, 간단한 시스템 프롬프트에 느슨한 도구 호출·파싱 규약을 얹은 것입니다. 베이스 모델이 형식을 못 맞춰 헛발질하던 부분을 받쳐 주는 역할이죠. 흥미롭게도 같은 하네스를 후처리 모델에 씌우면 오히려 성능이 떨어집니다(그 이유는 아래 FAQ에서 따로 다룹니다).
이 손실을 하나의 숫자로 요약한 것이 선명화 세금입니다. 후처리를 거친 뒤 '시도를 늘릴수록 더 많이 풀어내는' 능력, 곧 테스트타임 확장성(시도를 늘릴 때 성적이 더 오르는 정도)이 얼마나 깎였는지를 재는 진단 지표입니다. 저자들은 이 세금을 몇 번의 시도(롤아웃 — 모델이 답을 내놓는 한 번의 시도)만으로도 추정할 수 있고, 시도를 많이 돌렸을 때의 세금이나 다른 성능 지표와도 잘 들어맞는다고 보고합니다.
이 논문이 내놓는 처방이 PTGS(posterior-tempered group sampling)입니다. 핵심은 모든 과제에 같은 온도를 쓰지 않는 것입니다. 과제마다 난이도를 베이즈 방식(시도 결과를 보며 난이도 추정을 갱신하는 방식)으로 추정해, 어려운 문제는 샘플링 온도를 높여 더 넓게 탐색하고(완화), 쉬운 문제는 온도를 낮춰 집중합니다(선명화). 한 가지 온도를 전 과제에 고정하는 대신 문제별로 다르게 쓰는 셈이죠. PPO·GRPO 같은 흔한 RL 알고리즘에 그대로 끼워 넣을 수 있다는 점도 실용적입니다.
규모부터 보겠습니다. 오픈소스 체크포인트 쌍 14개(Gemma-4, Ministral-3, Qwen2.5, Qwen3.5 네 계열, 유효 파라미터(모델 규모를 나타내는 수) 3B~35B)를 세 가지 에이전트 벤치마크(BFCL v4 멀티턴, WebShop, ACEBench)에 걸쳐 총 42개 조합으로 검증했습니다. 공정한 비교를 위해 후처리 모델의 '사고(thinking) 모드'는 껐습니다.
하네스가 베이스 모델에 얼마나 효과적인지는 베이스 모델 8개의 평균에서 드러납니다(w/o = 하네스 없음, w/ = 하네스 적용).
| 벤치마크 | pass@1 (w/o → w/) | pass@32 (w/o → w/) |
|---|---|---|
| BFCL | 5.59 → 15.63 | 15.19 → 49.13 |
| WebShop | 6.32 → 9.73 | 39.48 → 49.15 |
| ACEBench | 44.24 → 42.63 | 89.25 → 87.69 |
BFCL과 WebShop처럼 베이스 모델이 특히 쩔쩔매던 벤치마크에서는 하네스가 pass@1과 pass@32를 모두 크게 끌어올립니다. 반대로 베이스 모델이 이미 곧잘 하던 ACEBench에서는 거의 손대지 않거나 미세하게 떨어집니다. 하네스는 못 하던 걸 받쳐 줄 뿐, 되던 걸 더 밀어붙이지는 않는다는 뜻입니다.
본론인 역전(두 곡선이 교차하며 베이스 모델이 앞서는 지점, crossover)은 시도 예산을 과제당 128회까지 늘린 곡선에서 나타납니다. 적은 K에서는 후처리 모델이 앞서지만, 예산이 커지면 하네스를 낀 베이스 모델의 곡선이 더 가파르게 올라 대부분의 설정에서 추월합니다. WebShop에서 128번의 시도(롤아웃) 기준, 베이스 gemma-4-31B는 85%를 넘기는 반면 같은 모델의 RL 후처리본은 56%에 머뭅니다. 모델이 커질수록 역전이 일어나는 지점은 더 앞당겨집니다.
PTGS는 두 에이전트 환경의 RL 학습에 적용됐을 때, 온도를 고정한 기준선보다 선명화 세금을 덜 내면서 반복 샘플링에서 더 많은 과제를 풀었고, 단발 정확도(pass@1)까지 함께 끌어올렸습니다. 포괄범위와 정확도는 보통 한쪽을 얻으면 다른 쪽을 내주는 맞바꿈 관계인데, 둘을 동시에 올렸다는 점이 이 샘플러의 매력입니다.
솔직하게 짚어야 할 대목이 몇 가지 있습니다.
첫째, 사용된 체크포인트들의 정확한 학습 레시피가 공개돼 있지 않습니다. 저자들도 'RL 후처리'라는 말을 느슨하게 쓴다고 밝힙니다. SFT나 DPO 같은 다른 후처리 방식도 분포를 선명화하므로 분석 자체가 특정 레시피에 의존하지는 않지만, '순수한 RL만의 효과'를 떼어내 말하기는 어렵습니다.
둘째, 공정한 비교를 위해 사고 모드를 끈 결과라는 점입니다. 추론을 켠 상태의 최대 성능과는 다를 수 있습니다(저자들이 별도 그림에서 이 경우를 따로 다루기는 합니다).
셋째, 베이스 모델의 역전은 과제당 128회라는 큰 시도 예산에서 나온 이야기입니다. 실제 서비스에서 요청 하나에 128번을 던질 여유는 드뭅니다. 역전이 현실적으로 쓸 만한 예산 안에서 일어나는지는 설정마다 다릅니다.
더 중요한 지적은 따로 있습니다. pass@K는 'K번 중 적어도 한 번 성공'을 세는 지표입니다. 넓은 포괄범위를 손에 쥐어도, 그 여러 시도 가운데 어느 것이 정답인지 골라내는 장치(검증기나 채점기)가 없으면 제품에서는 단 하나의 답으로 내보낼 수 없습니다. 포괄범위의 우위가 곧 배포 가능한 성능인 것은 아닙니다. 범위를 넓히는 능력과 그중 옳은 것을 집어내는 능력은 별개의 숙제입니다.
온틀의 AI PM이 전에 본 적 없는 연동 요청을 받았다고 해 봅시다. 깔끔한 템플릿이 없는 낯선 작업입니다. 여기서 흔한 함정은, 가장 자신 있는 한 가지 경로로 단번에 밀어붙이고 실패하면 '현재로선 어렵다'며 닫아 버리는 것입니다. 이 논문은 그 반사행동이 왜 위험한지를 설명해 줍니다. 도메인 데이터로 잘 조련한(선명화된) 에이전트일수록, 손에 익은 수가 통하지 않는 드문 비정형 요청(롱테일) 앞에서 같은 수만 반복하다 그 과제를 '못 푸는' 칸으로 밀어 넣기 쉽습니다.
바꿔 말하면, 실행 전략을 과제의 난이도에 따라 갈라야 한다는 뜻입니다. 익숙하고 반복적인 요청에는 한 가지 방식으로 또렷하게 미는 편이 정답입니다. 한 번에, 싸게, 일관되게 끝내면 됩니다. 반대로 진짜 새로운 요청에는 '한 방'을 고집하는 대신 서로 다른 접근을 여러 번 시도할 예산을 떼어 주는 편이 성공 확률을 높입니다.
온틀은 지금까지 요청을 '규모'에 따라 s·m·l 단으로 나눠 처리 경로를 정해(라우팅) 왔습니다. 이 논문은 그 분기의 축을 '규모'에서 '난이도'나 '불확실성'으로 확장해야 한다는 점을 시사합니다. 쉬운 요청은 또렷하게, 어려운 요청은 탐색 폭을 넓혀서 — PTGS가 과제마다 온도를 달리하듯 말이죠.
그리고 선명화 세금은 그 자체로 쓸 만한 진단 도구입니다. 다만 여기서부터는 우리가 직접 검증해 봐야 할 업무 가설입니다. 고객 도메인에 맞춰 PM 에이전트를 미세조정했을 때, 평균 정확도가 올랐다고 끝내지 말고 '드문 비정형 요청을 끝내 풀어내는 힘을 잃지는 않았는가'를 몇 번의 시도만으로 재 보는 습관이 필요합니다. 평균만 보면 더 좋아진 모델이, 정작 까다로운 소수 요청에서는 전보다 더 자주 막혀 있을 수 있기 때문입니다. 세금 지표는 바로 그 사각지대를 숫자로 비춰 줍니다.
아닙니다. 베이스 모델의 단발 정확도(pass@1)는 후처리 모델보다 한참 낮습니다. 베이스가 앞서는 장면은 시도를 크게 늘리고 하네스로 형식까지 받쳐 줬을 때에 한합니다. 그만한 시도 예산도, 여러 답 가운데 정답을 골라낼 장치도 없는 단발 상황이라면 여전히 후처리 모델이 낫습니다.
뒤집는다기보다 확장에 가깝습니다. 정확도와 포괄범위의 맞바꿈은 수학·코딩에서 먼저 관찰됐습니다. 이 논문은 같은 현상이 에이전트 과제에서도 나타남을 보이면서, 에이전트 쪽이 선명화 가설을 검증하기에 더 가혹한 시험대라고 주장합니다. 도구 호출이나 멀티턴 같은 능력은 후처리에서 배운다고 여겨지는데, 바로 거기서도 세금이 붙는다면 그만큼 더 강한 증거이기 때문입니다.
하네스는 베이스 모델이 형식을 못 맞춰 헛발질하는 부분을 받쳐 주도록 설계됐습니다. 그런데 후처리 모델은 이미 도구 호출과 지시 따르기가 몸에 밴 상태라, 그 보조가 도움이 아니라 간섭으로 작용합니다. 잘 다듬은 모델일수록 프롬프트를 더 손대는 것이 득보다 실이 될 수 있다는, 기존 관찰과 같은 맥락입니다.