"모델이 스스로 만든 데이터로 배우는 쪽(온폴리시)이 본질적으로 더 낫다." 요즘 부쩍 자주 들리는 통념입니다. 문제는 이 주장의 근거가 대부분 성격이 아주 다른 두 학습법을 통째로 맞붙인 비교에서 나왔다는 점입니다. 케임브리지 연구팀이 변수를 하나씩 뜯어 다시 확인해 봤더니, 승부를 가른 건 "온폴리시냐 아니냐"가 아니었습니다. 최종 성능은 학생과 교사의 답을 맞춰보는 방식(KL 방향)이, 기존 능력을 잊는 정도와 모델을 건드리는 양은 학습률이 좌우했습니다. 온폴리시의 우위라고 믿어온 것의 상당 부분이, 사실은 다른 설정의 공이었던 셈입니다.
먼저 용어를 정리하겠습니다. LLM 후처리 학습(post-training)은 사전학습을 끝낸 모델을 실제 용도에 맞게 다듬는 단계입니다. 여기서 모델이 자기 출력으로 배우는 방식이 온폴리시(대표적으로 RLVR — 정답 여부로 보상을 주는 강화학습)이고, 미리 만들어둔 고정 데이터로 배우는 방식이 오프폴리시(대표적으로 SFT — 정답 예시를 그대로 따라 쓰게 하는 지도학습)입니다. 통념은 온폴리시가 여러모로 낫다는 것입니다. 이전에 배운 능력을 덜 잊고, 모델 내부를 더 적게 바꾸며, 배운 적 없는 문제에도 더 잘 대응한다고요.
하지만 이 통념의 근거는 대부분 SFT와 RLVR을 통째로 맞붙인 비교입니다. 두 방식은 "누가 데이터를 만드느냐"만 다른 게 아닙니다. 학습 목표, 보상 신호, 정답을 알려주는 정도, 최적화 규모, 학습률까지 전부 다릅니다. 요리에 빗대면, 재료도 불 세기도 조리 시간도 양념도 한꺼번에 바꿔놓고 "역시 이 팬이 좋네"라고 말하는 셈입니다. 정작 팬 하나, 곧 데이터를 누가 만드는가가 기여한 몫만 떼어 보기가 어렵습니다.
이게 실무에서 왜 중요할까요. 온폴리시는 학습 내내 모델이 새 답을 계속 만들어야 해서 비쌉니다. 오프폴리시는 만들어둔 데이터를 재사용하면 되고요. 온폴리시의 이점이 사실은 다른 설계 요소에서 나온 것이라면, 그 비싼 비용을 감수할 근거가 약해집니다.
그렇다면 팬 하나의 몫만 어떻게 떼어낼까요. 연구팀의 영리한 선택은 SFT 대 RLVR이라는 복잡한 비교를 접고, "강한 교사 모델 → 약한 학생 모델"로 지식을 옮기는 증류(distillation)를 실험대로 삼은 것입니다. 이 틀에서는 나머지 학습 과정을 그대로 둔 채 데이터를 누가 만드는지만 깔끔하게 바꿀 수 있습니다.
떼어낼 변수는 셋입니다.
① 롤아웃 정책 — 학습 데이터를 교사가 만드느냐(오프폴리시) 학생이 만드느냐(온폴리시). ② KL 방향 — 학생과 교사의 답을 어떻게 맞춰보느냐. ③ 학습률 — 모델을 한 번에 얼마나 세게 고치느냐.
이전 연구들이 이 셋을 한꺼번에 바꿔놓고 결과를 봤다면, 이 팀은 하나씩만 건드려 진짜 원인을 가려냅니다.
가장 헷갈리는 건 KL 방향입니다. 느낌부터 잡아보죠. 두 학생이 있습니다. 한 학생은 "선생님이 가르친 걸 하나도 빠뜨리지 않겠다"며 선생님이 짚은 포인트를 골고루 따라갑니다. 다른 학생은 "내가 제일 자신 있는 하나를 확실히 하겠다"며 한 곳만 깊게 파고, 선생님이 대충 넘긴 건 자기도 보지 않습니다. 앞이 순방향 KL, 뒤가 역방향 KL의 성격입니다.
이제 용어를 붙여볼까요. KL은 두 확률 분포가 얼마나 다른지 재는 척도로, 여기서는 "다음에 어떤 단어(토큰)를 내놓을까"에 대한 학생과 교사의 생각 차이를 뜻합니다. 순방향 KL은 교사가 높은 확률을 준 토큰을 학생이 빠뜨리면 크게 벌합니다(교사의 모든 "봉우리"를 덮으려 한다고 해서 모드-커버링). 역방향 KL은 거꾸로, 학생이 교사가 희박하다고 본 토큰에 확률을 주면 벌합니다(봉우리 하나에 집중한다고 해서 모드-시킹).
지금까지는 보통 온폴리시와 역방향 KL을, 오프폴리시와 순방향 KL을 한 묶음으로 생각해 왔습니다. 하지만 "데이터를 누가 만드나"와 "답을 어떻게 맞춰보나"는 별개의 선택입니다. 기존 연구들이 이 둘을 짝지어 비교하는 바람에 진짜 원인을 가릴 수 없었던 거죠. 그래서 연구팀은 이 짝을 일부러 깨고 네 조합(온/오프 × 순방향/역방향)을 전부 돌립니다. 여기에 학습률까지 따로 고정해 숨은 교란 변수를 하나 더 지웁니다.
실험 자체는 이렇습니다. 주 실험은 Llama-3.1-8B 교사를 Llama-3.2-1B 학생으로 증류합니다(부록에서는 Qwen2.5-7B → Qwen2.5-1.5B로 재현). 교사와 학생을 같은 모델 계열에서 고른 건, 토크나이저와 어휘가 같아야 토큰 단위로 둘의 분포를 직접 맞댈 수 있기 때문입니다. 대신 같은 계열이면 능력이 겹쳐 배울 게 적어질 수 있어, 과제마다 교사를 따로 학습시켜 실력 격차를 벌린 뒤 증류 내내 고정했습니다. 과제는 의료 추론(MedReason), 과학 추론(Science), 산술 추론(Countdown) 세 분야입니다. 학생은 전체 파라미터를 150스텝 미세조정하고, 설정마다 난수 초기값(시드)을 3개 바꿔 반복했습니다.
측정 지표는 셋입니다.
이 실험이 가려내는 것, 못 가려내는 것
이 실험대는 "데이터를 누가 만드는지만 바꿨을 때 무슨 일이 생기는가"를 깨끗하게 잽니다. 반대로 현실의 SFT와 RLVR이 보이는 성능 차이를 통째로 설명하진 못합니다. 실제 두 방식은 보상 신호나 정답을 알려주는 정도 같은 다른 축도 함께 다르니까요. 이 논문은 그 차이 중 롤아웃 정책 몫이 얼마인지만 콕 집어 가려냅니다. 뒤에 나올 결론도 딱 이 범위 안에서 받아들이면 됩니다.
최종 정확도 — 온폴리시의 우위는 없었다. 세 데이터셋 평균 최고 정확도는 온폴리시 증류(OnPD) 72%, 오프폴리시 증류(OffPD) 73%로 사실상 같았습니다(Countdown은 Countdown-3 변형 기준). 반면 KL 방향은 뚜렷이 갈렸습니다. 성실한 학생(순방향 KL)은 데이터가 어디서 왔든, 학습률이 얼마든 71~73%로 꾸준했습니다. 반면 한 우물만 파는 학생(역방향 KL)은 35%에서 72%까지 성적이 널뛰었고, 특히 학습률에 민감했습니다. 성능을 가른 건 "누가 데이터를 만드나"가 아니라 "답을 어떻게 맞춰보나"였습니다.
망각 — 좌우한 건 학습률이었다. 정확도가 비슷해도 속으로는 서로 다르게 "까먹고" 있을 수 있습니다. 확인해 보니 OOD 성능은 학습률이 낮을 때 최대 1.3%포인트만 떨어졌지만, 높을 때는 11.2~14.0%포인트나 빠졌습니다. 롤아웃 정책 차이는 여기에 비하면 미미했고요. 눈에 띄는 건, 순방향 KL에서 학습률을 낮추면 망각은 대부분 사라지는데 학습에서 본 유형(ID)의 성능은 그대로였다는 점입니다. "성능을 얻으려면 꼭 망각을 감수해야 한다"는 맞교환은 필연이 아니었습니다. 망각을 좌우한 건 온폴리시냐가 아니라 학습률이었습니다.
희소성 — 이번에도 학습률. 같은 그림이 반복됩니다. 업데이트 희소성은 학습률이 낮을 때 85.3~89.6%, 높을 때 51.9~60.0%였습니다. 롤아웃 정책 사이의 차이는 훨씬 작았고, 오히려 모든 짝 비교에서 오프폴리시가 온폴리시만큼이나 모델을 적게 건드렸습니다. "온폴리시라야 모델을 덜 흔든다"는 통념은 여기선 성립하지 않았습니다.
그럼 롤아웃 정책은 언제 중요할까요. 앞의 두 학생을 다시 불러봅시다. 성실한 학생(순방향 KL)은 교사와 조금만 달라도 그 차이를 메우려 꾸준히 배웁니다. 그래서 데이터가 어떤 경로로 들어오든 안정적으로 학습합니다. 반면 한 우물만 파는 학생(역방향 KL)은 자기가 모르는 건 아예 보지 않습니다. 그 지점에서는 배울 신호가 사라지죠. 그래서 자기가 직접 풀어본 길, 곧 온폴리시 데이터로 배울 때만 비로소 실력을 냅니다.
실험 결과도 이 예측과 맞았습니다. 데이터 출처를 교사 쪽에서 학생 쪽까지 연속적으로 바꿔가며 돌려보니, 순방향 KL은 구간 전체에서 홀드아웃 정확도 80% 이상을 지켰고 변동 폭은 5.2%포인트에 그쳤습니다. 중간의 뒤죽박죽한 구간을 지날 때도 배워냈고요. 역방향 KL은 달랐습니다. 학습률이 낮으면 학생 쪽(온폴리시) 데이터에서 성적이 좋고 교사 쪽에서 나빴으며, 학습률이 높으면 불안정하거나 이따금 무너졌습니다.
온폴리시가 정말 빛난 곳. 그래도 온폴리시가 쓸모없다는 얘기는 아닙니다. 한 번 뽑아 맞히는 비율(pass@1)로는 안 잡히는 이점이 있거든요. 순방향 KL은 여러 번 뽑아봤을 때의 이득(pass@k, 곧 출력 다양성)이 ID 과제에서 더 컸습니다. 또 Countdown의 더 어려운 변형으로 넘어가는 일반화에서는, 두 KL 방향 모두에서 온폴리시 데이터가 꾸준히 도움이 됐습니다. 다만 저자들은 솔직한 단서를 답니다. 이 초기 일반화 이점은 이후 RLVR을 한 번 거치고 나면 믿을 만큼 남지 않았습니다. 그리고 역방향 KL과 묶였을 때, 온폴리시 데이터는 교사의 말투가 학생에게 묻어나는 현상을 줄여줬습니다.
저자들이 스스로 인정한 한계부터 봅시다. 온폴리시의 일반화 이점이 후속 RLVR 이후엔 안정적으로 남지 않는다는 점은 본문에 분명히 적혀 있습니다. 또 그래디언트 클리핑(기울기가 너무 커지지 않게 잘라내는 안전장치)을 뺀 경우, KL을 표본으로 어림잡은 경우, 더 긴 추론이 필요한 과제에서도 결론을 다시 확인해 세 방향으로 방어선을 쳐뒀습니다.
제가 보기엔 범위가 가장 큰 한계입니다. 이 깨끗한 실험대는 교사와 학생이 어휘를 공유하는 "강한→약한 증류"에 맞춰져 있습니다. 계열이나 어휘가 다른 증류, 혹은 증류가 아닌 순수 RLVR로 결론을 그대로 옮길 수 있을지는 이 논문이 주장하는 범위 밖입니다. 모델도 1B~1.5B급 학생이 중심이라, 훨씬 큰 학생에서도 같은 비대칭이 유지될지는 또 다른 질문입니다. "온폴리시가 어려운 변형으로의 일반화를 돕는다"는 결과도 주로 Countdown 산술 과제에서 나온 것이라, 다른 분야까지 넘겨짚지 않는 편이 안전합니다.
온틀에서 큰 모델의 솜씨를 작고 싼 모델에 증류해 전용 일꾼으로 돌리는 일은 단골 과제입니다. 예를 들어 한 소기업 고객사의 문의 자동 분류 — 들어온 문의를 종류별로 나누고 정해진 말투로 1차 답변 초안을 잡는 일 — 를 작은 모델에 맡긴다고 해보죠. 통념대로라면 학생이 매 스텝 새 답을 만들어내는 온폴리시로 돌려야 하고, 그만큼 생성 비용이 학습 내내 붙습니다. 이 논문은 그 선택을 두 상황으로 나눠 다시 보게 합니다.
상황 A — 늘 보던 반복 업무만 처리하면 될 때 (문의 분류·1차 답변처럼 유형이 일정한 일)
상황 B — 학습 때 못 본 더 어려운 문제까지 밀어붙여야 할 때
그래서 PM이 먼저 던질 질문은 "온폴리시냐 아니냐"가 아니라 "이 일꾼이 늘 보던 업무만 처리하면 되는가, 아니면 낯선 난이도까지 감당해야 하는가"입니다. 온틀에서 비용과 품질을 저울질할 때, 기본값은 상황 A이고 온폴리시는 상황 B에서 꺼내는 카드입니다. 당장 문의 분류 프로젝트라면 상황 A 설정으로 한 번 더 돌려, 온폴리시 버전과 홀드아웃 정확도·망각 폭을 나란히 놓고 결정하면 됩니다.