강화학습으로 수학 추론을 익힌 0.5B짜리 작은 전문가가, 자기보다 훨씬 큰 14B 모델에게 그 능력을 넘겨줄 수 있다(B는 파라미터, 즉 모델이 가진 숫자 손잡이가 10억 개라는 뜻이다). 그것도 큰 모델이 결국 스승을 앞지르는 수준까지. 이 논문은 그 "능력 전이"가 얼마나 높이, 얼마나 빠르게 일어나는지를 거듭제곱 법칙(어떤 양이 커지면 다른 양이 일정한 비율로 함께 변하는 규칙)으로 정리한다. 핵심은, 교사와 학생의 크기에 교사의 실력 점수 하나만 더하면, 훈련을 돌려보기 전에 두 가지 — 도달할 최고 성능과 초반 전이 속도 — 를 예측할 수 있다는 것이다. 단, 실험은 Qwen2.5라는 한 모델 계열, 수학 추론 한 영역에 한정된다.
요즘 추론 모델은 강화학습(RL)으로 특정 과제의 실력을 끌어올린다. 문제는 이 과정이 비싸다는 데 있다. 같은 모델 계열에 0.5B부터 14B까지 다섯 가지 크기가 있다면, 원칙적으로는 크기마다 RL을 다시 돌려야 한다. 전력도, 시간도, 데이터도 매번 새로 든다.
그래서 등장한 우회로가 온정책 증류(on-policy distillation, OPD)다. 한 번 RL로 키운 전문가(교사)를 두고, 나머지 크기의 모델(학생)은 교사에게서 토큰 단위 지도를 받아 능력을 물려받는 방식이다(토큰은 모델이 글을 읽고 쓰는 최소 단위, 대략 단어 조각이다). 핵심은 "온정책"이라는 말에 있다. 학생이 교사의 모범 답안을 그대로 베끼게 하지 않는다. 학생이 스스로 풀어본 과정(롤아웃)을 교사가 토큰마다 채점해주는 구조다.
비유하자면, 스윙 영상을 반복 재생시키며 똑같이 따라 하게 하는 코치가 아니라, 내가 직접 휘두른 스윙을 보고 그 자리에서 "여기서 손목이 틀어졌다"고 짚어주는 코치다. 전자는 코치의 몸에 맞는 폼을 강요하지만, 후자는 내 몸에 맞는 교정을 준다. 학생 모델이 교사와 체급이 다를 때 이 차이가 중요해진다.
그런데 지금까지 이 증류는 "돌려봐야 아는" 영역이었다. 교사와 학생의 크기에 따라 결과가 어떻게 달라지는지 법칙으로 정리된 게 없었다. 저자들의 질문은 단순하다. OPD를 실행하기 전에, 교사와 학생의 규모와 교사의 점수만으로 결과를 예측할 수 있는가.
출발점은 과거 연구에서 빌려왔다. PPO로 학습한 보상 모델을 최적화할 때, 성능(골드 보상)이 초기 정책으로부터의 KL 발산을 축으로 삼으면 규칙적으로 움직인다는 관찰이 있었다. 이 논문은 같은 틀을 OPD에 적용한다.
여기서 두 개의 좌표가 핵심이다. 하나는 골드 점수(gold score, G) — 따로 떼어둔 시험지에서의 정확도, 즉 실제 실력이다. 다른 하나는 훈련 진행도로, 학생이 처음 상태에서 얼마나 멀어졌는지를 잰다. 이걸 토큰 단위 역방향 KL 발산의 제곱근(d)으로 측정한다. KL 발산은 두 확률분포가 얼마나 다른지를 재는 측정값인데, 여기서는 모델이 훈련 시작점과 비교해 얼마나 변했는지를 재는 '변화량' 지표로 썼다. KL 자체는 거리의 제곱처럼 커지는 성질이 있어서, 제곱근을 한 번 취해야 "실제로 얼마나 움직였나"에 비례하는 반듯한 축이 된다.
이 좌표에서 저자들이 찾아낸 규칙이 글의 뼈대다. OPD 초반에는 교사가 약하든 강하든, 학생이 크든 작든, 골드 점수가 d에 거의 직선으로 올라가는 구간이 공통으로 나타난다. 이걸 "유용한 전이(useful-transfer) 구간"이라 부른다.
왜 직선일까. 걸음에 빗대면 쉽다. 아주 작은 걸음(파라미터 변화)을 한 번 떼면, 실력(골드 점수)은 걸음 크기에 정직하게 비례해 는다. 그런데 출발점에서 벌어진 거리(KL)는 걸음 크기의 제곱에 비례해 늘어난다. 그래서 점수를 'KL(거리의 제곱)'과 맞대보면 관계가 잘 안 보이지만, 점수를 'KL의 제곱근(거리 그 자체)'과 맞대보면 초반에 깔끔한 직선이 드러나는 것이다(국소 기하 논증, 부록 D).
이 직선 구간에는 기울기(전이 속도)와 도달 지점(피크)이 있다. 저자들은 바로 이 두 양이 학생 파라미터 수, 교사 파라미터 수, 교사의 측정된 골드 점수에 따라 어떻게 변하는지를 거듭제곱 법칙으로 피팅했다. 이것이 "돌려보기 전에 예측"을 가능하게 하는 장치다.
실험은 Qwen2.5 계열의 다섯 가지 크기 모델(0.5B~14B)로 수학 추론 문제에서 진행했다. 교사-학생 조합은 약→강, 동일 베이스, 강→약을 아울러 25가지다.
모든 모델이 먼저 Dolci-SFT 일부로 기초 지시 따르기를 익히고, 교사는 GSM8K와 MATH를 섞은 14.8K 학습셋으로 GRPO 강화학습을 거쳐 만들어졌다. 평가는 6.3K 테스트셋. 비교 대상으로는 기본형(Vanilla-OPD) 외에, 교사가 RL로 얻은 정책 변화량을 보상으로 쓰는 Delta-OPD, 그리고 교사 데모를 베끼는 오프정책 증류(OffPD)를 함께 뒀다.
이 모든 결과는 하나의 거듭제곱 법칙으로 예측 가능했다는 점에서 더 의미 있다. 예를 들어, 작은 전문가가 큰 학생을 가르치는 '약→강' 전이가 실제로 작동했는데, 관측된 모든 약→강 쌍에서 학생의 피크 점수가 교사 자신의 점수를 넘어섰다. 중요한 건, 이 현상이 얼마나 일어나고 얼마나 빠른지까지 교사와 학생의 파라미터 수, 교사 점수만으로 계산해낼 수 있었다는 점이다.
결과는 흥미로운 상호작용을 보여준다. 7B, 14B처럼 덩치 큰 학생은 교사도 클수록 좋았다. 7B 학생은 교사 규모가 커질수록 피크가 72.7%에서 81.9%로, 14B 학생은 77.7%에서 87.3%로 올라갔다. 그런데 0.5B 같은 작은 학생에겐, 자기 체급을 한참 넘는 교사가 오히려 독이 됐다. 0.5B 학생은 3B 교사에서 40.8%로 정점을 찍은 뒤, 7B 교사에서는 39.0%, 14B 교사에서는 37.7%로 거꾸로 내려갔다.
피팅된 법칙이 이 현상을 압축해준다. 피크 점수는 대략 학생의 규모까지만 교사 규모 증가의 덕을 본다. 그리고 같은 골드 점수를 가진 교사끼리 비교하면, 더 작은 교사가 더 잘 가르쳤다. 교사의 점수 하나만으로는 그 교사의 "지도 가치"가 정해지지 않는다는 얘기다. 이 피크 법칙은 가장 큰 보류 규모(held-out, 법칙을 맞출 때 일부러 빼둔 조합)까지도 정확도 1점 이내로 들어맞았다.
설계 선택에 관한 결과도 실용적이다. Delta-OPD는 공유된 15개 쌍에서 초반 기울기가, 12개 쌍에서 관측 피크가 기본형보다 컸고, 그 이점은 약→강 쌍에 몰렸다. 반대 방향도 있다. 증류 전에 교사 데모를 베끼는 SFT 단계를 끼우면(오프정책 콜드스타트), 약→강 격차가 클수록 OPD 성능이 더 많이 깎였다. 온정책 지도의 가치가 "학생 자신의 풀이를 교정하는 데" 있다는 해석과 맞아떨어지는 정황이다.
마지막으로, 직관을 배신한 결과 하나. 작은 교사로 중간 모델을 키우고 그걸 다시 교사 삼아 더 큰 모델을 키우는 "부트스트래핑" 사슬은, 가장 작은 전문가에서 곧장 증류한 직접 전이를 한 번도 이기지 못했다. 중간 교사들이 더 높은 골드 점수를 받았는데도 그랬다. "점수 높은 교사가 더 나은 교사는 아니다"라는 앞의 법칙과 맞물리는 대목이다.
적용 범위는 좁다. 실험은 Qwen2.5 한 계열, 수학 추론(GSM8K+MATH) 한 영역에 한정됐다. 코드나 일반 대화, 다른 모델 계열에서도 같은 법칙이 성립할지는 이 논문이 답하지 않는다. 논문 제목에 "같은 계열(same-family)"이 들어간 이유이기도 하다.
또 초반 유용한 전이 구간은 규칙적이지만, 그 뒤 동역학은 지저분하다. 느려지는 개선, 포화, 퇴행이 섞여 나타나며 공통 함수 형태가 없다. 25개 중 9개 궤적은 관측 구간 안에서 초기 직선 예측을 벗어났다. 퇴행 구간에서는 골드 점수가 떨어지는데도 교사가 준 대리 점수(proxy)는 계속 오르는데, 이는 대리 지표 과최적화의 전형적 징후다. 즉 "언제 멈춰야 하는가"는 여전히 예측보다 관측에 기댄다. 피크의 값과 속도는 법칙으로 잡혔지만, 피크가 나타나는 위치(d 값)는 들쭉날쭉해 저자들도 여기엔 법칙을 억지로 씌우지 않았다.
온틀은 고객 프로젝트마다 AI PM을 파견한다. 그 PM 뒤에는 접수용·실행용·수정용으로 역할이 갈린 모델들이 돈다. 한 장면을 떼어 보자. 새 고객의 도메인(가령 특정 업종의 요청서 분류와 처리 규칙)에 맞춰 PM의 "실행용 모델"을 길들여야 하는 순간이다.
지금까지의 소박한 방식은 실행에 쓰는 큰 모델을 그 도메인에 직접 강화학습시키는 것이다. 비싸고, 프로젝트마다 반복된다. 이 논문이 비추는 다른 그림은 이렇다. 도메인 전문성은 작고 값싼 모델 하나에 RL로 압축해 심어두고(이게 교사다), 실제 일을 하는 큰 모델에는 그 전문가가 큰 모델의 자체 풀이를 교정하게 해 능력만 흘려보낸다. 약→강 전이에서 학생이 교사를 앞질렀다는 결과는, "작은 전문가 하나로 체급 큰 일꾼을 가르친다"를 먼저 비교 실험해볼 값어치가 있는 선택지로 올려놓는다.
여기서 이 논문의 '법칙'이 빛을 발한다. 교사 선택, 비용 배분, 파이프라인 구성 같은 운영상의 결정을 감이 아니라 데이터 기반 예측으로 바꿀 수 있기 때문이다. 다만 실험이 수학 한 영역에 묶인 만큼, 온틀 업무 데이터에서는 아직 확정 지침이 아니라 검증할 가설로 둔다. 그래서 첫 프로젝트에서 나란히 돌려볼 후보는 세 가지다. ① 큰 실행 모델을 직접 RL하는 기존 방식 대 작은 전문가→큰 모델 증류, ② 같은 점수라면 작은 교사가 유리하다는 법칙이 우리 도메인에서도 유지되는지(교사 체급을 실행 모델 근처에서 끊는 쪽 대 과하게 키운 쪽), ③ 중간 모델을 징검다리로 쌓는 부트스트래핑 대 작은 전문가에서 곧장 가는 직접 전이. 피크 법칙이 보류 규모까지 1점 이내로 맞았다는 점은, 이 비교의 상당 부분을 전면 학습 없이 예측으로 좁혀볼 수 있다는 기대를 준다.
본문에서 골프 스윙에 비유했듯, 학생이 스스로 푼 것을 교사가 그 자리에서 교정해주는 방식입니다. 베끼는 방식(오프정책 증류)은 교사의 완성된 풀이를 학생이 그대로 따라 씁니다. 이 차이는 학생과 교사의 체급이 다를 때 특히 중요해집니다.
아닙니다. 조건이 "같은 골드 점수일 때"입니다. 점수가 동일한 두 교사를 비교하면 파라미터가 더 작은 쪽이 전이를 더 잘 시켰다는 의미이지, 성능이 낮아도 된다는 말이 아닙니다. 요지는 교사의 절대 점수 하나만으로 지도 가치를 판단하지 말라는 것입니다.
논문이 보장하지 않습니다. 실험은 Qwen2.5 한 계열, 수학 추론 한 영역에 한정됐습니다. 논문 제목의 "같은 계열"이 그 범위를 명시합니다. 다른 영역·계열로의 일반화는 추가 검증이 필요한 열린 질문입니다.
부분적입니다. 초반 전이 구간의 기울기와 피크 값은 법칙으로 잡히지만, 피크가 나타나는 정확한 위치(KL 제곱근 좌표 d)는 들쭉날쭉합니다. 피크 이후에는 개선·포화·퇴행이 섞여 공통 패턴이 없어, 정지 시점은 여전히 관측에 기대야 합니다.