언어모델의 수학·코드 실력은 상당 부분 강화학습으로 다듬어진다. 문제는 이 학습이 비싸다는 점이다. 한 모델이 비용을 치러 얻은 실력을, 다른 모델에 처음부터 다시 학습시키지 않고 넘겨줄 수는 없을까? 알리바바 클라우드 연구진의 Waypoint-OPD가 내놓은 답은 통째로 베끼지 않는다는 것이다. 중간 학습 기록을 보고, 방향이 끝까지 일관됐던 변화만 골라 넘긴다.
무엇을 넘긴다는 말인지 장면 하나로 보자. 교사 모델이 글을 쓰다 어떤 자리에서 다음에 올 토큰을 'A'와 'B' 사이에서 고민한다. 토큰은 모델이 글을 만들 때 다루는 최소 단위로, 대략 단어 조각이다. 강화학습 전에는 A와 B를 비슷하게 봤다. 강화학습이란 모델이 답을 여러 번 만들어보고, 채점기가 맞고 틀림을 가려주면, 잘한 쪽으로 조금씩 고쳐 가는 반복 학습이다. 이 되먹임을 수천 번 돌리는 사이 교사는 A를 점점 더 선호하게 됐다. 바로 이 '비슷했다가 A로 기울었다'는 선호의 이동만 학생에게 넘긴다. 교사의 실력 전체가 아니라 학습으로 바뀐 부분만 옮기는 것, 이것이 정책 변화 증류(policy-shift distillation)다. 완성된 답을 베끼는 게 아니라 변화의 궤적만 옮기므로, 교사가 학생보다 똑똑할 필요도 없다.
가장 단순한 방법은 학습 전과 후, 두 끝점만 비교한다. 저자들은 이를 Direct-OPD라 부른다. 함정은 끝점이 같아도 거기까지 간 길은 다를 수 있다는 데 있다.
다시 A를 보자. 교사의 A 선호도가 학습을 거치며 '낮음 → 중간 → 높음'으로 올라간 경우가 있다. 처음부터 끝까지 한 방향으로 꾸준히 굳은 변화다. 반대로 '낮음 → 더 낮음 → 높음'인 경우도 있다. 초반엔 A를 오히려 더 멀리했다가 후반에 방향을 틀어 끌어올린 변화다. 끝에서 보면 둘 다 낮음에서 높음으로, 똑같이 'A를 더 좋아하게 됨'이다. 하지만 두 번째는 후반 변화가 초반 변화를 되돌린 셈이라, 그만큼 덜 일관된 변화다. 끝점만 보는 Direct-OPD는 이 둘을 구분하지 못한다.
그래서 Waypoint-OPD는 중간에 한 점을 더 찍는다. 중간 기록 하나로 교사가 거쳐온 전 과정을 다 알 수는 없다. 그래도 초반 구간과 후반 구간이 서로 되돌리는 관계인지 아닌지 정도는 가를 수 있다.
중간 점의 이름은 경유지(waypoint)다. 핵심은 세 시점이 서로 다른 세 모델이 아니라 같은 교사의 세 순간이라는 점이다. 같은 강화학습 런에서 세 번 저장한다. 학습 전(Initial, 0스텝), 중간(Waypoint, 600스텝), 학습 끝(Final, 1200스텝)이다. 셋 다 값을 고정해 두고 전달 과정에서 더 학습시키지 않는다.
순서는 이렇다. 학생이 문장을 만들다 어떤 자리에 이르면, 자기가 그럴듯하다고 본 다음 토큰 후보 몇 개를 추린다(구현에서는 상위 16개). 같은 교사의 세 순간이 이 후보들에 각각 점수를 매긴다. 그러면 후보마다 점수가 세 번 찍히고, 연속된 두 변화가 드러난다. Initial에서 Waypoint로 가는 초반 변화, Waypoint에서 Final로 가는 후반 변화다. 둘을 이으면 Initial에서 Final까지, 전체 끝점 변화가 된다.
여기서 방향 판단은 후보 하나하나를 따로 하는 게 아니라, 한 자리(생성 위치)의 상위 16개 후보로 이뤄진 변화 전체를 한 덩어리로 놓고 한다. 그 자리의 초반 변화와 후반 변화를 각각 후보들에 걸친 하나의 벡터로 보고, 두 벡터의 방향이 얼마나 겹치는지를 학생 확률로 가중한 코사인 유사도로 잰다. 앞 절에서 'A 선호가 한 방향으로 굳었나, 중간에 꺾였다 돌아왔나'를 따진 것을, 이번엔 그 자리의 변화 전체에 대해 한 번 재는 셈이다. 두 구간이 같은 방향으로 겹칠수록 그 자리의 끝점 변화를 믿을 만한 신호로 보고 비중을 높인다. 겹침이 약할수록 비중을 줄이고, 방향이 반대로 돌아선 경우 — 코사인 유사도가 0 이하면, 변화 크기가 너무 작아 방향을 믿기 어려운 저노름 예외만 빼고 — 아예 끈다. 이렇게 나온 값 하나를 그 자리의 모든 후보에 똑같이 건다. 방향이 얼마나 일치하느냐가 그 자리의 변화를 얼마나 세게 전달할지를 정하는 셈이다. 이 비중 조절 장치를 저자들은 게이트(gate)라 부른다.
학생에게 실제로 전달되는 것은 Initial에서 Final로 가는 끝점 변화다. 중간의 Waypoint는 전달 대상이 아니라, 그 끝점 변화가 믿을 만한지 가늠하는 증거로만 쓰인다. 흉내 낼 목표가 아니라는 뜻이다.
비용은 거의 늘지 않는다. Direct-OPD에 견줘 더 드는 것은 고정된 교사 체크포인트 하나와 점수 매기기 한 번뿐이다. 교사를 새로 학습시키지도, 채점기를 다시 부르지도, 학습 파라미터를 더하지도 않는다.
이 방법이 실제로 효과가 있는지는 가장 센 상대인 Direct-OPD와 맞붙여 봐야 안다. 끝점을 통째로 넘기는 쪽과, 그 끝점을 방향 일치로 걸러 넘기는 쪽의 차이다.
| 학생 | 수학 평균 (Direct-OPD → Waypoint) | 코드 평균 (Direct-OPD → Waypoint) |
|---|---|---|
| Qwen3-8B | 53.96 → 56.14 (+2.18) | 50.59 → 53.25 (+2.66) |
| Qwen3-14B | 57.61 → 59.20 (+1.59) | 56.30 → 57.82 (+1.52) |
| Qwen3-30B-A3B | 55.96 → 57.85 (+1.89) | 56.35 → 57.54 (+1.19) |
학생 세 종류를 수학과 코드 두 영역에서 봤을 때, 여섯 조합 모두에서 Waypoint-OPD의 영역 평균이 더 높았다. 같은 변화라도 골라서 넘기는 편이 통째로 넘기는 것보다 낫다는 뜻이다. 다만 앞선 것은 영역 평균이다. 개별 벤치마크까지 전부 이긴 것은 아니다.
수학에서는 21개 벤치마크 비교 중 19개에서 Direct-OPD를 앞섰고, 진 곳은 둘뿐이다(14B의 HMMT 2025년 11월 47.60→47.08, 30B-A3B의 HMMT 2026년 2월 33.05→32.77). 코드에서는 15개 비교 전부를 이겼다. 다만 개별 평가로 내려가면 OPD²가 더 높은 곳도 있었다(14B의 LCB v5, 30B-A3B의 MBPP·MBPP+). Waypoint-OPD가 앞선 것은 학생별 평균이다.
그렇다면 골라내기의 무엇이 이 차이를 만들었을까. 저자들은 게이트를 떼어 보며 들여다봤다.
게이트를 1로 고정해 사실상 끄면(No gate) Qwen3-8B 수학 평균이 56.14에서 53.50으로 2.64포인트 떨어졌다. 일곱 벤치마크가 모두 낮아졌다. 여기까지는 예상대로다. 골라내기를 멈추니 성적이 내려간다.
흥미로운 건 다음이다. 게이트를 끄는 대신, 맞게 계산한 게이트 값을 배치 안 엉뚱한 자리에 뒤섞어 붙여 봤다(Shuffled gate). 결과는 51.20으로, 게이트를 아예 끈 것보다도 2.30포인트 더 낮았다. 골라낼 신호를 제대로 만들어 놓고도 엉뚱한 자리에 붙이면 차라리 안 고르느니만 못하다는 것이다. 변화를 골라내는 것만으로는 부족하고, 그 판단을 맞는 자리에 붙여야 비로소 값을 한다.
다만 이 수치를 게이트 하나의 공으로 전부 돌릴 수는 없다. 전달 과정에는 게이트 말고도 여러 장치가 함께 걸려 있어서, 게이트만 떼어낸 비교로는 게이트의 순수한 몫을 다른 요소와 완전히 갈라내기 어렵다(세부는 부록). 또 하나, 게이트가 거르는 것은 방향이 일관되는가이지 방향이 옳은가가 아니다. 처음부터 끝까지 일관되게 잘못된 쪽으로 쌓인 변화라면 게이트는 그대로 통과시킨다.
작은 교사가 큰 학생을 그 교사보다 높은 데까지 끌어올린 경우도 있었다. Final 교사의 수학 평균은 56.13인데, 14B 학생은 59.20, 30B-A3B 학생은 57.85로 교사를 넘었다(8B는 56.14로 사실상 맞붙었다). 전달되는 것이 교사의 실력이 아니라 선호의 이동이기 때문이다. 큰 학생은 이미 자기 몫의 바탕 실력이 있고, 그 위에 교사가 강화학습으로 찾아낸 방향 전환만 얹으면 작은 교사의 최종 성적을 넘어설 수 있다. 이 결과가 말해 주는 것은 전달 방식이 교사의 천장에 갇히지 않는다는 점뿐이다. 왜 하필 이만큼 넘어서는지, 어디까지 넘어설 수 있는지는 이 실험만으로는 설명되지 않는다.
Qwen3-8B 수학을 같은 100 업데이트 구간에서 보면, 공유 초기값을 뺀 15개 비교 중 13개에서 Waypoint-OPD가 높았고 60스텝 이후로는 세 벤치마크 전부에서 앞섰다. 단, 'Direct-OPD보다 낫다'와 '교사보다 낫다'는 벤치마크마다 갈렸다. HMMT 2025년 11월에서는 교사 기준선(40.83)을 넘었지만, 두 AIME에서는 끝점 전달보다 나아도 교사 기준선 아래에 머물렀다.
적용할 때는 평균 숫자 하나를 과신하지 않는 편이 안전하다. 평균과 개별 벤치마크를 나눠 보고, 경유지 위치를 바꿨을 때 성적이 흔들리는지도 함께 확인하는 게 좋다.
온틀은 고객사에 AI PM을 붙여 반복 업무를 덜어 주는 서비스다. 그 일 가운데 하나가 들어온 요청을 분류하고 우선순위를 매겨 배분하는 것이다. 한 장면을 끝까지 따라가 보자.
어느 고객사에서 요청 분류 모델을 강화학습으로 다듬어 왔고, 그 학습의 중간 체크포인트를 보관하고 있다고 하자. 이 전제가 없으면 아래 이야기는 성립하지 않는다. 이제 이 모델을 더 큰 모델로 교체해야 하는 상황이 왔다. 선택지는 둘이다. 새 모델에 강화학습을 처음부터 다시 돌리거나, 기존 모델이 요령을 익히기 전과 후의 변화를 떠서 새 모델에 흘려주거나.
이 논문이 보태는 대목은 옮긴다가 아니라 골라 옮긴다이다. 숙련 과정에는 초반에 한 번 해 봤다가 접은 습관도 섞여 있다. 끝점만 보면 그 접다 만 흔적까지 요령으로 오해해 넘길 수 있다. 중간 기록으로 방향이 굳은 변화와 왔다 갔다 하다 만 변화를 갈라내면, 넘길 것만 넘긴다.
검토한다면 효용은 세 가지로 잰다. 교체한 모델의 분류 정확도가 올랐는가. 놓치면 안 되는 중요 요청을 전보다 덜 흘리는가. 이 전달이 강화학습을 새로 돌리는 비용보다 쌌는가. 같은 고객사 안의 모델 교체는 비교적 가까운 응용이지만, 고객사 사이의 이전이나 운영 일반으로의 확장은 별도 검증이 필요한 가설로 둔다.
이 논문은 중간 체크포인트 한 개를 쓰는 설정으로 설계됐고, 여러 개를 동시에 쓰는 구성은 다루지 않습니다. 따라서 더 좋아진다고 단정할 근거는 없습니다.
이 논문의 실험은 수학과 코드 두 영역에 한정됐습니다. 그 밖의 과제에서 같은 효과가 나는지는 검증 범위 밖입니다.
논문은 코드 저장소 주소(github.com/hhhbxloveai/WaypointOPD)를 제공합니다. 구현은 verl 프레임워크 위에 올렸고 dual-clipped PPO를 쓰며, 학습·평가 세부 설정은 부록 B·C에 정리돼 있다고 밝힙니다.
정책 변화를 옮기려는 시도가 이 논문이 처음은 아니다. 기존 방법들의 공통점은 증거를 서로 다른 모델 한 쌍의 차이에서 뽑는다는 것이다. 학습을 마친 교사의 분포(모델이 각 후보에 매기는 확률의 전체 모양)를 학생이 흉내 내게 하거나(표준 OPD), 교사–베이스 변화와 교사–학생 신호가 방향에서 일치할 때만 업데이트를 살리거나(OPD²), 학습 전후 끝점의 차이를 개선분으로 떠서 전달한다(Direct-OPD). 어느 쪽이든 교사와 베이스, 교사와 학생처럼 다른 두 모델을 맞대 본다.
Waypoint-OPD가 다른 점은 증거의 출처다. 다른 모델과 맞대는 대신, 교사 자신이 강화학습을 거치며 남긴 연속된 두 변화를 증거로 삼는다. 비교의 축이 모델과 모델 사이(공간)가 아니라 학습 단계와 단계 사이(시간)다. 방향 일치로 거른다는 점에서 가장 가까운 OPD²조차 비교 대상은 다른 모델이다. 또 중간 체크포인트를 쓰되 흉내 낼 목표나 커리큘럼으로 삼지 않는다는 점에서, 중간 체크포인트를 학습 목표로 두는 점진 증류 계열과도 갈린다.
| 항목 | 설정 |
|---|---|
| 교사 | Qwen3-4B 한 모델의 강화학습 런에서 뽑은 세 체크포인트(0·600·1200스텝) |
| 학생 | Qwen3-8B·14B·30B-A3B (밀집 구조와 MoE(필요한 부분만 골라 쓰는 전문가 혼합 구조) 모두 포함, 교사와 토크나이저 공유) |
| 수학 | DAPO-Math-17K로 전달, AIME·HMMT·AMC 등 일곱 벤치마크를 mean@32로 평가 |
| 코드 | Codeforces 기반으로 전달, MBPP 계열과 LiveCodeBench v4·v5·v6을 mean@8로 평가 |
| 비교 대상 | Base·표준 OPD·OPD²·Direct-OPD (가장 센 상대는 Direct-OPD) |
mean@32는 문제마다 32번 생성한 정답률의 평균이라, 운에 덜 흔들리는 실력을 본다.
본문에서 게이트 말고도 여러 장치가 함께 걸려 있다고 한, 그 장치들이다.