AI가 복잡한 금융상품 견적을 뽑고, 고객 문의에 맞는 약관을 찾아주는 서비스를 만든다고 하자. 프로토타입은 가장 똑똑한 대형 모델로 만들었다. 그런데 막상 매일 수만 건씩 돌리려니 운영비가 감당이 안 된다.
이럴 때 쓰는 수단이 증류(distillation)다. 비싼 대형 모델(교사)의 판단을 운영비가 싼 소형 모델(학생)에게 베껴 넣는 기술이다. AI 프로젝트에서 비용을 가장 크게 줄이는 방법 중 하나다.
까다로워지는 건 두 모델이 서로 다른 회사 계열일 때다. 문장을 토막 내는 방식, 즉 토크나이저(문장을 토큰 단위로 쪼개는 장치)부터 다르면 지식을 옮기기가 어렵다. 그래서 엔지니어들은 오래 한 가지 상식을 따라왔다. 비교할 수 있는 지점을 최대한 많이 확보할수록 학습이 잘된다는 것이다.
알리바바 연구진은 이 상식을 정면으로 뒤집었다. 비교 범위를 넓히는 추가 지도를 넣자, 테스트한 18개 설정 전부에서 정확도가 떨어졌다. 많이 비교할 수 있다는 것과, 그 비교가 학습에 실제로 도움이 되는지는 전혀 다른 문제였다.
두 모델이 같은 문장을 받아도 토막 내는 자리가 다르다. 한 모델은 "안녕하세요"를 한 덩어리로 보고, 다른 모델은 "안녕"과 "하세요"로 끊는다. 끊는 자리가 같으면 단어 대 단어로 바로 견줄 수 있다. 다르면 "구절 전체"를 묶어야 겨우 비교가 된다. 같은 문장이라도 다음에 올 토큰의 확률이 서로 다른 어휘집 위에 놓이는 것도 같은 이유다.
그러면 왜 하필 이 논문은 'OPD'라는 방식을 다룰까. 최근 증류에서 가장 주목받는 흐름이라서다. OPD(On-Policy Distillation, 온폴리시 증류)는 교사가 미리 만든 정답을 학생이 베껴 쓰게 하는 대신, 학생이 스스로 문장을 생성하게 한 뒤 그 경로 위에서 교정해 주는 방식이다. 길을 헤맬 때마다 교사가 옆에서 "이쪽이야" 하고 족집게 과외를 해주는 셈이다. 학생이 실제로 밟는 길을 따라가며 가르치니 성능이 좋아, 요즘 증류 연구가 이 방식으로 모이고 있다. 이 논문은 바로 이 OPD 상황을 파고든다(논문은 OPD를 강화학습의 한 방식으로도 해석한다).
그래서 크로스 토크나이저 OPD에는 맞춤 작업이 둘 필요하다. 하나는 문장을 어디서 끊는지 맞추는 일, 다른 하나는 어휘집이 다른 두 확률분포를 어떻게 견주는지 정하는 일이다. 지금까지의 연구는 한 방향으로 흘렀다. 끊는 자리가 달라 버려지던 비교 지점을 어떻게든 더 많이 되살리자는 것이다. 방법은 제각각이었지만 전제는 같았다. 많을수록 좋다.
논문은 먼저 토큰 정렬을 두 종류로 나눈다. 학생 토큰 하나와 교사 토큰 하나가 정확히 같은 구간을 덮으면 엄격 그룹이다. 같은 구간을 만들려고 어느 한쪽이 토큰 여러 개를 써야 하면 불일치 그룹이다. 기존 연구가 되살리려 애쓴 게 바로 이 불일치 그룹, 즉 버려지던 부분이다.
그런데 버려지던 부분이 생각만큼 중요하지 않았다.
두 모델의 어휘집이 겹치는 비율은 39.49~64.87%에 그친다. 장부상으로는 절반 안팎만 겹치는 셈이다. 하지만 학생이 실제로 생성한 문장을 보면 이야기가 달라진다. 그 문장에서 엄격 그룹이 덮는 비율은 85.57~96.98%였다. 쪼개는 자리는 어휘집마다 달라도, 학생이 실제 쓰는 문장에서는 대부분의 자리가 교사와 깔끔하게 맞아떨어진다는 뜻이다. 장부상 중첩과 실제 작동상의 정렬은 전혀 다른 숫자였다.
확률분포도 마찬가지였다. 엄격하게 정렬된 자리에서, 두 모델이 공유하는 어휘가 교사 확률의 99%대, 학생 확률의 99%대를 거의 다 붙들고 있었다. 더 좁혀 보자. 학생 기준으로 확률이 가장 높은 상위 16개 공유 어휘만 봐도, 그 안에 교사 확률의 93.54%, 학생 확률의 94.55% 이상이 들어 있었다. 16개를 128개까지 늘려도 교사 쪽은 많아야 3.44%p, 학생 쪽은 2.70%p밖에 더 붙지 않았다. 넓힐수록 돌아오는 게 급격히 줄어든 것이다.
여기서 눈에 띄는 대목이 있다. 이 상위 16개를 학생 분포만 보고 골랐는데도 교사의 생각 대부분이 그 안에 들어 있었다. 학생이 "이 단어들이 유력하다"고 꼽은 16개만 봐도 교사가 보는 곳과 거의 겹친다는 얘기다. 그래서 학생의 예측이 교사의 의도에서 크게 벗어나지 않게 붙잡아두는 장치(reverse KL, 역방향 KL)도 이 16개 위에서만 돌려도 충분했다. 전체 공유 어휘를 다 쓰는 것에 견줄 만큼 충분했다 — 논문이 보인 건 이렇게 좁혀도 성능 향상분의 96% 이상을 유지했다는 데까지이지, 학습 신호 자체가 동등하다는 입증은 아니다.
이제 실험을 보자. 연구진은 서로 다른 계열의 교사와 학생을 세 쌍 묶었다. Qwen→Llama, Granite→Phi, Granite→Qwen이다. 셋 다 회사가 다른 모델이라 토크나이저가 전부 어긋난다. 학생 쪽에는 아직 아무 손도 안 댄 밑바탕 학생과, 이미 한 번 다듬어진(지시 튜닝된) 학생을 모두 넣었다. 특정 학생에게만 통하는 결론이 아님을 보이려는 설계다. 과제는 정답이 또렷한 수학·코드 추론으로 골랐다. 채점이 깔끔해야 학생이 밟는 경로의 정렬 구조를 정밀하게 잴 수 있기 때문이다.
표를 읽기 전에 숫자의 뜻부터 짚자. 아래 값은 학생에게 실제 과제를 풀게 해서 매긴 평균 점수(%)다. 높을수록 좋다. 맨 윗줄 '증류 전'은 증류를 하기 전, 소형 모델의 출발 점수다.
| 조건 | Qwen→Llama | Granite→Phi | Granite→Qwen |
|---|---|---|---|
| 증류 전 | 26.96 | 36.55 | 29.56 |
| 전체 공유 어휘 | 32.86 | 42.49 | 47.35 |
| 상위 16개 | 32.64 | 42.26 | 47.06 |
증류가 세 쌍 모두 출발점을 끌어올린 건 예상대로다. 눈여겨볼 건 두 가지다.
첫째, 압축해도 성능이 거의 그대로다. 상위 16개만으로 증류해도, 전체 어휘를 다 썼을 때 얻는 성능 향상분(증류 전 대비)의 96% 이상을 챙겼다. 16개를 128개로 늘려도 일관된 추가 이득은 없었다. 연구진이 내놓은 이 압축 방식은 앞서 나와 있던 네 가지 경쟁 방법을 전부 앞질렀다. 그중 상위 16개 설정은 가장 강한 경쟁 방법보다도 평균 점수에서 0.51~1.05%p 더 높았다.
둘째, 범위를 넓히자 오히려 떨어졌다. 연구진은 엄격 그룹의 지도는 그대로 둔 채, 불일치 그룹을 되살리는 장치를 하나 더 얹었다. 끊는 자리가 다른 구간이라도 구간 전체의 확률을 서로 비슷하게 맞춰 주는 장치다(span MSE 손실). 이러면 버려지던 구간까지 전부 신호가 생겨, 비교 범위가 구조적으로 100% 채워진다. 상식대로라면 좋아져야 한다.
그 장치의 가중치를 0.25부터 쭉 올려 봤더니(0.25·0.5·0.75·1.0·1.25·1.5), 세 쌍 모두 가중치가 0일 때, 즉 추가 지도를 아예 넣지 않았을 때 최고점을 찍었다. 양의 가중치를 준 18개 설정은 하나도 빠짐없이 자기 기준선보다 0.27~1.20%p 낮았다. 범위를 100% 채웠는데 성적이 내려간 것이다.
연구진은 그래디언트, 즉 학습이 모델을 밀어 가는 방향을 들여다봤다. 신호가 어느 쪽을 가리키는지(방향), 그리고 얼마나 세게 미는지(크기)를 함께 봤다.
조언자 둘을 떠올리면 쉽다. 한 명(엄격 그룹의 지도)은 꾸준히 북쪽을 가리킨다. 올바른 방향이다. 다른 한 명(추가로 넣은 지도)은 자꾸 동쪽이나 서쪽을 가리킨다. 게다가 학습이 진행될수록 이 두 번째 조언자의 목소리가 점점 커진다.
실제 학습 과정을 들여다보니 정말로 두 조언자가 다투고 있었다. 엄격 그룹만으로 학습한 지점에서 재 보면, 추가 지도가 가리키는 방향은 엄격 지도와 거의 직각으로 어긋나거나(두 방향의 코사인 값이 0 근처) 심지어 정반대를 향했다. 그리고 두 신호의 크기 비율은 학습 후반으로 갈수록 커졌다. 어긋난 조언자가 갈수록 더 세게 민 것이다.
대조 기준도 챙겼다. 북쪽을 가리키는 믿을 만한 신호조차 둘로 쪼개 각 반쪽의 방향을 재 보면 완벽히 같지는 않다. 같은 목적을 나눠도 생기는 자연스러운 어긋남이다. 그런데 추가 지도의 어긋남은 매 지점에서 이 자연스러운 어긋남보다도 컸다. 방향은 틀어졌는데 힘은 점점 세지는 신호. 많이 비교하게 만든 그 신호가 정작 학습에는 잡음이거나, 오히려 거꾸로 당기는 힘이었다.
연구진 스스로 긋는 선부터 보자. 그래디언트 진단은 "설명에 도움이 될 수 있다" 정도로 신중하게 표현된다. 방향이 어긋나고 힘이 커지는 현상이 정확도 하락과 함께 나타난다는 걸 보였을 뿐, 그게 원인이라고 증명한 건 아니다. 추가 지도의 구현도 구간 확률에 MSE를 씌운 한 가지 형태뿐이다. 불일치 그룹을 다루는 다른 방식이라면 결과가 달라질 여지가 연구진 논리 안에도 열려 있다.
과제가 수학·코드에 쏠려 있다는 점도 분명히 해두자. 정답 채점이 되는 영역이라 신호가 또렷하다. 톤·스타일·긴 대화처럼 정답이 흐린 과제에서도 압축 지도가 똑같이 충분할지는 이 실험 밖의 일이다. 부록에서 235B 교사에서 8B 학생으로, 그리고 ALFWorld(행동을 수행하는 에이전트형 과제)로 범위를 넓혀도 상위 16개 방식이 가장 높았다고 보고하지만, 자유 생성 전반으로 넓히려면 더 봐야 한다. 상위 16개의 '16'이라는 숫자도 이 세 쌍, 이 과제에서 나온 경험값이다. 어휘 중첩이나 확률 쏠림이 크게 다른 조합이라면 각자 다시 재야 한다.
한 장면으로 좁혀 보자. 앞에서 꺼낸 그 금융 견적 서비스다. 대형 모델로 견적 산출의 단계별 추론 로직을 검증해 두었고, 이제 운영비가 낮은 소형 모델로 옮기려 한다. 그런데 두 모델이 다른 계열이라 토크나이저가 다르다.
상식을 따른다면 설계안에는 "토크나이저가 다르니 최대한 많은 토큰을 정렬·복원하는 무거운 파이프라인을 깔자"가 올라간다. 우리라면 그 전제부터 흔들 것이다. 먼저 재야 할 것은 어휘집이 몇 % 겹치느냐가 아니다. 이 견적 추론 과제의 실제 생성 경로에서, 끊는 자리가 얼마나 맞아떨어지고 확률이 공유 어휘에 얼마나 쏠리는가다. 추론 과제처럼 그 쏠림이 높게 나오면, 비싼 완전 복원 파이프라인 대신 "엄격한 자리에서 상위 소수 후보만 쓰는 압축 증류"를 1차안으로 올린다.
선 하나는 분명히 긋자. 논문이 데이터로 보인 건 "추론 과제에서 복원 범위를 넓히는 추가 지도가 정확도를 깎을 수 있다"까지다. 이걸 "견적 운영비가 얼마 줄어든다"로 바꾸는 건 실측이 아니라 실무적 추론이다. 다만 방향은 분명하다. 무거운 파이프라인을 기본값으로 깔기 전에, "작업 전 소표본으로 끊는 자리와 확률 쏠림부터 측정한다"는 체크포인트 하나를 끼워 넣는 편이, 넓게 깔고 나중에 되돌리는 것보다 싸다. 측정 결과가 추론만큼 또렷하지 않으면 그때 더 넓은 지도를 검토하면 된다.
그러니 이 연구가 현장에 남기는 교훈은 저울추의 위치를 바꾸라는 것이다. 이제 저울추는 '얼마나 많이 비교하나(범위, coverage)'가 아니라 '그 비교가 학습에 믿을 만한가(신뢰도, reliability)'로 옮겨가야 한다. 판단을 측정 뒤로 미루는 것, 그것이 핵심이다.
학습 중 매 스텝에서 바로 손에 잡히는 쪽이 학생의 예측이기 때문입니다. 학생이 꼽은 상위 16개 안에 교사의 확률 대부분이 이미 들어 있다는 관찰이 전제가 됩니다. 그러니 교사 쪽을 기준으로 후보를 따로 뽑는 수고를 들이지 않아도 되고, 계산이 그만큼 단순해집니다.
이 논문이 보인 건 "구간 확률을 MSE로 맞추는 방식"이 해로웠다는 데까지입니다. 불일치 그룹 자체가 쓸모없다는 증명은 아닙니다. 연구진도 다른 방식이라면 결과가 달라질 여지를 열어 둡니다. 다만 추론 과제에서는 학생이 실제 밟는 경로의 대부분이 이미 엄격하게 정렬돼 있어, 믿을 만한 신호가 그 자리에서 이미 충분했습니다. 불일치 그룹을 애써 되살릴 이유가 그만큼 약했던 것입니다(단, 이는 불일치 구간의 확률 질량이 작다는 뜻이 아닙니다 — 논문이 측정한 확률 쏠림은 어디까지나 엄격 정렬 위치에서 공유 어휘에 쏠린 정도입니다).
둘은 출발 상태가 다릅니다. 아직 손대지 않은 모델과 이미 다듬어진 모델에서 같은 경향이 나와야, "학생 유형의 특성이 아니라 정렬 구조 자체의 성질"이라고 말할 수 있습니다. 세 쌍 중 Granite→Qwen이 밑바탕 학생 조합인데, 여기서도 같은 패턴이 나왔습니다.