여러 개의 전문가 AI를 하나로 합칠 때, 지금까지는 "어떤 전문가가 이 문제를 가르칠지"만 정했다. 이 논문은 거기에 "그 전문가의 피드백을 얼마나 세게 반영할지"라는 두 번째 손잡이가 빠져 있었고, 그 손잡이 하나를 맞췄더니 성능이 올랐다는 것을 보인다. 저자들은 Qwen3.5 세 가지 크기(9B·4B·2B)에서 기존 방식이 최고의 단일 전문가만도 못했음을 확인하고, 도메인별로 피드백 세기를 정규화하는 DN-MOPD를 제안했다.
강화학습(RL)으로 언어모델을 후처리하면 한 우물만 잘 파는 전문가가 만들어진다. 수학은 정답 검증으로, 코드는 실행 결과로, 지시수행(instruction following, 이하 IF)은 제약 조건 체크로 각각 다른 파이프라인에서 훈련되기 때문이다. 문제는 사용자가 원하는 건 수학도 코드도 지시수행도 다 되는 '한 개의 모델'이라는 점이다. 전문가 셋을 따로 두고 상황마다 갈아 끼울 수는 없으니, 이들을 하나로 통합해야 한다.
기존 해법이 다중교사 온폴리시 증류(Multi-teacher On-Policy Distillation, MOPD)다. 방식은 이렇다. 학생 모델이 먼저 스스로 답을 쓴다. 그 문제가 수학이면 수학 전문가가, 코드면 코드 전문가가 학생이 쓴 답의 토큰 하나하나에 "나라면 이 단어를 이만큼 썼을 것"이라는 신호를 준다. 이 신호(교사와 학생의 로그 확률 차이)가 학생을 어느 방향으로 밀어야 할지를 알려준다.
여기에 함정이 있다. 라우팅(routing) 규칙은 '누가 가르칠지'만 정할 뿐, 그 교사의 피드백이 공유된 학생 파라미터를 '얼마나 세게' 움직일지는 정하지 않는다. 세 전문가가 서로 다른 RL 파이프라인에서 나왔으니 피드백의 크기 자체가 제각각인데, 이걸 그냥 더해버린 것이다.
비유하자면, 세 명의 과외 선생이 한 학생을 돌아가며 가르치는데 목소리 크기가 다르다. 수학 선생은 조곤조곤 말하고 국어(지시수행) 선생은 고래고래 소리친다. 학생 입장에서는 내용의 옳고 그름과 무관하게 큰 목소리 쪽에 자꾸 끌려간다. 실제로 저자들의 측정에서 IF 전문가의 피드백은 첫 훈련 배치에서 전체 신호보다 2.3~4.4배 더 넓게 퍼져 있었고, 수학 피드백은 그 절반 정도밖에 안 됐다. 그 결과 초기 4B 학생에서는 동일 가중치로 합쳐도 IF 손실이 전체 기울기(gradient)의 94%를 차지했다.
결과는 예상대로 나빴다. 라벨 라우팅 MOPD는 세 크기 어디서도 가장 강한 단일 교사 학생을 이기지 못했고, 수학 전문가의 강점을 거의 전달하지 못했다. 8K 평가 예산에서 수학 이득의 14~32%만 남았고, 16K에서는 초기 상태 대비 이득이 아예 사라졌다.
DN-MOPD(Domain-Normalized MOPD)의 처방은 단순하다. 큰 목소리는 줄이고 작은 목소리는 키워서, 모든 선생의 목소리 크기를 방 전체 평균에 맞춘다.
구체적으로는 배치마다 각 도메인 피드백의 퍼짐 정도(표준편차)를 재고, '전체 평균 퍼짐 ÷ 그 도메인의 퍼짐'을 배율로 곱한다. 퍼짐이 작은 도메인(수학)은 증폭되고, 퍼짐이 큰 도메인(IF)은 감쇠된다. 이 배율에는 상한과 하한(bound)이 걸려 있어 극단적인 경우에도 과하게 조정되지 않는다.
이 설계에서 눈여겨볼 점 두 가지가 있다. 첫째, 부호(sign)를 건드리지 않는다. 어떤 토큰을 '권장'하던 신호는 세기만 바뀔 뿐 여전히 권장이고, '억제'하던 신호도 방향은 그대로다. 양수 배율만 곱하기 때문이다. 둘째, 라우팅은 손대지 않는다. 누가 가르칠지, 도메인마다 문제를 몇 개 받을지는 그대로 두고, 오직 세기만 조정한다. MOPD는 모든 배율이 1인 특수한 경우일 뿐이다.
비용이 거의 안 든다는 점이 이 접근의 영리한 부분이다. 교사 모델을 추가로 부르지도, 학습된 라우터를 새로 만들지도 않는다. 이미 롤아웃 채점 과정에서 나온 로그 비율을 재활용해 표준편차 몇 개를 계산하고 기존 신호에 곱하기만 하면 된다. 연산 한 줄이 추가될 뿐이다.
실제 Qwen3.5 실험에서 이 규칙이 뽑아낸 배율을 보면 처방의 성격이 드러난다. 수학 피드백은 모든 크기에서 약 1.5~2.1배로 증폭됐고, 코드는 4B·2B에서 1 근처로 거의 그대로였다. 반면 IF 배율은 대부분의 배치에서 하한값 0.25에 붙어 있었다. 즉 IF에 대해서는 정규화라기보다 상·하한 제한(clipping)이 작동한 셈이다.
DN-MOPD는 여섯 개 공개 벤치마크의 평균 점수를 모든 크기, 두 평가 예산 모두에서 MOPD보다 끌어올렸다. 향상 폭은 16K 예산에서 1.17~2.36%p, 8K 예산에서 2.47~3.08%p였다. 세 개의 학생 시드와 두 가지 답변 길이 제한에서도 이득이 유지됐고, 짝지은 95% 신뢰구간이 모두 0을 넘었다.
표에서 몇 개만 짚으면, 9B에서 여섯 과제 Total은 라벨 라우팅 MOPD 58.4에서 DN-MOPD 59.6으로 올랐다. 4B는 50.3에서 52.5로, 2B는 26.6에서 29.0으로 올랐다(각 크기별로 독립 훈련된 전문가 풀 기준). MOPD가 가장 크게 놓쳤던 수학에서 이득이 가장 크게 회복됐다는 점이 핵심이다. 예컨대 9B의 AIME25/AIME26 점수는 라벨 라우팅의 55.3/63.2에서 DN-MOPD의 58.9/67.7로 올라, 수학 전문가 수준에 근접했다.
여기서 저자들이 붙인 통제 실험이 결론을 날카롭게 만든다. 가중치를 고정한 대조군을 돌려보니, 이득의 대부분은 '수학을 키운 것'이 아니라 '지시수행을 줄인 것'에서 나왔다. 큰 목소리를 낮추는 것이 작은 목소리를 키우는 것보다 결정적이었다는 뜻이다. 또한 DN-MOPD가 측정한 배율에 가까운 고정 가중치를 쓰면 9B·4B에서 비슷한 성능이 나왔다. 다만 DN-MOPD는 그 가중치를 배치 통계에서 자동으로 얻기 때문에, 크기별로 가중치를 손으로 탐색할 필요가 없다는 실용적 이점이 있다.
한 문장으로 요약하면, 전문가를 합칠 때는 '누가 가르치느냐'뿐 아니라 '그 피드백을 얼마나 세게 반영하느냐'까지 정해야 한다는 것이다.
솔직히 짚을 부분이 있다. 첫째, 이 연구는 Qwen3.5 계열의 특정 전문가 풀에서 얻은 결과다. 초록과 본문 발췌는 다른 모델 계열이나 임의의 도메인 조합에서도 같은 불균형이 나타난다고 보장하지 않는다(과거 Qwen3 결과는 다른 교사 풀·프로토콜이라 별도 부록에서 다룬다고만 밝힌다).
둘째, 도메인이 수학·코드·지시수행 세 가지로 한정돼 있다. 도메인이 훨씬 많아지거나 경계가 모호해지면 배치별 표준편차 측정이 얼마나 안정적일지는 이 발췌만으로 알 수 없다.
셋째, 저자들도 분명히 한 한계로, 표준편차를 맞춘다고 해서 배치 손실 규모가 고정되거나 도메인별 기울기 크기가 완전히 같아지는 것은 아니다. IF 배율이 대부분 하한 0.25에 붙어 있다는 사실은, 이 방법이 IF를 '정규화'했다기보다 '제한'했다는 쪽에 가깝다. 완전한 균등화는 클리핑 때문에 오히려 막힌다.
넷째, 단일 교사 학생을 넘어섰다고는 하나 그 신뢰구간 일부는 0을 포함한다. 즉 통합이 항상 단일 전문가보다 확실히 낫다고 단정하기는 이르다.
온틀은 AI 프로젝트 매니저를 파견하는 서비스다. 하나의 PM 에이전트가 일정 관리, 문서 작성, 데이터 조회, 커뮤니케이션 같은 여러 능력을 동시에 갖춰야 한다는 점에서, 이 논문의 문제의식은 남의 얘기가 아니다.
특히 여러 특화 모델이나 특화 프롬프트를 하나의 에이전트로 통합할 때, "어떤 상황에 어떤 전문성을 부를지"(라우팅)만 신경 쓰기 쉽다. 이 연구는 그 다음 질문을 던진다. 서로 다른 소스에서 온 신호를 합칠 때 각 신호의 '세기'가 제각각이면, 목소리 큰 쪽이 조용히 학습 방향을 지배해버린다는 것이다. 품질 좋은 신호가 아니라 단지 분산이 큰 신호가 이기는 상황은, 여러 도구·전문가·피드백 소스를 섞는 어떤 시스템에서도 재현될 수 있다.
RAG나 멀티 에이전트 앙상블을 운영하는 입장에서 실용적 교훈은 이렇다. 여러 출처의 신호(검색 점수, 도구 응답, 평가자 피드백)를 가중 합산할 때, 각 출처의 값 분포(퍼짐)를 실제로 측정해봐야 한다. 겉보기엔 공평하게 더한 것 같아도 분산 차이 때문에 한쪽이 결과를 삼키고 있을 수 있다. DN-MOPD처럼 배치 통계로 자동 보정하는 방식은, 출처가 늘 때마다 가중치를 손으로 튜닝하는 수고를 덜어준다는 점에서 참고할 만하다. 다만 이 논문의 수치는 어디까지나 특정 LLM 증류 세팅의 결과이므로, 우리 쪽 파이프라인에 그대로 옮기기 전에 우리 데이터로 분산을 재보는 검증이 먼저다.
MOPD는 어떤 교사가 가르칠지(라우팅)만 정하고, DN-MOPD는 거기에 각 교사 피드백의 세기를 도메인별 퍼짐(표준편차)에 맞춰 재조정하는 연산 한 줄을 더한 것입니다. 모든 배율이 1이면 DN-MOPD는 MOPD와 같아집니다.
고정 가중치 통제 실험 결과, 이득의 대부분은 수학 피드백을 키운 것이 아니라 지시수행(IF) 피드백을 줄인 데서 나왔습니다. 실제로 IF 배율은 대부분의 배치에서 하한값 0.25에 머물렀습니다.
거의 들지 않습니다. 추가 교사 모델·교사 호출·학습된 라우터가 필요 없고, 이미 롤아웃 채점에서 나온 로그 비율을 재활용해 표준편차 몇 개를 계산한 뒤 기존 신호에 곱하기만 합니다.
Qwen3.5 9B·4B·2B 세 크기에서 각 크기별로 독립 훈련된 전문가 풀을 사용했고, 여섯 개 공개 벤치마크(AIME25/26, LiveCodeBench v5/v6, IFEval/IFBench), 세 개 학생 시드, 8K·16K 두 평가 예산에서 확인됐습니다. 다른 모델 계열이나 더 많은 도메인으로의 일반화는 이 논문 범위 밖입니다.