언어 모델을 특정 과제로 한 번 더 학습(이를 '후처리(post-training)', 즉 다 만든 모델을 특정 용도에 맞게 추가로 손보는 작업이라 부른다)시키면, 그 흔적이 과제와 전혀 상관없는 결정에도 남는다. 이 논문은 그 흔적 — 저자들이 '행동적 그림자(behavioral shadow)'라 부르는 현상 — 을 이용해, 코드 데이터라곤 한 줄도 없는 평범한 단어 선택만으로 교사 모델의 코딩 능력 일부를 학생 모델로 옮기는 데 성공했다. 교사의 내부 설정값(파라미터)도, 모델이 단어마다 매기는 내부 점수도, 정답 코드도 주지 않았다. 오직 질문마다 교사가 고른 '다음 단어 하나'뿐이었다.
모델을 코딩 데이터로 미세조정하면 코드를 더 잘 짠다. 여기까지는 상식이다. 그런데 그 학습의 영향이 정말 '코딩'에만 갇혀 있을까? 저자들의 출발점은 이 질문이다. 코드로 학습한 모델에게 짧은 이야기 속 빈칸을 채우게 하면, 코드와 무관한 그 선택마저 미묘하게 달라진다는 것이다.
배경에는 '잠재 학습(subliminal learning)'이라는 선행 연구가 있다. 겉보기엔 아무 관련 없는 학습 데이터를 통해 교사의 성향이나 선호가 학생에게 전달될 수 있다는 발견이다. 다만 기존 연구는 대체로 '성향·선호'에 초점을 맞췄고, 교사가 만든 긴 생성물을 대량으로 필요로 했다.
이 논문이 파고든 빈틈은 두 가지다. 첫째, 관찰 가능성 — 비공개로 이뤄진 후처리 학습을, 바뀐 설정값이나 과제 응답을 들여다보지 않고 무관한 질문에 대한 개별 선택만으로 엿볼 수 있는가. 둘째, 능력 전이 — 그 선택들을 학습하면 교사가 얻은 과제 실력의 일부가 다른 모델로 옮겨가는가. '성향'이 아니라 '능력'을, 그것도 극단적으로 적은 정보로 옮길 수 있느냐가 핵심이다.
방법의 이름은 ATD, Active Taskless Distillation(능동적 무과제 증류)이다. '증류(distillation)'란 큰/앞선 모델(교사)의 능력을 작은/뒤따르는 모델(학생)에게 옮겨 담는 기법을 말한다.
설정부터 보자. 공개된 기반 모델이 하나 있다. 누군가 이걸 비공개로 코딩 데이터에 후처리해 '교사'를 만들었다. 우리는 같은 기반 모델에서 출발한 '학생'을 갖고 있고, 교사에게는 속을 볼 수 없는 블랙박스로서 질문 하나에 다음 단어 하나만 받아낼 수 있다.
영리한 지점은 '어디에 질문을 던지느냐'다. 저자들은 공개 기반 모델을 이용해, 두 평범한 단어가 뽑힐 가능성이 거의 팽팽한(near-tie) 질문만 골라낸다. 저울이 정확히 수평인 상태를 떠올리면 된다. 이때 손가락으로 아주 살짝만 눌러도 저울은 한쪽으로 기운다. 후처리 학습이 바로 그 미세한 손가락이다. 팽팽한 지점에서 교사가 어느 단어를 골랐는지를 보면, 그 선택 하나가 학습이 어느 쪽으로 이뤄졌는지 알려주는 신호가 된다.
논문의 실제 예시가 직관적이다. 어떤 무관한 문맥에서 공개 모델은 'tie'를 'jacket'보다 근소하게 선호한다(정규화 확률 약 0.51, 즉 거의 반반이다). 그런데 코드로 학습된 교사는 'jacket'을 고른다. 이 뒤집힘 하나가 학습 쌍이 된다. 이처럼 코드 한 줄 없는 문맥에서 선택이 뒤집혔다는 사실 자체가, 교사가 어느 방향으로 학습됐는지 알려주는 '1비트(1-bit) 신호'가 된다. 1비트란 예/아니오 한 번, 정보의 가장 작은 단위다.
절차는 세 단계다.
가장 강한 증거는 코딩에서 나왔다. 코드는 실행해 보면 맞는지 틀리는지 바로 드러나, 흉내만으로는 점수를 올릴 수 없기 때문이다.
실험은 Qwen2.5-1.5B라는 작은 공개 모델 하나를 기반이자 학생의 출발점으로 삼았다. 교사는 같은 모델에 코딩 학습을 한 번 더 얹은 버전이다.[^setup] 학생은 교사가 무관한 질문들에 고른 단어만, 질문마다 하나씩 총 5,664개를 모아 학습했다. 그 결과 코드 실력을 재는 시험인 HumanEval+에서 대조군보다 5.34%포인트(pp) 높은 점수를 얻었다.
여기서 '대조군'이 무엇인지가 결정적이다. 저자들이 쓴 대조군은 단어 집합은 똑같이 유지하되, 질문과 단어의 짝만 어긋나게 섞은 것이다(논문 표현으로 '정확 방해 순열'). 즉 '어떤 단어들이 나왔나'가 아니라 '어떤 질문에 어떤 단어가 붙었나', 그 짝짓기에 정보가 들어 있음을 보여준다. 학습에 쓴 5,664개 응답은 사전 점검에서 코드·수학·벤치마크·과제 용어가 없음을 확인받았다.
전이는 코딩에만 그치지 않았다. 과학 지식, 상식 추론, 독해를 포함한 여섯 개 객관식 시험에서 전반적으로 점수가 올랐고, Qwen의 다른 세대·크기, 그리고 Llama 계열에서도 평균적으로 향상이 나타났다. 학생을 조금만 손보는 방식(LoRA)이든 전체를 다시 조정하는 방식이든 결과는 유지됐다. 다만 그 폭이 코딩만큼 극적이진 않았다.
특히 흥미로운 성질 몇 가지가 보고된다.
저자들 스스로 경계를 분명히 긋는다. 전이는 교사와 학생이 같은 공개 조상에서 출발했을 때만 살아남았다. 이 전제가 무너진 '호환되지 않는 조상'에서는 성립하지 않았다. 그리고 이 통로는 대역폭이 좁다 — 질문당 1비트씩 긁어모으는 방식이니 당연하다.
또 하나 정직하게 짚어둘 대목. 교사의 과제 실력이 크게 올랐다고 해서 전이가 보장되는 건 아니다(논문 5.5절). 큰 향상이 반드시 옮겨가는 그림자로 이어지진 않는다.
다만 5.34pp라는 숫자 하나에만 매달려서는 안 된다. 이 값은 어디까지나 Qwen2.5-1.5B 코딩 실험에서 특정 대조군과 비교한 결과다. 다른 과제·모델에서 나온 '평균적인 향상'은 방향이 같다는 정성적 경향일 뿐, 같은 크기의 성과가 아니다. 이 둘을 하나의 성과처럼 합쳐 말하는 건 과장이다.
우리는 고객사의 비공개 모델을 API로 연동해 관리하는 일을 매일 다룬다. 고객의 모델이 어떻게 학습됐는지는 모른 채, 바깥에서 질문을 던지고 답만 받아 쓰는 상황이 기본값이다. 그런 우리에게 이 연구는 두 방향의 시사점을 준다.
방어 쪽이 먼저다. 이 논문은 비공개 학습이 무관해 보이는 출력에도 흔적을 남기고, 그 흔적을 통해 능력이 새어 나갈 수 있음을 보인다. 모델을 API로 열어둔다는 것은, 정답을 직접 내주지 않아도 '어느 단어를 골랐나'라는 부스러기를 계속 흘린다는 뜻이다. 고객의 파인튜닝된 모델을 우리가 제품 안에서 외부에 노출할 때, 유출의 상한을 '우리가 내주는 완성 응답'만으로 계산하면 안 된다는 경고다. 물론 저자들이 밝혔듯 통로는 좁고 같은 조상 공유가 전제이므로, 당장의 실전 위협이라기보다 위협을 바라보는 시각을 다시 그리게 하는 결과로 읽는 편이 정확하다.
활용 쪽도 있다. 우리가 운영하는 고객 모델은 공급사의 업데이트나 설정 변화로 어느 날 갑자기 답이 달라지곤 한다. 성능이 예전만 못해지거나(회귀), 조금씩 결이 바뀌는(드리프트) 것이다. 지금은 이런 변화를 주로 벤치마크 점수가 떨어진 뒤에야 알아챈다. 팽팽한 질문에서 선택이 뒤집히는지를 상시로 지켜보면, 점수가 흔들리기 전에 변화를 먼저 감지하는 작은 센서(프로브, 상태를 엿보는 감지 장치)를 모니터링에 붙일 수 있다. 이건 논문이 직접 제안한 기능이 아니라 우리 쪽 해석이다.
핵심 교훈을 한 줄로 줄이면 이렇다. 모델의 행동은 과제 칸막이 안에 얌전히 머무르지 않는다. 능력을 옮기는 일도, 능력을 지키는 일도, '겉보기에 무관함'을 안전의 근거로 삼아선 안 된다.
고전적 증류는 교사의 예측 분포(단어마다 매긴 점수, 로짓)를 학생이 따라 맞추고, 언어모델 증류는 보통 교사가 만든 응답·풀이·근거를 쓴다. ATD는 교사의 확률도, 과제 응답도, 설정값도 쓰지 않는다. 무관한 질문에서 교사가 고른 단어 하나만 관찰한다.
코드는 정답이 아니면 실행되지 않기 때문이다. 다른 주관적 과제와 달리, 코딩은 '흉내'만으로는 점수를 올릴 수 없다. 따라서 코딩에서 점수가 올랐다면 그건 실제로 쓸모 있는 무언가가 옮겨갔다는 뜻이다. 게다가 단어 집합은 똑같지만 질문-단어 짝만 어긋나게 섞은 대조군과 비교했으니, 효과의 출처가 '어떤 단어가 나왔나'가 아니라 '어떤 질문에 붙었나'라는 짝짓기 자체임이 분리돼 드러난다.
아니다. 교사와 학생이 같은 공개 조상을 공유하지 않는 '호환 불가 조상'에서는 전이가 살아남지 못했고, 통로 자체가 좁다. 또 교사의 과제 실력이 크게 올랐다고 전이가 보장되지도 않는다(논문 5.5절).
두 단어의 확률이 거의 같은 지점에서는 아주 작은 선호 변화만으로도 선택이 뒤집힌다. 그래서 후처리 학습이라는 미세한 변화가 겉으로 드러나기 쉽다. 저울이 수평일 때 손가락 한 번이 방향을 결정하는 것과 같다.
[^setup]: 교사를 만든 학습 설정은 기반 모델에 얹은 rank-16 코드-DPO LoRA다. 전이 결과는 이 방식(LoRA)과 전체 파라미터 미세조정 양쪽에서 유지됐다.