言語モデルを特定の課題でもう一度学習させる(これを「ポストトレーニング(post-training)」、つまり完成したモデルを特定の用途に合わせて追加調整する作業と呼ぶ)と、その痕跡は課題とはまったく関係のない判断にも残る。本論文は、その痕跡 — 著者らが「行動的影(behavioral shadow)」と呼ぶ現象 — を利用して、コードデータを一行も使わないありふれた単語選択だけで、教師モデルのコーディング能力の一部を生徒モデルへ移すことに成功した。教師の内部設定値(パラメータ)も、モデルが単語ごとに付ける内部スコアも、正解コードも与えていない。あるのはただ、質問ごとに教師が選んだ「次の一単語」だけだった。
モデルをコーディングデータでファインチューニングすれば、コードをより上手に書く。ここまでは常識だ。ところが、その学習の影響は本当に「コーディング」の中だけに閉じ込められているのだろうか。著者らの出発点はこの問いである。コードで学習したモデルに短い物語の空欄を埋めさせると、コードとは無関係なその選択までもが微妙に変わる、というのだ。
背景には「サブリミナル学習(subliminal learning)」という先行研究がある。一見まったく関係のない学習データを通じて、教師の傾向や好みが生徒へ伝わりうるという発見だ。ただし従来の研究は概ね「傾向・好み」に焦点を当てており、教師が生成した長い出力物を大量に必要としていた。
本論文が切り込んだ隙間は二つある。第一に、観察可能性 — 非公開で行われたポストトレーニング学習を、変化した設定値や課題への応答をのぞき見ることなく、無関係な質問に対する個々の選択だけで垣間見ることができるか。第二に、能力の転移 — それらの選択を学習すれば、教師が得た課題の実力の一部が別のモデルへ移るのか。「傾向」ではなく「能力」を、しかも極端に少ない情報で移せるかどうかが核心だ。
手法の名前はATD、Active Taskless Distillation(能動的タスクレス蒸留)である。「蒸留(distillation)」とは、大きい/先行するモデル(教師)の能力を、小さい/後続のモデル(生徒)へ移し替える技法を指す。
まず設定から見よう。公開された基盤モデルが一つある。誰かがこれを非公開でコーディングデータにポストトレーニングして「教師」を作った。私たちは同じ基盤モデルから出発した「生徒」を持っており、教師に対しては中身の見えないブラックボックスとして、一つの質問につき次の一単語だけを受け取ることができる。
巧妙なのは「どこに質問を投げるか」だ。著者らは公開基盤モデルを使って、二つのありふれた単語が選ばれる可能性がほぼ拮抗している(near-tie)質問だけを選び出す。天秤がちょうど水平になっている状態を思い浮かべればよい。このとき指でほんの少し押すだけで、天秤は一方に傾く。ポストトレーニング学習が、まさにその微細な指なのだ。拮抗した地点で教師がどの単語を選んだかを見れば、その選択一つが、学習がどちらの方向へ進んだかを教える信号になる。
論文の実際の例が直感的だ。ある無関係な文脈で、公開モデルは「tie」を「jacket」よりわずかに好む(正規化確率は約0.51、つまりほぼ五分五分だ)。ところがコードで学習された教師は「jacket」を選ぶ。この逆転一つが学習ペアになる。このように、コードが一行もない文脈で選択が逆転したという事実そのものが、教師がどの方向へ学習されたかを教える「1ビット(1-bit)の信号」になる。1ビットとは、イエス/ノー一回、情報の最小単位だ。
手順は三段階である。
最も強い証拠はコーディングから出た。コードは実行してみれば正しいか間違っているかがすぐに分かるため、真似だけではスコアを上げられないからだ。
実験では、Qwen2.5-1.5Bという小さな公開モデル一つを、基盤であり生徒の出発点とした。教師は、同じモデルにコーディング学習をもう一段上乗せしたバージョンだ。[^setup] 生徒は、教師が無関係な質問に選んだ単語だけを、質問ごとに一つずつ合計5,664個集めて学習した。その結果、コードの実力を測るテストであるHumanEval+で、対照群より5.34ポイント(pp)高いスコアを得た。
ここで「対照群」が何であるかが決定的だ。著者らが用いた対照群は、単語の集合はそのまま同じに保ちつつ、質問と単語の組み合わせだけをずらして混ぜたものである(論文の表現で「正確な妨害順列」)。つまり「どんな単語が出たか」ではなく「どの質問にどの単語が付いたか」、その組み合わせに情報が入っていることを示している。学習に使った5,664個の応答は、事前点検でコード・数学・ベンチマーク・課題用語が含まれないことを確認済みだ。
転移はコーディングだけにとどまらなかった。科学知識、常識推論、読解を含む六つの多肢選択テストで全般的にスコアが上がり、Qwenの別世代・別サイズ、そしてLlama系でも平均的に向上が見られた。生徒を少しだけ調整する方式(LoRA)でも、全体を再調整する方式でも結果は保たれた。ただし、その幅はコーディングほど劇的ではなかった。
とりわけ興味深い性質がいくつか報告されている。
著者ら自身が境界をはっきりと引いている。転移は、教師と生徒が同じ公開の祖先から出発したときにのみ生き残った。この前提が崩れた「互換性のない祖先」では成立しなかった。そしてこの経路は帯域が狭い — 質問あたり1ビットずつかき集める方式なのだから当然だ。
もう一つ正直に押さえておく点がある。教師の課題の実力が大きく上がったからといって、転移が保証されるわけではない(論文5.5節)。大きな向上が必ずしも移っていく影につながるとは限らない。
ただし、5.34ppという数字一つにばかりしがみついてはいけない。この値はあくまでQwen2.5-1.5Bのコーディング実験で、特定の対照群と比較した結果だ。他の課題・モデルで出た「平均的な向上」は方向が同じだという定性的な傾向にすぎず、同じ大きさの成果ではない。この二つを一つの成果のように合わせて語るのは誇張である。
私たちは顧客企業の非公開モデルをAPIで連携して管理する仕事を毎日扱っている。顧客のモデルがどう学習されたかは分からないまま、外から質問を投げて答えだけを受け取って使う、という状況が既定値だ。そんな私たちにとって、この研究は二つの方向の示唆を与えてくれる。
まずは防御の側だ。この論文は、非公開の学習が無関係に見える出力にも痕跡を残し、その痕跡を通じて能力が漏れ出しうることを示している。モデルをAPIで開放するということは、正解を直接差し出さなくても「どの単語を選んだか」という断片を流し続けるという意味だ。顧客のファインチューニングされたモデルを、私たちが製品の中で外部に露出するとき、流出の上限を「私たちが差し出す完成した応答」だけで計算してはならない、という警告である。もちろん著者らが述べたように経路は狭く、同じ祖先の共有が前提なので、今すぐの実戦的脅威というより、脅威を見る視点を描き直させる結果として読む方が正確だ。
活用の側もある。私たちが運用する顧客モデルは、供給元のアップデートや設定変更で、ある日突然答えが変わることがある。性能が以前ほどでなくなったり(リグレッション)、少しずつ質が変わったり(ドリフト)するのだ。今はこうした変化を、主にベンチマークスコアが下がった後にようやく気づく。拮抗した質問で選択が逆転するかを常時見張っておけば、スコアが揺らぐ前に変化を先に検知する小さなセンサー(プローブ、状態をのぞき見る検知装置)をモニタリングに付けられる。これは論文が直接提案した機能ではなく、私たちの側の解釈だ。
核心の教訓を一行に縮めると、こうなる。モデルの振る舞いは課題の仕切りの中におとなしく留まってはいない。能力を移すことも、能力を守ることも、「見た目の無関係さ」を安全の根拠にしてはならない。
古典的な蒸留は教師の予測分布(単語ごとに付けたスコア、ロジット)を生徒が追従して合わせ、言語モデルの蒸留は通常、教師が作った応答・解法・根拠を使う。ATDは教師の確率も、課題への応答も、設定値も使わない。無関係な質問で教師が選んだ単語一つだけを観察する。
コードは正解でなければ実行されないからだ。他の主観的な課題と違って、コーディングは「真似」だけではスコアを上げられない。したがってコーディングでスコアが上がったなら、それは実際に役立つ何かが移ったという意味だ。しかも、単語の集合は同じでも質問と単語の組み合わせだけをずらして混ぜた対照群と比較したので、効果の出所が「どんな単語が出たか」ではなく「どの質問に付いたか」という組み合わせそのものであることが切り分けられて浮かび上がる。
いいえ。教師と生徒が同じ公開の祖先を共有しない「互換性のない祖先」では転移が生き残らず、経路そのものが狭い。また、教師の課題の実力が大きく上がったからといって転移が保証されるわけでもない(論文5.5節)。
二つの単語の確率がほぼ等しい地点では、ごく小さな好みの変化だけで選択が逆転する。だからポストトレーニング学習という微細な変化が表に現れやすい。天秤が水平なとき、指一本が方向を決めるのと同じだ。
[^setup]: 教師を作った学習設定は、基盤モデルに乗せたrank-16のコードDPO LoRAである。転移の結果は、この方式(LoRA)と全パラメータのファインチューニングの両方で保たれた。