強化学習で数学推論を身につけた0.5Bの小さな専門家が、自分よりはるかに大きい14Bモデルに、その能力を引き継ぐことができる(Bはパラメータ、つまりモデルが持つ数値のつまみが10億個あるという意味だ)。しかも大きいモデルが最終的に師匠を追い越すレベルまで。この論文は、その「能力の転移」がどれほど高く、どれほど速く起こるのかを、べき乗則(ある量が大きくなると別の量が一定の比率で一緒に変わる規則)でまとめている。核心は、教師と生徒のサイズに教師の実力スコアを一つ加えるだけで、学習を回してみる前に二つのこと — 到達する最高性能と序盤の転移速度 — を予測できる、ということだ。ただし、実験はQwen2.5という一つのモデル系列、数学推論という一つの領域に限定される。
近ごろの推論モデルは、強化学習(RL)で特定タスクの実力を引き上げる。問題は、このプロセスが高くつくことにある。同じモデル系列に0.5Bから14Bまで五つのサイズがあるとすれば、原則としてはサイズごとにRLを回し直さなければならない。電力も、時間も、データも毎回新たにかかる。
そこで登場した迂回路がオンポリシー蒸留(on-policy distillation, OPD)だ。一度RLで育てた専門家(教師)を据え、残りのサイズのモデル(生徒)は教師からトークン単位の指導を受けて能力を引き継ぐ方式である(トークンはモデルが文章を読み書きする最小単位で、おおよそ単語の断片だ)。核心は「オンポリシー」という言葉にある。生徒に教師の模範解答をそのまま写させるのではない。生徒が自分で解いてみた過程(ロールアウト)を、教師がトークンごとに採点してくれる構造だ。
たとえるなら、スイング映像を繰り返し再生させて同じようになぞらせるコーチではなく、自分が実際に振ったスイングを見て、その場で「ここで手首がねじれた」と指摘してくれるコーチだ。前者はコーチの体に合ったフォームを押しつけるが、後者は自分の体に合った矯正をくれる。生徒モデルが教師と体格が違うとき、この差が重要になる。
ところが、これまでこの蒸留は「回してみないと分からない」領域だった。教師と生徒のサイズによって結果がどう変わるのかを、法則としてまとめたものがなかった。著者たちの問いはシンプルだ。OPDを実行する前に、教師と生徒の規模と教師のスコアだけで結果を予測できるのか。
出発点は過去の研究から借りてきた。PPOで学習した報酬モデルを最適化するとき、性能(ゴールド報酬)を初期ポリシーからのKLダイバージェンスを軸に取ると規則的に動く、という観察があった。この論文は同じ枠組みをOPDに適用する。
ここで二つの座標が核心になる。一つはゴールドスコア(gold score, G) — 別に取り分けておいた試験での正解率、つまり実際の実力だ。もう一つは学習の進行度で、生徒が最初の状態からどれだけ離れたかを測る。これをトークン単位の逆方向KLダイバージェンスの平方根(d)で測定する。KLダイバージェンスは二つの確率分布がどれほど違うかを測る値だが、ここではモデルが学習開始点と比べてどれだけ変わったかを測る「変化量」の指標として使った。KL自体は距離の二乗のように大きくなる性質があるので、平方根を一度取ってはじめて「実際にどれだけ動いたか」に比例するまっすぐな軸になる。
この座標で著者たちが見つけ出した規則が、記事の骨格だ。OPDの序盤では、教師が弱かろうと強かろうと、生徒が大きかろうと小さかろうと、ゴールドスコアがdにほぼ直線で上がっていく区間が共通して現れる。これを「有用な転移(useful-transfer)区間」と呼ぶ。
なぜ直線なのか。歩みにたとえると分かりやすい。ごく小さな一歩(パラメータの変化)を踏み出すと、実力(ゴールドスコア)は歩幅に正直に比例して増える。ところが出発点からの開いた距離(KL)は、歩幅の二乗に比例して増える。だからスコアを「KL(距離の二乗)」と突き合わせると関係がよく見えないが、スコアを「KLの平方根(距離そのもの)」と突き合わせると、序盤にきれいな直線が現れるのだ(局所幾何の論証、付録D)。
この直線区間には傾き(転移速度)と到達点(ピーク)がある。著者たちはまさにこの二つの量が、生徒のパラメータ数、教師のパラメータ数、教師の測定されたゴールドスコアによってどう変わるのかをべき乗則でフィッティングした。これが「回してみる前に予測」を可能にする仕掛けだ。
実験はQwen2.5系列の五つのサイズのモデル(0.5B〜14B)で、数学推論問題を対象に行った。教師-生徒の組み合わせは弱→強、同一ベース、強→弱を網羅して25通りである。
すべてのモデルがまずDolci-SFTの一部で基礎的な指示追従を身につけ、教師はGSM8KとMATHを混ぜた14.8Kの学習セットでGRPO強化学習を経て作られた。評価は6.3Kのテストセット。比較対象としては、基本形(Vanilla-OPD)のほか、教師がRLで得たポリシー変化量を報酬として使うDelta-OPD、そして教師のデモを写すオフポリシー蒸留(OffPD)を併せて置いた。
これらすべての結果が一つのべき乗則で予測可能だったという点で、いっそう意味がある。たとえば、小さな専門家が大きな生徒を教える「弱→強」の転移が実際に機能したのだが、観測されたすべての弱→強ペアで、生徒のピークスコアが教師自身のスコアを上回った。重要なのは、この現象がどれほど起こり、どれほど速いかまで、教師と生徒のパラメータ数、教師のスコアだけで計算し出せたという点だ。
結果は興味深い相互作用を見せる。7B、14Bのような図体の大きい生徒は、教師も大きいほど良かった。7Bの生徒は教師の規模が大きくなるほどピークが72.7%から81.9%へ、14Bの生徒は77.7%から87.3%へと上がった。ところが0.5Bのような小さな生徒には、自分の体格をはるかに超える教師がかえって毒になった。0.5Bの生徒は3Bの教師で40.8%と頂点を打ったあと、7Bの教師では39.0%、14Bの教師では37.7%へと逆に下がっていった。
フィッティングされた法則がこの現象を圧縮してくれる。ピークスコアは、おおよそ生徒の規模までは教師の規模増加の恩恵を受ける。そして同じゴールドスコアを持つ教師どうしで比べると、より小さい教師のほうがうまく教えた。教師のスコア一つだけでは、その教師の「指導価値」が決まらないという話だ。このピーク法則は、最も大きな保留規模(held-out、法則を合わせる際に意図的に抜いておいた組み合わせ)まで、正解率1ポイント以内で的中した。
設計の選択に関する結果も実用的だ。Delta-OPDは共有された15ペアで序盤の傾きが、12ペアで観測ピークが基本形より大きく、その利点は弱→強ペアに集中した。逆方向もある。蒸留の前に教師のデモを写すSFT段階を挟むと(オフポリシー・コールドスタート)、弱→強の格差が大きいほどOPDの性能がより多く削られた。オンポリシー指導の価値が「生徒自身の解き方を矯正すること」にあるという解釈と噛み合う状況証拠だ。
最後に、直観を裏切る結果を一つ。小さな教師で中間モデルを育て、それを再び教師にしてより大きなモデルを育てる「ブートストラッピング」の連鎖は、最も小さな専門家からじかに蒸留した直接転移に一度も勝てなかった。中間の教師たちがより高いゴールドスコアを得ていたにもかかわらず、そうだった。「スコアの高い教師がより良い教師とは限らない」という先の法則と噛み合う箇所だ。
適用範囲は狭い。実験はQwen2.5の一系列、数学推論(GSM8K+MATH)の一領域に限定された。コードや一般的な対話、ほかのモデル系列でも同じ法則が成り立つのかは、この論文は答えない。論文のタイトルに「同一系列(same-family)」が入っている理由でもある。
また、序盤の有用な転移区間は規則的だが、その後のダイナミクスは乱雑だ。鈍る改善、飽和、退行が混ざって現れ、共通の関数形がない。25本中9本の軌跡は、観測区間の中で初期の直線予測から外れた。退行区間ではゴールドスコアが下がっているのに、教師が与えた代理スコア(proxy)は上がり続ける。これは代理指標の過最適化の典型的な兆候だ。つまり「いつ止めるべきか」は依然として予測より観測に頼る。ピークの値と速度は法則でとらえられたが、ピークが現れる位置(dの値)はばらつきがあり、著者たちもここには法則を無理に当てはめなかった。
ONTLEは顧客プロジェクトごとにAI PMを派遣する。そのPMの背後では、受付用・実行用・修正用と役割が分かれたモデルたちが回っている。一場面を切り取ってみよう。新しい顧客のドメイン(たとえば特定の業種の依頼書の分類と処理ルール)に合わせて、PMの「実行用モデル」を仕込まなければならない瞬間だ。
これまでの素朴なやり方は、実行に使う大きいモデルをそのドメインで直接強化学習させることだ。高くつくし、プロジェクトごとに繰り返される。この論文が照らす別の絵はこうだ。ドメインの専門性は小さく安価なモデル一つにRLで圧縮して刷り込んでおき(これが教師だ)、実際に仕事をする大きいモデルには、その専門家が大きいモデルの自前の解き方を矯正させることで、能力だけを流し込む。弱→強の転移で生徒が教師を追い越したという結果は、「小さな専門家一つで体格の大きい働き手を教える」を、まず比較実験してみる価値のある選択肢として押し上げる。
ここでこの論文の「法則」が効いてくる。教師の選択、コストの配分、パイプラインの構成といった運用上の判断を、勘ではなくデータに基づく予測に変えられるからだ。ただし実験が数学という一領域に縛られている以上、ONTLEの業務データではまだ確定の指針ではなく検証すべき仮説として置く。そこで最初のプロジェクトで並べて回してみる候補は三つだ。① 大きい実行モデルを直接RLする既存のやり方 対 小さな専門家→大きいモデルの蒸留、② 同じスコアなら小さい教師が有利だという法則が、我々のドメインでも保たれるか(教師の体格を実行モデルの近くで切る側 対 過剰に大きくした側)、③ 中間モデルを踏み石に積むブートストラッピング 対 小さな専門家からじかに行く直接転移。ピーク法則が保留規模まで1ポイント以内で合ったという点は、この比較のかなりの部分を、全面学習なしに予測で絞り込めるという期待を与える。
本文でゴルフのスイングにたとえたように、生徒が自分で解いたものを教師がその場で矯正してくれる方式です。写す方式(オフポリシー蒸留)は、教師の完成した解き方を生徒がそのままなぞります。この違いは、生徒と教師の体格が違うときに特に重要になります。
いいえ。条件が「同じゴールドスコアのとき」です。スコアが同一の二人の教師を比べると、パラメータがより小さいほうが転移をうまくさせた、という意味であって、性能が低くてもよいという話ではありません。要点は、教師の絶対スコア一つだけで指導価値を判断するな、ということです。
論文は保証しません。実験はQwen2.5の一系列、数学推論の一領域に限定されました。論文タイトルの「同一系列」がその範囲を明示しています。ほかの領域・系列への一般化は、追加の検証が必要な開かれた問いです。
部分的にです。序盤の転移区間の傾きとピーク値は法則でとらえられますが、ピークが現れる正確な位置(KL平方根座標d)はばらつきがあります。ピーク以降は改善・飽和・退行が混ざって共通パターンがなく、停止のタイミングは依然として観測に頼らなければなりません。