「モデルが自ら生成したデータで学ぶ方(オンポリシー)が本質的に優れている」。最近やけに耳にするようになった通説です。問題は、この主張の根拠の多くが、性格のまったく異なる二つの学習法をまるごとぶつけた比較から来ている点です。ケンブリッジの研究チームが変数を一つずつ切り分けて再確認してみたところ、勝敗を分けたのは「オンポリシーかどうか」ではありませんでした。最終性能を決めたのは生徒と教師の答えを突き合わせる方法(KLの向き)であり、既存の能力をどれだけ忘れるか、モデルをどれだけ書き換えるかは学習率が左右していたのです。オンポリシーの優位だと信じられてきたものの相当部分は、実は別の設定の手柄だった、というわけです。
まず用語を整理します。LLMの事後学習(post-training)は、事前学習を終えたモデルを実際の用途に合わせて仕上げる段階です。ここでモデルが自分の出力で学ぶやり方がオンポリシー(代表例はRLVR — 正解かどうかで報酬を与える強化学習)で、あらかじめ用意した固定データで学ぶやり方がオフポリシー(代表例はSFT — 正解例をそのままなぞらせる教師あり学習)です。通説は、オンポリシーが何かと優れているというもの。以前学んだ能力をあまり忘れず、モデル内部をより少なく書き換え、学んだことのない問題にもうまく対応できる、と。
ところが、この通説の根拠はたいていSFTとRLVRをまるごとぶつけた比較です。両者は「誰がデータを作るか」だけが違うのではありません。学習目的、報酬信号、正解をどこまで教えるか、最適化の規模、学習率まで、すべて違います。料理にたとえれば、材料も火加減も調理時間も調味料も一度に変えておいて「やっぱりこのフライパンがいいね」と言っているようなものです。肝心のフライパン一つ、つまりデータを誰が作るかが貢献した分だけを切り出して見るのが難しいのです。
これが実務でなぜ重要なのか。オンポリシーは学習の間ずっとモデルが新しい答えを作り続けなければならず、コストがかかります。オフポリシーは作り置きのデータを再利用すれば済みます。オンポリシーの利点が実は別の設計要素から来ているのなら、その高いコストを払う根拠は弱くなります。
では、フライパン一つの分だけをどう切り出すのか。研究チームの巧妙な選択は、SFT対RLVRという複雑な比較をやめ、「強い教師モデル → 弱い生徒モデル」へ知識を移す蒸留(distillation)を実験台にしたことです。この枠組みなら、残りの学習過程をそのままにして、データを誰が作るかだけをきれいに入れ替えられます。
切り出す変数は三つです。
① ロールアウト方策 — 学習データを教師が作るか(オフポリシー)、生徒が作るか(オンポリシー)。 ② KLの向き — 生徒と教師の答えをどう突き合わせるか。 ③ 学習率 — モデルを一度にどれだけ強く書き換えるか。
これまでの研究がこの三つを一度に変えて結果を見ていたのに対し、このチームは一つずつだけ動かして本当の原因を見分けます。
いちばんややこしいのがKLの向きです。まず感覚からつかみましょう。二人の生徒がいます。一人は「先生が教えたことを一つも取りこぼさない」と、先生が指摘したポイントをまんべんなく追いかけます。もう一人は「自分がいちばん自信のある一点を確実にやる」と一か所だけ深く掘り下げ、先生がざっと流したところは自分も見ません。前者が順方向KL、後者が逆方向KLの性格です。
では用語を当ててみましょう。KLは二つの確率分布がどれだけ違うかを測る尺度で、ここでは「次にどの単語(トークン)を出すか」についての生徒と教師の考えの差を指します。順方向KLは、教師が高い確率を与えたトークンを生徒が取りこぼすと大きく罰します(教師のすべての「山」を覆おうとするのでモードカバリング)。逆方向KLは逆に、生徒が教師は希薄だと見たトークンに確率を与えると罰します(山一つに集中するのでモードシーキング)。
これまではたいてい、オンポリシーと逆方向KLを、オフポリシーと順方向KLを一組と考えてきました。しかし「データを誰が作るか」と「答えをどう突き合わせるか」は別個の選択です。既存の研究がこの二つを対にして比較したせいで、本当の原因を見分けられなかったわけです。そこで研究チームはこの組をわざと崩し、四通りの組み合わせ(オン/オフ × 順方向/逆方向)をすべて回します。さらに学習率まで別途固定し、隠れた交絡変数をもう一つ消します。
実験そのものはこうです。主実験はLlama-3.1-8Bの教師をLlama-3.2-1Bの生徒へ蒸留します(付録ではQwen2.5-7B → Qwen2.5-1.5Bで再現)。教師と生徒を同じモデル系列から選んだのは、トークナイザと語彙が同じでないとトークン単位で両者の分布を直接突き合わせられないからです。ただし同系列だと能力が重なって学ぶことが少なくなりかねないので、課題ごとに教師を別々に学習させて実力差を広げたうえ、蒸留の間じゅう固定しました。課題は医療推論(MedReason)、科学推論(Science)、算術推論(Countdown)の三分野です。生徒は全パラメータを150ステップ微調整し、設定ごとに乱数の初期値(シード)を3つ変えて繰り返しました。
測定指標は三つです。
この実験が切り分けられること、切り分けられないこと
この実験台は「データを誰が作るかだけを変えたとき何が起きるか」をきれいに測ります。逆に、現実のSFTとRLVRが見せる性能差をまるごと説明することはできません。実際の両者は、報酬信号や正解をどこまで教えるかといった別の軸でも同時に違うからです。この論文は、その差のうちロールアウト方策の分がどれだけかだけをピンポイントで切り分けます。あとで出てくる結論も、ちょうどこの範囲の中で受け取ればよいのです。
最終正確度 — オンポリシーの優位はなかった。 三つのデータセットの平均最高正確度は、オンポリシー蒸留(OnPD)が72%、オフポリシー蒸留(OffPD)が73%で、事実上同じでした(CountdownはCountdown-3の変形を基準)。一方でKLの向きははっきり分かれました。真面目な生徒(順方向KL)は、データがどこから来ようと、学習率がいくつだろうと、71〜73%と安定していました。対して一つの井戸だけを掘る生徒(逆方向KL)は35%から72%まで成績が乱高下し、特に学習率に敏感でした。性能を分けたのは「誰がデータを作るか」ではなく「答えをどう突き合わせるか」だったのです。
忘却 — 左右したのは学習率だった。 正確度が似ていても、内側ではそれぞれ違うように「忘れて」いることがあります。確認してみると、OOD性能は学習率が低いとき最大1.3ポイントしか下がらなかったのに、高いときには11.2〜14.0ポイントも落ちました。ロールアウト方策の差は、これに比べれば微々たるものでした。目を引くのは、順方向KLで学習率を下げると忘却はほとんど消えるのに、学習中に見たタイプ(ID)の性能はそのままだった点です。「性能を得るには必ず忘却を引き受けねばならない」というトレードオフは、必然ではありませんでした。忘却を左右したのはオンポリシーかどうかではなく、学習率だったのです。
疎性 — ここでもまた学習率。 同じ絵が繰り返されます。更新の疎性は、学習率が低いとき85.3〜89.6%、高いとき51.9〜60.0%でした。ロールアウト方策どうしの差ははるかに小さく、むしろすべての対比較で、オフポリシーがオンポリシーと同じくらいモデルを少ししか書き換えていませんでした。「オンポリシーだからこそモデルをあまり揺らさない」という通説は、ここでは成り立ちませんでした。
ではロールアウト方策はいつ重要になるのか。 先ほどの二人の生徒をもう一度呼び戻しましょう。真面目な生徒(順方向KL)は、教師と少しでも違えば、その差を埋めようと地道に学びます。だからデータがどんな経路で入ってこようと安定して学習します。一方、一つの井戸だけを掘る生徒(逆方向KL)は、自分が知らないことはそもそも見ません。その地点では学ぶ信号が消えてしまいます。だからこそ、自分で実際に解いてみた道、つまりオンポリシーのデータで学ぶときにようやく実力を出します。
実験結果もこの予測と合いました。データの出どころを教師側から生徒側まで連続的に変えながら回してみると、順方向KLは全区間でホールドアウト正確度80%以上を保ち、変動幅は5.2ポイントにとどまりました。途中のごちゃ混ぜの区間を通るときも学び切りました。逆方向KLは違いました。学習率が低いと生徒側(オンポリシー)のデータで成績がよく教師側で悪く、学習率が高いと不安定になったり、ときおり崩れたりしました。
オンポリシーが本当に輝いた場所。 とはいえ、オンポリシーが役立たずだという話ではありません。一度引いて当てる割合(pass@1)では捉えられない利点があるのです。順方向KLは、何度も引いてみたときの得(pass@k、つまり出力の多様性)がID課題でより大きくなりました。また、Countdownのより難しい変形へ移る汎化では、どちらのKLの向きでもオンポリシーのデータが一貫して役立ちました。ただし著者らは正直な但し書きを添えます。この初期の汎化の利点は、その後RLVRを一度通したあとには信頼できるほど残りませんでした。そして逆方向KLと組んだとき、オンポリシーのデータは教師の口調が生徒に移ってしまう現象を抑えてくれました。
著者ら自身が認める限界から見ましょう。オンポリシーの汎化の利点が後続のRLVR以降は安定して残らない点は、本文にはっきり書かれています。また、勾配クリッピング(勾配が大きくなりすぎないよう切り詰める安全装置)を外した場合、KLを標本で近似した場合、より長い推論が必要な課題でも結論を再確認し、三つの方向から防衛線を張っています。
私が見るに、範囲こそ最大の限界です。このきれいな実験台は、教師と生徒が語彙を共有する「強→弱の蒸留」に合わせて組まれています。系列や語彙が異なる蒸留、あるいは蒸留ではない純粋なRLVRに結論をそのまま移せるかどうかは、この論文が主張する範囲の外です。モデルも1B〜1.5B級の生徒が中心なので、はるかに大きな生徒でも同じ非対称が保たれるかは、また別の問いです。「オンポリシーが難しい変形への汎化を助ける」という結果も、主にCountdownの算術課題から出たものなので、他の分野まで当て推量しないほうが安全です。
ONTLEでは、大きなモデルの腕前を小さく安いモデルに蒸留し、専用の働き手として回す仕事が定番の課題です。たとえば、ある小企業のお客さま先での問い合わせの自動分類 — 入ってきた問い合わせを種類ごとに仕分け、決まった口調で一次回答の下書きを立てる仕事 — を小さなモデルに任せるとしましょう。通説どおりなら、生徒が毎ステップ新しい答えを作り出すオンポリシーで回すべきで、その分だけ生成コストが学習の間じゅうかかります。この論文は、その選択を二つの状況に分けて見直させてくれます。
状況A — いつも見慣れた繰り返し業務だけを処理すればよいとき(問い合わせ分類・一次回答のようにタイプが一定の仕事)
状況B — 学習時に見ていない、より難しい問題まで押し上げなければならないとき
だから、PMがまず投げる問いは「オンポリシーかどうか」ではなく、「この働き手はいつも見慣れた業務だけを処理すればよいのか、それとも見知らぬ難度まで引き受けねばならないのか」です。ONTLEでコストと品質を天秤にかけるとき、既定値は状況Aであり、オンポリシーは状況Bで切るカードです。いますぐ問い合わせ分類のプロジェクトなら、状況Aの設定でもう一度回し、オンポリシー版とホールドアウト正確度・忘却の幅を並べて決めればよいのです。