言語モデルの数学やコードの実力は、その多くが強化学習によって磨かれる。問題は、この学習がとにかく高くつくという点だ。あるモデルがコストを払って手に入れた実力を、別のモデルにゼロから学習し直させることなく譲り渡せないだろうか。Alibaba Cloudの研究チームによるWaypoint-OPDが出した答えは、丸ごとコピーはしないというものだ。途中の学習記録を見て、方向が最後まで一貫していた変化だけを選んで渡す。
何を渡すのか、ひとつの場面で見てみよう。教師モデルが文章を書いていて、ある箇所で次に来るトークンを「A」と「B」のあいだで迷っている。トークンとは、モデルが文章を作るときに扱う最小単位で、おおよそ単語の断片だ。強化学習の前は、AとBをほぼ同じくらいに見ていた。強化学習とは、モデルが答えを何度も作ってみて、採点器が正解か不正解かを判定すると、うまくいった方へ少しずつ修正していく反復学習のことだ。このフィードバックを数千回まわすうちに、教師はAをだんだんと好むようになった。まさにこの「ほぼ互角だったのがAへ傾いた」という選好の移動だけを、生徒に渡す。教師の実力そのものではなく、学習によって変わった部分だけを移す — これが政策シフト蒸留(policy-shift distillation)だ。完成した答えをコピーするのではなく、変化の軌跡だけを移すので、教師が生徒より賢い必要さえない。
もっとも単純な方法は、学習の前と後、ふたつの終点だけを比べる。著者らはこれをDirect-OPDと呼ぶ。落とし穴は、終点が同じでも、そこへ至る道は違いうるという点にある。
もう一度Aを見てみよう。教師のAへの選好が学習を経て「低い → 中くらい → 高い」と上がっていったケースがある。最初から最後までひとつの方向へ着実に固まっていった変化だ。これとは逆に「低い → さらに低い → 高い」というケースもある。序盤はむしろAをさらに遠ざけておいて、後半で方向を切り替えて引き上げた変化だ。終点から見ればどちらも低いから高いへ、同じように「Aをより好むようになった」である。しかし二番目は、後半の変化が序盤の変化を打ち消した格好であり、その分だけ一貫性に欠ける変化だ。終点だけを見るDirect-OPDは、この二つを区別できない。
そこでWaypoint-OPDは、途中にもう一点を打つ。途中の記録ひとつで、教師がたどってきた全過程をすべて知ることはできない。それでも、序盤の区間と後半の区間が互いに打ち消し合う関係なのかそうでないのか、くらいは見分けられる。
途中の点の名前は経由地(waypoint)だ。肝心なのは、三つの時点が別々の三つのモデルではなく、同じ教師の三つの瞬間だという点だ。同じ強化学習のランから三度保存する。学習前(Initial、0ステップ)、途中(Waypoint、600ステップ)、学習終了(Final、1200ステップ)である。三つとも値を固定しておき、転送の過程でそれ以上学習させない。
手順はこうだ。生徒が文章を作っていてある箇所に差しかかると、自分がもっともらしいと見た次トークンの候補をいくつか絞り込む(実装では上位16個)。同じ教師の三つの瞬間が、この候補たちにそれぞれスコアをつける。すると候補ごとにスコアが三度打たれ、連続する二つの変化が姿を現す。InitialからWaypointへ向かう序盤の変化、WaypointからFinalへ向かう後半の変化だ。両者をつなげば、InitialからFinalまで、全体の終点変化になる。
ここでの方向の判断は、候補を一つひとつ別々に行うのではなく、ある箇所(生成位置)の上位16個の候補からなる変化全体をひとかたまりとして行う。その箇所の序盤の変化と後半の変化を、それぞれ候補にまたがるひとつのベクトルと見なし、二つのベクトルの方向がどれだけ重なるかを、生徒確率で重み付けしたコサイン類似度で測る。前の節で「Aへの選好がひとつの方向に固まったのか、途中で折れて戻ったのか」を見極めたことを、今度はその箇所の変化全体について一度測るわけだ。二つの区間が同じ方向に重なるほど、その箇所の終点変化を信頼できる信号と見なして比重を高める。重なりが弱いほど比重を下げ、方向が逆に転じたケース — コサイン類似度が0以下なら、変化の大きさが小さすぎて方向を信じがたい低ノルムの例外だけを除いて — まるごと切る。こうして出てきた値ひとつを、その箇所のすべての候補に同じように掛ける。方向がどれだけ一致するかが、その箇所の変化をどれだけ強く伝えるかを決めるわけだ。この比重調整の仕組みを、著者らはゲート(gate)と呼ぶ。
生徒に実際に伝えられるのは、InitialからFinalへ向かう終点変化だ。途中のWaypointは伝える対象ではなく、その終点変化が信頼できるかを見積もる証拠としてだけ使われる。真似すべき目標ではない、ということだ。
コストはほとんど増えない。Direct-OPDと比べて余計にかかるのは、固定された教師チェックポイントひとつと、スコア付け一回だけだ。教師を新たに学習させることも、採点器を呼び直すことも、学習パラメータを追加することもない。
この方法が実際に効くのかは、もっとも手強い相手であるDirect-OPDと真正面からぶつけてみないとわからない。終点を丸ごと渡す側と、その終点を方向一致でふるいにかけて渡す側の差だ。
| 生徒 | 数学の平均 (Direct-OPD → Waypoint) | コードの平均 (Direct-OPD → Waypoint) |
|---|---|---|
| Qwen3-8B | 53.96 → 56.14 (+2.18) | 50.59 → 53.25 (+2.66) |
| Qwen3-14B | 57.61 → 59.20 (+1.59) | 56.30 → 57.82 (+1.52) |
| Qwen3-30B-A3B | 55.96 → 57.85 (+1.89) | 56.35 → 57.54 (+1.19) |
生徒三種類を数学とコードの二領域で見たとき、六つの組み合わせすべてでWaypoint-OPDの領域平均が高かった。同じ変化でも、選んで渡す方が丸ごと渡すよりよいということだ。ただし、ここまでは領域平均の話だ。個別のベンチマークまですべて勝ったわけではない。
数学では21件のベンチマーク比較のうち19件でDirect-OPDを上回り、負けたのは二つだけだ(14BのHMMT 2025年11月 47.60→47.08、30B-A3BのHMMT 2026年2月 33.05→32.77)。コードでは15件の比較すべてに勝った。ただし個別の評価まで下りると、OPD²の方が高い箇所もあった(14BのLCB v5、30B-A3BのMBPP・MBPP+)。Waypoint-OPDが上回ったのは生徒ごとの平均である。
では、ふるい分けの何がこの差を生んだのか。著者らはゲートを取り外して中をのぞいてみた。
ゲートを1に固定して事実上オフにすると(No gate)、Qwen3-8Bの数学平均は56.14から53.50へ、2.64ポイント下がった。七つのベンチマークがすべて下がった。ここまでは予想どおりだ。ふるい分けをやめれば成績は下がる。
興味深いのは次だ。ゲートをオフにする代わりに、正しく計算したゲート値を、バッチ内のでたらめな位置に混ぜて貼りつけてみた(Shuffled gate)。結果は51.20で、ゲートをまるごとオフにしたときよりもさらに2.30ポイント低かった。ふるい分けの信号をきちんと作っておきながら、でたらめな位置に貼りつけると、いっそ選ばない方がマシだということだ。変化をふるい分けるだけでは足りず、その判断を正しい位置に貼りつけてはじめて値打ちが出る。
ただし、この数値をゲートひとつの手柄としてすべて片付けることはできない。転送の過程にはゲート以外にもいくつもの仕組みが同時にかかっているので、ゲートだけを取り外した比較では、ゲート本来の取り分を他の要素と完全に切り分けるのは難しい(詳細は付録)。もうひとつ、ゲートがふるいにかけるのは方向が一貫しているかであって、方向が正しいかではない。最初から最後まで一貫して誤った方向へ積み上がった変化なら、ゲートはそのまま通してしまう。
小さな教師が大きな生徒を、その教師より高いところまで引き上げたケースもあった。Final教師の数学平均は56.13だが、14B生徒は59.20、30B-A3B生徒は57.85で教師を超えた(8Bは56.14で事実上互角だった)。伝えられるものが教師の実力ではなく、選好の移動だからだ。大きな生徒はすでに自分の分の素地となる実力を持っており、その上に教師が強化学習で見つけ出した方向転換だけを載せれば、小さな教師の最終成績を超えることができる。この結果が物語るのは、転送のやり方が教師の天井に縛られないという点だけだ。なぜちょうどこれだけ超えるのか、どこまで超えられるのかは、この実験だけでは説明されない。
Qwen3-8Bの数学を同じ100アップデート区間で見ると、共有の初期値を除いた15件の比較のうち13件でWaypoint-OPDが高く、60ステップ以降は三つのベンチマークすべてで上回った。ただし「Direct-OPDより良い」と「教師より良い」はベンチマークごとに分かれた。HMMT 2025年11月では教師の基準線(40.83)を超えたが、二つのAIMEでは終点転送より良くても教師の基準線の下にとどまった。
適用するときは、平均の数字ひとつを過信しない方が安全だ。平均と個別のベンチマークを分けて見て、経由地の位置を変えたときに成績がぶれるかどうかも併せて確認するのがよい。
ONTLEは、顧客企業にAI PMを付けて反復業務を肩代わりするサービスだ。その仕事のひとつが、入ってきた依頼を分類し、優先順位をつけて振り分けることだ。ひとつの場面を最後まで追ってみよう。
ある顧客企業で、依頼分類モデルを強化学習で磨いてきて、その学習の途中のチェックポイントを保管している、としよう。この前提がなければ以下の話は成り立たない。さて、このモデルをより大きなモデルへ置き換えなければならない状況が来た。選択肢はふたつだ。新しいモデルで強化学習をゼロからまわし直すか、既存のモデルがコツをつかむ前と後の変化をすくい取って、新しいモデルへ流し込むか。
この論文が付け加えるくだりは、移すではなく選んで移すだ。熟練の過程には、序盤に一度試してみて引っ込めた癖も混ざっている。終点だけを見ると、その引っ込めかけた痕跡までコツと勘違いして渡してしまいかねない。途中の記録で、方向が固まった変化と、行ったり来たりして立ち消えた変化とを切り分ければ、渡すべきものだけを渡せる。
検討するなら、効用は三つで測る。置き換えたモデルの分類精度は上がったか。取りこぼしてはならない重要な依頼を、以前より取りこぼさずにすむか。この転送は、強化学習を新たにまわすコストより安かったか。同じ顧客企業内でのモデル置き換えは比較的近い応用だが、顧客企業どうしの移転や運用一般への拡張は、別途の検証が必要な仮説として置いておく。
この論文は途中のチェックポイントを一つ使う設定で設計されており、複数を同時に使う構成は扱っていません。したがって、もっと良くなると断言できる根拠はありません。
この論文の実験は数学とコードの二領域に限られています。それ以外の課題で同じ効果が出るかどうかは、検証の範囲外です。
論文はコードリポジトリのアドレス(github.com/hhhbxloveai/WaypointOPD)を提供しています。実装はverlフレームワークの上に載せ、dual-clipped PPOを使っており、学習・評価の詳細設定は付録B・Cに整理されていると述べています。
政策シフトを移そうという試みは、この論文が初めてではない。既存の手法に共通するのは、証拠を互いに異なるモデル一組の差から取り出すという点だ。学習を終えた教師の分布(モデルが各候補につける確率の全体の形)を生徒に真似させるか(標準OPD)、教師–ベースの変化と教師–生徒の信号が方向で一致したときだけアップデートを生かすか(OPD²)、学習前後の終点の差を改善分としてすくい取って転送する(Direct-OPD)。いずれにせよ、教師とベース、教師と生徒のように、異なる二つのモデルを突き合わせる。
Waypoint-OPDが違うのは、証拠の出どころだ。他のモデルと突き合わせる代わりに、教師自身が強化学習を経て残した連続する二つの変化を証拠とする。比較の軸が、モデルとモデルのあいだ(空間)ではなく、学習段階と段階のあいだ(時間)だ。方向一致でふるいにかけるという点でもっとも近いOPD²でさえ、比較の相手は別のモデルだ。また、途中のチェックポイントを使いながらも、それを真似すべき目標やカリキュラムとはしないという点で、途中のチェックポイントを学習目標に据える漸進蒸留の系統とも分かれる。
| 項目 | 設定 |
|---|---|
| 教師 | Qwen3-4B一モデルの強化学習ランから取った三つのチェックポイント(0・600・1200ステップ) |
| 生徒 | Qwen3-8B・14B・30B-A3B(密構造とMoE(必要な部分だけ選んで使う専門家混合構造)の両方を含む、教師とトークナイザ共有) |
| 数学 | DAPO-Math-17Kで転送、AIME・HMMT・AMCなど七つのベンチマークをmean@32で評価 |
| コード | Codeforcesベースで転送、MBPP系とLiveCodeBench v4・v5・v6をmean@8で評価 |
| 比較対象 | Base・標準OPD・OPD²・Direct-OPD(もっとも手強い相手はDirect-OPD) |
mean@32は問題ごとに32回生成した正答率の平均なので、運にぶれにくい実力を見る。
本文で、ゲート以外にもいくつもの仕組みが同時にかかっていると述べた、その仕組みたちだ。