AIが複雑な金融商品の見積もりを作り、顧客の問い合わせに合った約款を探してくれるサービスを作るとしよう。プロトタイプは一番賢い大型モデルで組んだ。ところがいざ毎日何万件も回そうとすると、運用コストが到底見合わない。
こういうときに使う手段が蒸留(distillation)だ。高価な大型モデル(教師)の判断を、運用コストの安い小型モデル(生徒)に写し込む技術である。AIプロジェクトでコストを最も大きく削る方法の一つだ。
厄介になるのは、二つのモデルが別々の会社系列である場合だ。文章を刻む方式、つまりトークナイザー(文章をトークン単位に分割する仕組み)からして異なると、知識を移すのが難しくなる。そのためエンジニアたちは長らく一つの常識に従ってきた。比較できる地点をできるだけ多く確保するほど学習がうまくいく、というものだ。
アリババの研究陣は、この常識を真っ向から覆した。比較範囲を広げる追加の指導を入れたところ、テストした18設定のすべてで精度が下がったのだ。たくさん比較できるということと、その比較が学習に実際に役立つかどうかは、まったく別の問題だった。
二つのモデルが同じ文章を受け取っても、刻む位置が違う。あるモデルは「こんにちは」を一つの塊と見なし、別のモデルは「こんに」と「ちは」に切る。切る位置が同じなら、単語対単語でそのまま突き合わせられる。違えば「フレーズ全体」を束ねてようやく比較できる。同じ文章でも、次に来るトークンの確率が互いに異なる語彙集の上に乗るのも、同じ理由だ。
では、なぜこの論文はよりによって「OPD」という方式を扱うのか。最近の蒸留で最も注目されている流れだからだ。OPD(On-Policy Distillation、オンポリシー蒸留)は、教師があらかじめ作った正解を生徒に写させる代わりに、生徒に自分で文章を生成させたうえで、その経路の上で手直ししてやる方式だ。道に迷うたびに教師が横から「こっちだよ」と手取り足取り指導してくれるようなものである。生徒が実際に踏む道をたどって教えるので性能がよく、近ごろの蒸留研究はこの方式に集まりつつある。この論文はまさにこのOPDの状況を掘り下げる(論文はOPDを強化学習の一方式としても解釈している)。
そのため、クロストークナイザーOPDには二つの合わせ込み作業が要る。一つは文章をどこで切るかを合わせる作業、もう一つは語彙集の異なる二つの確率分布をどう突き合わせるかを決める作業だ。これまでの研究は一方向に流れてきた。切る位置が違うために捨てられていた比較地点を、どうにかしてもっと多く復活させよう、というものである。やり方はまちまちだったが、前提は同じだった。多いほどよい、と。
論文はまずトークン整列を二種類に分ける。生徒トークン一つと教師トークン一つがぴったり同じ区間を覆えば厳密グループだ。同じ区間を作ろうとしてどちらか一方がトークンを複数使わなければならない場合は不一致グループである。既存研究が復活させようと苦心してきたのが、まさにこの不一致グループ、つまり捨てられていた部分だ。
ところが、捨てられていた部分は思ったほど重要ではなかった。
二つのモデルの語彙集が重なる比率は39.49〜64.87%にとどまる。帳簿上は半分前後しか重ならない計算だ。しかし生徒が実際に生成した文章を見ると話は変わる。その文章で厳密グループが覆う比率は85.57〜96.98%だった。刻む位置は語彙集ごとに違っても、生徒が実際に使う文章ではほとんどの位置が教師ときれいに噛み合う、という意味である。帳簿上の重なりと、実際の動作上の整列は、まったく別の数字だった。
確率分布も同様だった。厳密に整列した位置において、二つのモデルが共有する語彙が教師確率の99%台、生徒確率の99%台をほぼすべて押さえていた。さらに絞ってみよう。生徒基準で確率が最も高い上位16個の共有語彙だけを見ても、その中に教師確率の93.54%、生徒確率の94.55%以上が入っていた。16個を128個まで増やしても、教師側は多くて3.44%p、生徒側は2.70%pしか追加で加わらない。広げるほど戻ってくるものが急激に減ったのである。
ここで目を引く箇所がある。この上位16個を生徒分布だけを見て選んだのに、教師の考えのほとんどがその中に入っていた。生徒が「これらの単語が有力だ」と挙げた16個だけを見ても、教師が見ている場所とほぼ重なる、という話だ。だから生徒の予測が教師の意図から大きく外れないよう引き留める仕組み(reverse KL、逆方向KL)も、この16個の上だけで回しても十分だった。共有語彙をすべて使うのに匹敵するほど十分だった — 論文が示したのは、こう絞っても性能向上分の96%以上を維持したというところまでであって、学習信号そのものが同等だと立証したわけではない。
では実験を見よう。研究陣は別々の系列の教師と生徒を三組組んだ。Qwen→Llama、Granite→Phi、Granite→Qwenである。三つとも会社が異なるモデルなので、トークナイザーがすべて食い違う。生徒側には、まだ何の手も加えていない素の生徒と、すでに一度整えられた(指示チューニングされた)生徒の両方を入れた。特定の生徒にだけ通じる結論ではないことを示すための設計だ。課題は正解がはっきりした数学・コード推論を選んだ。採点がきれいでないと、生徒が踏む経路の整列構造を精密に測れないからである。
表を読む前に、数字の意味から押さえよう。以下の値は、生徒に実際の課題を解かせてつけた平均スコア(%)だ。高いほどよい。一番上の行「蒸留前」は、蒸留をする前、小型モデルの出発点のスコアである。
| 条件 | Qwen→Llama | Granite→Phi | Granite→Qwen |
|---|---|---|---|
| 蒸留前 | 26.96 | 36.55 | 29.56 |
| 全共有語彙 | 32.86 | 42.49 | 47.35 |
| 上位16個 | 32.64 | 42.26 | 47.06 |
蒸留が三組すべての出発点を押し上げたのは予想どおりだ。注目すべきは二つある。
第一に、圧縮しても性能がほぼそのままだ。上位16個だけで蒸留しても、全語彙を使ったときに得られる性能向上分(蒸留前比)の96%以上を確保した。16個を128個に増やしても、一貫した追加の利得はなかった。研究陣が打ち出したこの圧縮方式は、先行して出ていた四つの競合手法をすべて上回った。そのうち上位16個の設定は、最も強い競合手法よりも平均スコアで0.51〜1.05%p高かった。
第二に、範囲を広げるとかえって下がった。研究陣は厳密グループの指導はそのままに、不一致グループを復活させる仕組みをもう一つ重ねた。切る位置が違う区間でも、区間全体の確率を互いに近づけてやる仕組みだ(span MSE損失)。こうすると捨てられていた区間まですべて信号が生まれ、比較範囲が構造的に100%埋まる。常識どおりなら、よくなるはずだ。
その仕組みの重みを0.25からずっと上げてみたところ(0.25・0.5・0.75・1.0・1.25・1.5)、三組とも重みが0のとき、つまり追加の指導をまったく入れなかったときに最高点をつけた。正の重みを与えた18設定は、一つ残らず自分の基準線より0.27〜1.20%p低かった。範囲を100%埋めたのに成績が下がったのである。
研究陣はグラディエント、つまり学習がモデルを押し進める方向を覗き込んだ。信号がどちらを指しているか(方向)、そしてどれだけ強く押すか(大きさ)を合わせて見た。
助言者が二人いると思えば分かりやすい。一人(厳密グループの指導)は絶えず北を指す。正しい方向だ。もう一人(追加で入れた指導)はしきりに東や西を指す。しかも学習が進むほど、この二人目の助言者の声がだんだん大きくなる。
実際の学習過程を覗いてみると、本当に二人の助言者が争っていた。厳密グループだけで学習した地点で測ると、追加の指導が指す方向は厳密な指導とほぼ直角に食い違うか(二つの方向のコサイン値が0付近)、ひどいときは正反対を向いていた。そして二つの信号の大きさの比は、学習後半に行くほど大きくなった。食い違った助言者が、ますます強く押したのである。
対照の基準も用意した。北を指す信頼できる信号ですら、二つに割って各半分の方向を測ると完璧に同じにはならない。同じ目的を分けても生じる自然な食い違いだ。ところが追加の指導の食い違いは、どの地点でもこの自然な食い違いよりも大きかった。方向はずれているのに力は次第に強くなる信号。たくさん比較させたその信号が、肝心の学習にはノイズか、むしろ逆向きに引っ張る力だったのである。
研究陣自身が引く線から見よう。グラディエント診断は「説明に役立ちうる」程度に慎重に表現されている。方向が食い違い、力が強くなる現象が精度低下と同時に現れることを示しただけで、それが原因だと証明したわけではない。追加の指導の実装も、区間確率にMSEをかける一種類の形だけだ。不一致グループを扱う別の方式なら結果が変わる余地が、研究陣の論理の内にも開かれている。
課題が数学・コードに偏っている点もはっきりさせておこう。正解の採点ができる領域なので信号がくっきりしている。トーン・スタイル・長い対話のように正解のぼやけた課題でも圧縮指導が同じく十分なのかは、この実験の外の話だ。付録では235Bの教師から8Bの生徒へ、そしてALFWorld(行動を実行するエージェント型課題)へ範囲を広げても上位16個の方式が最も高かったと報告しているが、自由生成全般へ広げるにはもっと検証が要る。上位16個の「16」という数字も、この三組、この課題で出た経験値だ。語彙の重なりや確率の偏りが大きく異なる組み合わせなら、それぞれ測り直さなければならない。
一つの場面に絞ってみよう。先ほど持ち出したあの金融見積もりサービスだ。大型モデルで見積もり算出の段階別推論ロジックを検証しておき、これから運用コストの低い小型モデルへ移そうとしている。ところが二つのモデルが別系列なので、トークナイザーが異なる。
常識に従うなら、設計案には「トークナイザーが違うのだから、できるだけ多くのトークンを整列・復元する重いパイプラインを敷こう」が上がる。我々ならその前提から揺さぶる。まず測るべきは、語彙集が何%重なるかではない。この見積もり推論課題の実際の生成経路で、切る位置がどれだけ噛み合い、確率が共有語彙にどれだけ偏っているかだ。推論課題のようにその偏りが高く出るなら、高価な完全復元パイプラインの代わりに「厳密な位置で上位の少数候補だけを使う圧縮蒸留」を第一案に上げる。
線を一つははっきり引こう。論文がデータで示したのは「推論課題で復元範囲を広げる追加の指導が精度を削りうる」というところまでだ。これを「見積もりの運用コストがいくら減る」に置き換えるのは、実測ではなく実務的な推論である。ただし方向ははっきりしている。重いパイプラインを既定値として敷く前に、「作業前に小標本で切る位置と確率の偏りをまず測る」というチェックポイントを一つ挟むほうが、広く敷いてあとで戻すより安い。測定結果が推論ほどくっきりしなければ、そのとき、より広い指導を検討すればよい。
だからこの研究が現場に残す教訓は、天秤の重りの位置を変えよ、ということだ。これからの重りは「どれだけ多く比較するか(範囲、coverage)」ではなく、「その比較が学習に信頼できるか(信頼度、reliability)」へ移していくべきである。判断を測定の後ろへ回すこと、それが肝心だ。
学習中の各ステップで、すぐ手元に握れるのが生徒の予測だからです。生徒が挙げた上位16個の中に教師の確率のほとんどがすでに入っている、という観察が前提になります。ですから教師側を基準に候補を別途選び出す手間をかけなくてよく、計算もその分だけ単純になります。
この論文が示したのは「区間確率をMSEで合わせる方式」が有害だったというところまでです。不一致グループそのものが役に立たない、という証明ではありません。研究陣も、別の方式なら結果が変わる余地を開いています。ただ推論課題では、生徒が実際に踏む経路のほとんどがすでに厳密に整列しており、信頼できる信号がその位置ですでに十分でした。不一致グループをわざわざ復活させる理由がその分だけ弱かったのです(ただし、これは不一致区間の確率質量が小さいという意味ではありません — 論文が測定した確率の偏りは、あくまで厳密に整列した位置で共有語彙に偏った度合いです)。
二つは出発状態が違います。まだ手をつけていないモデルと、すでに整えられたモデルで同じ傾向が出てこそ、「生徒タイプの特性ではなく、整列構造そのものの性質だ」と言えます。三組のうちGranite→Qwenが素の生徒の組み合わせですが、ここでも同じパターンが出ました。