小さな言語モデルに新しい能力を一つずつ足していくと、二つのことが同時に狂い始める。新しく教えたい能力はなかなか入らず(獲得の失敗)、もともと得意だったことは忘れる(破滅的忘却)。モデルが小さいほど、この綱引きは激しい。
LG AI・KAISTのSynthSelfは、ここで一見矛盾して見える手を打つ。小さなモデルが学ぶ正解例を、同系列の一つ上のサイズのモデルが、小さなモデルにとってなじみのある書き方で書き直してやる。小さなモデルはその成果物で学習するだけだ。なぜ正解をそのまま渡さず、わざわざ書き直すのか。そしてその作業を、なぜ小さなモデル本人ではなく大きなモデルに任せるのか。この二つの問いが本稿の骨格だ。
学習が終わったモデルに能力を足し続ける作業を継続的ポストトレーニング(continual post-training)と呼ぶ。業種ごとにモデルをなじませたり、人間のように少しずつ生涯学び続けさせたりしようとする流れだ。障害は、先に述べた獲得と維持が互いを引っ張り合う点にある。とくに教師あり学習(SFT、正解をそのまま写させる方式)で新しいデータを与えると、もともとの性能が大きく崩れる破滅的忘却が起きやすい。長く報告されてきた現象だ。
SDFT(自己蒸留ファインチューニング)は、学習目標を変えてこの問題をかわした。正解をそのままではなく、モデルが自分の書き方で書き直した版を目標に学習させる。中身はそのままに、表現だけをモデルになじみのある枠に収める。こうすると忘却が減り、実際にSDFTは既存手法を獲得・維持の両面で上回った。
落とし穴は前提にある。SDFTが効くには、モデルが文脈中の例を見て学び(文脈内学習)、指示に従う(指示追従)能力が十分でなければならない。大きなモデルは両方できるが、小さなモデルは両方弱い。だから小さなモデルに直接書き直させると品質が崩れる。論文が測ってみると、小さなモデルが書き直したデータは平均精度が60%まで落ち、推論過程(CoT、答えに至る段階的な推論)がまるごと消えることもあった(ツール使用ドメインで8.2%)。低遅延・オンデバイス用途でこそ最も重宝する小型モデルで、まさにこの手法が空回りするわけだ。
SynthSelfの解法は、「書き直し」を小さなモデルの手から外す。
1段階目、大きなモデルが書き直す。書き直しを生徒本人ではなく、同系列のすぐ上のサイズのモデルに任せる。論文はこのモデルをアライナー(aligner)と呼ぶ。まだ文章が未熟な新人に自分の文章を直せと言う代わりに、様式が同じすぐ上の先輩が、中身はそのままに文章だけ整えてやる構図だ。先輩が遠すぎると — 系列の違う巨大モデルだと — 書き癖が違うため、生徒にはかえってなじみのないものになる。だから同系列から最小限に大きなモデルを選ぶ。
2段階目、正解でふるい分ける。データを学習の最中に即席で作るのではなく、あらかじめオフラインで作っておく。先に作っておけば、書き直しが正解を壊していないかを検査し、通ったものだけを残せる(棄却サンプリング、rejection sampling)。小さなモデルは品質の低い学習素材にとりわけ弱いので、このフィルタが決定的だ。
3段階目、ふるいにかけたデータで小さなモデルを学習させる。
結果から見よう。生徒3サイズ(0.5B・1.5B・3B、Bはパラメータ10億個を表す単位)の平均だ。
| 指標(平均) | ベースモデル | SFT | SynthSelf |
|---|---|---|---|
| 獲得(新能力、4タスク) | 34.2 | 52.2 | 56.4 |
| 維持(既存能力、14タスク) | 42.8 | 40.5 | 41.7~41.8 |
新しい能力が最も伸びた。56.4でSFT(52.2)も、手をつける前(34.2)も上回る。維持は41.7~41.8で、SFT(40.5)よりは高いが、学習前の42.8には届かない。忘却を減らしただけで、なくしたわけではない。タイトルの「忘却の緩和」はちょうどこの程度だ。
核心は一つだ。書き直した結果が、生徒になじみのある表現の範囲内にとどまるということ。モデルごとに好んで使う表現や解き方があり、論文はこれを分布(distribution)と呼び、その範囲内にとどまる状態をイン・ディストリビューション(in-distribution)と呼ぶ。
例が一つあると手に取るように分かる。「2足す3は?」に対する三つの答えを並べて見よう。
書き直しでは正解の5も、足すという解き方もそのままだ。変わったのはそれを収める形だけ。生徒が普段使っていた「→ 合計は5」の形式に移された。保たれるのは正解と解き方の事実、変わるのは表現の枠だ。
なぜこれが既存の能力をあまり揺るがさないのか。教科書をそのまま学習させると、生徒は新しい知識だけでなく、なじみのない回答形式まで一度に身につけなければならない。この形式への適応がおまけに乗ることで、もともと得意だったことを引き下げる — と説明できる。ただしこれは論文が観察した相関を解きほぐした解釈であって、証明された因果ではない。論文が実際に測ったのは、学習の前後で分布が大きくずれるほど忘却も獲得も悪かったという相関関係だ。
この相関を二つの実験が支える。一つ、データの出所と種類をあれこれ変えても、ずれの度合いが大きいほど忘却が大きくなる流れが一貫していた。二つ、コーパス一つ(OpenR1-Math-220k)を固定し、目標テキストだけを三つの形に変えた。推論をすべて含んだ原本(大きくずれる)、最終的な解き方だけ残したもの(中間)、モデルが自分で解いて正解で検証したもの(ずれが小さい)。ずれが小さい方ほど数学の獲得は上がり、コーディングなど別領域の忘却は減った。
ここで、大きなモデルを「借りて」うまくいっただけではないか、という疑いが自然に湧く。論文はこれを確かめようと対照群を置いた。同じアライナーを使うが書き直しはさせず、元の質問にただ答えさせる蒸留(Off-PD・On-PD)だ。突き合わせてみると、SynthSelfが獲得を5.7~16.9%p多く上げ、維持は三手法が似ていた。ただしこの差を「生徒の書き方で書き直した効果」だけを切り出した結果と読むのは行き過ぎだ。決定的な違いは入力にある — SynthSelfのアライナーは正解例を受け取って書き直すが、対照群は元の質問だけを受け取って答える。論文はこの獲得の向上を、正解例が知識を一緒に注入した効果だと説明し、三手法とも既存の分布は同じように維持すると述べている。向上の出所は書き直しそのものというより、正解例による知識注入の側というわけだ。もう一つ。より強いが系列の遠いアライナー(Qwen3.5-27B、Gemma-4-31B)は、データをより正確に作り出したにもかかわらず、獲得は同じか低かった。アライナーの強さよりも、生徒との近さの方が結果をよく説明した。
選ぶ基準は一文で示される。生徒が「これ、自分が書いたみたいだ」と感じるほど近く、かつ正解をただ写すよりも良い指導を与えられるモデル。近さと指導品質を同時に満たす地点が、「同系列で一つ上」のモデルだ。実際にQwen2.5系列の7B・14B・32Bが生徒に最も近く、コストまで考えて最終的な実験では7B(SS-1)と14B(SS-2)を使った。
近さを論文がどんな数値で測るのか、実験をどう組んだのかは、いちばん下の技術補足にまとめた。成果を先に理解してから読んでも遅くはない。
この手法で最も興味深い緊張は、2段階目のフィルタにある。アライナーが誤って書き直したサンプルをふるい落とせば、学習データの品質が上がる。実際、棄却サンプリングを外すと性能が下がり、ふるいにかけてデータが減っても(ツール使用基準で17.1%減)、SFTより少ない例で獲得を平均4.2%p多く上げた。利得がデータ量ではなく質から来ているという信号だ。
ところが同じ仕掛けが反対側を削る。「アライナーが誤って書いたものを捨てる」という言葉は、「アライナーが弱い領域のデータがまるごと抜ける」という言葉でもある。アライナーが不得手な主題ほど、その主題のサンプルが多く脱落し、結局、生徒はその主題を学び足りなくなる。品質を守ろうとするフィルタが、学習範囲を静かに狭めるのだ。だからフィルタの通過率だけを見るのではなく、どんなタイプのサンプルが落ちるのかをタイプ別に見なければならない。
医学の結果が、この緊張のもう一方の端を見せてくれる。医学ではSynthSelfは対照群に比べて改善が小さかった。著者は、アライナーがその知識をすでにほぼすべて知っていて、書き直しがそれ以上付け足せなかったと見る。アライナーがまったく知らなければそのデータはフィルタで抜け、よく知りすぎていれば書き直しても付け足すものがない。ほどよい隙間があるときに値が最も大きくなるという話で、ここから実務向けの仮説が一つ出てくる — アライナーがその知識を中途半端に知っているときに、この手法は最も役立ちうる。ただし一つのドメインの結果から引き出した推測であって、導入条件として固まったものではない。
前提も明確だ。より大きな同系列のアライナーがなければならない。著者らは、Qwen2.5・Qwen3.5・OLMo 2・Llama 3・Gemma 4のように主要なオープンウェイト系列の大半がサイズのラインナップを備えているので、現実的な制約は小さいと見る。系列外のモデルを生徒の書き方に合わせてなじませる方向は、今後の課題として残した。
タイトルは「継続的に」教えると言っているが、実験が実際に見せたのは一度教えたときの結果だ。データを作るときに大きなアライナーを一度は回さなければならないが、業務が増えるたびにこの過程を繰り返すと既存の能力がどう変わるのかは、この論文は答えていない。獲得スコアだけを追えば、繰り返しのなかで静かに積もる忘却を見逃す。「教え続けながら忘却は減らす」という約束は一ラウンドでは確認されたが、何ラウンドも経ても持ちこたえるのかは、まだ開かれた問いだ。
ONTLEは小企業の反復業務を小さなモデルで回す仕事をしていて、その中心にツール呼び出し(内部API照会・予約・発注のような決まった動作を呼ぶこと)がある。だからこの論文は見世物ではなく、そのまま試験台に載せる題材だ。
場面を一つ想定しよう。ある取引先が「来週の発注を今週に前倒ししてほしい」と要請する。モデルはこの言葉を理解し、発注変更の機能を正確な引数で呼ばなければならない。こうしたツール呼び出しに特化した低遅延モデルを作ろうと、自社データでいきなりSFTをすると、発注処理は身につくが一般会話や推論の能力が削れ、少し範囲を外れた要請に揺らぐ。かといって要請のたびに巨大なクラウドモデルを呼べば、低遅延という理由そのものが消える。
SynthSelfはこの間を狙う。自社データをそのまま与える代わりに、同系列で一つ上のモデル(デプロイモデルが1.5Bなら7Bほど)に「デプロイモデルになじんだ方式で、正解はそのまま」書き直させ、正解検証を通ったものだけを学習させる。検証はこう組む。
この設計が成り立つかは三つにかかっている。同系列で一つ上のモデルがあるか(なければ成立しない)。正解の維持を自動で検査できる業務か — 発注呼び出しは正しかったかを機械で確認できるのでよく合うが、相談・要約・作文のように人間の判断が要る仕事は「正解の維持」の定義からして立てなければならない。データ生成用の大きなモデル呼び出しのコストを予算に入れたか(サービングは小さなモデルが担っても、学習段階でアライナー推論が一度かかる)。
近さを測る二つの指標がある。NLLは生徒がある文章をどれだけ自然に続けて書きそうかを測り、低いほど近い。KLは二つの生成方式がどれだけ開いているかを測り、小さいほど近い。Qwen2.5系列のアライナーは平均KLが最も低く、正解だけを写す基準線(ゴールドSFT)よりも生徒に近かった。プロンプトをそろえたSDFTと比べても、SynthSelfは獲得18.96%p、維持1.68%p上回った。計算も節約した。アライメント計算は69.9%、データ生成推論のコストは62.9~76.9% FLOPs減った(集計の枠によって範囲が異なる)。
比較は二つの軸で突き合わせた。以下は方法論の基準線だ。ここでオンポリシーとは、学習の最中にモデルが自分で作ったデータでその場で学ぶ方式を指す。
| 手法 | 学習目標 | 小さなモデルでの弱点 |
|---|---|---|
| SFT | 正解をそのまま写す | 忘却が激しい |
| DFT・ASFT | 目標の数式をずらしてオンポリシー効果を模倣(ASFTがずれをより減らす) | 獲得がSFTすら超えない(DFTは医学で大きく下落) |
| SDFT | モデルが自分で書き直す | 書き直しの品質が低くなる |
| Off-PD・On-PD | 同じ大きなアライナーが元の質問に答える(書き直しなし) | 正解例を入力として受け取らず知識注入が抜ける |
| SynthSelf | 同系列の大きなアライナーが生徒の書き方で書き直す | 大きなアライナーが一度必要 |
| 区分 | 内容 |
|---|---|
| 生徒(ベース)モデル | Qwen2.5-Instruct 0.5B · 1.5B · 3B |
| アライナー | Qwen2.5-7B(SS-1) · 14B(SS-2) |
| 獲得評価(4) | 科学(SciKnowEval Chemistry L-3) · ツール使用(ToolAlpaca) · 医学(MedMCQA) · 科学混合 |
| 維持評価(14) | 指示追従 · 常識 · 知識 · コード · 数学全般 |
| 分布-忘却 相関実験 | 23個の数学データセットを2.5M完成トークンでQwen2.5-3B-Instruct学習 → 無関係な5つのベンチマーク(GPQA-Diamond・ARC-C・MMLU-Pro・HumanEval・MBPP)の下落を忘却として測定 |
ベースモデルに最新版ではなく古いQwen2.5系列を使ったのは、データ汚染を減らして「本当に新しいデータ」で測るためで、医学評価をMedMCQAに変えたのは、LLMが採点する評価を避けて再現性を高めるための選択だ。実験がQwen2.5系列と0.5~3Bに縛られているため、別の系列やより大きな生徒での挙動は、これだけでは断定しにくい。
標準的な蒸留は、大きな教師モデルの出力を生徒がそのまま真似るようにします。SynthSelfは教師を模倣するのが目的ではなく、正解はそのままに、生徒が受け入れやすい形に変えるのが目的です。写す向きが逆というわけです。
ありません。比較対象のSDFTが、フォーマットトークンを捨てるskip-token設定を別途最適化してはじめて公正な強い基準線になったのとは対照的です。
はい。最も確率の高いトークンだけを選ぶ貪欲デコーディング(greedy decoding)を使い、同じサンプルを書き直しても結果が毎回同じになるよう固定します。