複数のエキスパート AI を一つに統合するとき、これまでは「どのエキスパートがこの問題を教えるか」だけを決めていた。本論文は、そこに「そのエキスパートのフィードバックをどれだけ強く反映するか」という二つ目のつまみが抜けていたこと、そしてそのつまみ一つを合わせただけで性能が上がったことを示す。著者らは Qwen3.5 の三つのサイズ(9B・4B・2B)で既存手法が最良の単一エキスパートにすら及ばないことを確認し、ドメインごとにフィードバックの強さを正規化する DN-MOPD を提案した。
強化学習(RL)で言語モデルを後処理すると、一つの分野だけを深く掘るエキスパートができあがる。数学は正解の検証で、コードは実行結果で、指示追従(instruction following、以下 IF)は制約条件のチェックで、それぞれ別々のパイプラインで訓練されるからだ。問題は、ユーザーが求めているのは数学もコードも指示追従もすべてこなせる「一つのモデル」だという点にある。エキスパートを三つ別々に用意して状況ごとに差し替えるわけにはいかないので、これらを一つに統合する必要がある。
既存の解法がマルチ教師オンポリシー蒸留(Multi-teacher On-Policy Distillation、MOPD)だ。やり方はこうだ。生徒モデルがまず自分で答えを書く。その問題が数学なら数学エキスパートが、コードならコードエキスパートが、生徒の書いた答えのトークン一つひとつに「自分ならこの単語をこれくらいの確率で使う」という信号を与える。この信号(教師と生徒の対数確率の差)が、生徒をどの方向へ押すべきかを教えてくれる。
ここに落とし穴がある。ルーティング(routing)のルールは「誰が教えるか」を決めるだけで、その教師のフィードバックが共有された生徒のパラメータを「どれだけ強く」動かすかは決めない。三つのエキスパートはそれぞれ異なる RL パイプラインから生まれたのでフィードバックの大きさそのものがバラバラなのに、それをそのまま足し合わせてしまっていたのだ。
たとえるなら、三人の家庭教師が一人の生徒を代わる代わる教えているのだが、声の大きさが違う。数学の先生は静かに語りかけ、国語(指示追従)の先生は大声でまくし立てる。生徒からすると、内容の正しさとは無関係に声の大きいほうへとつい引っ張られてしまう。実際、著者らの測定では IF エキスパートのフィードバックは最初の訓練バッチで全体の信号より 2.3〜4.4 倍も広く散らばっており、数学のフィードバックはその半分程度しかなかった。その結果、初期の 4B 生徒では均等な重みで足し合わせても IF の損失が勾配(gradient)全体の 94% を占めていた。
結果は予想どおり芳しくなかった。ラベルルーティングの MOPD は三つのサイズのいずれでも最も強い単一教師の生徒を上回れず、数学エキスパートの強みをほとんど伝えられなかった。8K の評価予算では数学の利得のうち 14〜32% しか残らず、16K では初期状態と比べた利得が完全に消えてしまった。
DN-MOPD(Domain-Normalized MOPD)の処方はシンプルだ。大きな声は抑え、小さな声は上げて、すべての先生の声の大きさを部屋全体の平均にそろえる。
具体的には、バッチごとに各ドメインのフィードバックの散らばり具合(標準偏差)を測り、「全体の平均の散らばり ÷ そのドメインの散らばり」を倍率として掛ける。散らばりの小さいドメイン(数学)は増幅され、散らばりの大きいドメイン(IF)は減衰される。この倍率には上限と下限(bound)が設けられており、極端な場合でも調整が行き過ぎないようになっている。
この設計で注目すべき点が二つある。第一に、符号(sign)には手を触れない。あるトークンを「推奨」していた信号は強さが変わるだけで依然として推奨のままであり、「抑制」していた信号も方向はそのままだ。正の倍率だけを掛けるからだ。第二に、ルーティングには手をつけない。誰が教えるか、ドメインごとに何問を受け持つかはそのままにして、強さだけを調整する。MOPD はすべての倍率が 1 になった特殊なケースにすぎない。
コストがほとんどかからない点が、このアプローチの巧妙なところだ。教師モデルを追加で呼び出すことも、学習済みのルーターを新たに作ることもない。すでにロールアウトの採点過程で得られた対数比(log ratio)を再利用して標準偏差をいくつか計算し、既存の信号に掛けるだけでよい。演算が一行増えるだけだ。
実際の Qwen3.5 実験でこのルールが導き出した倍率を見ると、処方の性格がよくわかる。数学のフィードバックはすべてのサイズでおよそ 1.5〜2.1 倍に増幅され、コードは 4B・2B でほぼ 1 近辺とほとんどそのままだった。一方 IF の倍率はほとんどのバッチで下限値の 0.25 に張り付いていた。つまり IF に対しては正規化というより上下限による制限(クリッピング)が働いた形だ。
DN-MOPD は六つの公開ベンチマークの平均スコアを、すべてのサイズと二つの評価予算のいずれでも MOPD より引き上げた。向上幅は 16K 予算で 1.17〜2.36%p、8K 予算で 2.47〜3.08%p だった。三つの生徒シードと二通りの回答長制限でも利得は維持され、対応のある(ペアリングした)95% 信頼区間はすべて 0 を上回った。
表からいくつか挙げると、9B では六課題の Total がラベルルーティング MOPD の 58.4 から DN-MOPD の 59.6 へ上がった。4B は 50.3 から 52.5 へ、2B は 26.6 から 29.0 へ上がった(各サイズごとに独立して訓練されたエキスパートプールを基準とする)。MOPD が最も大きく取りこぼしていた数学で利得が最も大きく回復した点が肝心だ。たとえば 9B の AIME25/AIME26 のスコアはラベルルーティングの 55.3/63.2 から DN-MOPD の 58.9/67.7 へ上がり、数学エキスパートの水準に迫った。
ここで著者らが添えた統制実験(アブレーション)が結論を鋭くする。重みを固定した対照群を回してみると、利得の大半は「数学を増幅したこと」ではなく「指示追従を抑えたこと」から生じていた。大きな声を下げることのほうが、小さな声を上げることよりも決定的だったという意味だ。さらに、DN-MOPD が測定した倍率に近い固定重みを使えば、9B・4B では同程度の性能が出た。ただし DN-MOPD はその重みをバッチ統計から自動的に得るため、サイズごとに重みを手で探索する必要がないという実用上の利点がある。
一文でまとめると、エキスパートを統合するときは「誰が教えるか」だけでなく「そのフィードバックをどれだけ強く反映するか」まで決めなければならない、ということだ。
正直に指摘しておくべき点がある。第一に、この研究は Qwen3.5 系列の特定のエキスパートプールから得られた結果だ。アブストラクトと本文の抜粋は、他のモデル系列や任意のドメインの組み合わせでも同じ不均衡が現れることを保証していない(過去の Qwen3 の結果は教師プールもプロトコルも異なるため、別途付録で扱うとだけ述べている)。
第二に、ドメインが数学・コード・指示追従の三つに限られている。ドメインがはるかに増えたり境界が曖昧になったりしたとき、バッチごとの標準偏差の測定がどれほど安定するかは、この抜粋だけでは分からない。
第三に、著者ら自身が明記している限界として、標準偏差をそろえたからといってバッチ損失の規模が固定されるわけでも、ドメインごとの勾配の大きさが完全に等しくなるわけでもない。IF の倍率がほとんど下限の 0.25 に張り付いているという事実は、この手法が IF を「正規化」したというより「制限」したという見方に近い。完全な均等化は、むしろクリッピングによって阻まれる。
第四に、単一教師の生徒を上回ったとはいえ、その信頼区間の一部は 0 を含んでいる。つまり、統合が常に単一エキスパートより確実に優れていると断じるのは早計だ。
ONTLE は AI プロジェクトマネージャーを派遣するサービスだ。一つの PM エージェントがスケジュール管理、ドキュメント作成、データ照会、コミュニケーションといった複数の能力を同時に備えなければならないという点で、本論文の問題意識は他人事ではない。
とりわけ、複数の特化モデルや特化プロンプトを一つのエージェントに統合するとき、「どの状況でどの専門性を呼び出すか」(ルーティング)ばかりに気を取られがちだ。本研究はその次の問いを投げかける。異なるソースから来た信号を足し合わせるとき、各信号の「強さ」がバラバラだと、声の大きいほうが静かに学習の方向を支配してしまう、というのだ。質の高い信号ではなく、単に分散の大きい信号が勝ってしまう状況は、複数のツール・エキスパート・フィードバックソースを混ぜるどんなシステムでも再現しうる。
RAG やマルチエージェントのアンサンブルを運用する立場からの実用的な教訓はこうだ。複数の出所からの信号(検索スコア、ツールの応答、評価者のフィードバック)を加重合算するときは、各出所の値の分布(散らばり)を実際に測ってみるべきだ。一見すると公平に足しているように見えても、分散の違いのせいで片方が結果を飲み込んでいることがある。DN-MOPD のようにバッチ統計で自動補正する方式は、出所が増えるたびに重みを手でチューニングする手間を省いてくれるという点で参考になる。ただし本論文の数値はあくまで特定の LLM 蒸留セッティングでの結果なので、自分たちのパイプラインにそのまま持ち込む前に、自分たちのデータで分散を測り直す検証が先だ。
MOPD はどの教師が教えるか(ルーティング)だけを決めますが、DN-MOPD はそこに、各教師のフィードバックの強さをドメインごとの散らばり(標準偏差)に合わせて再調整する演算を一行加えたものです。すべての倍率が 1 なら DN-MOPD は MOPD と同じになります。
固定重みの統制実験の結果、利得の大半は数学のフィードバックを増幅したことではなく、指示追従(IF)のフィードバックを抑えたことから生じていました。実際、IF の倍率はほとんどのバッチで下限値の 0.25 にとどまっていました。
ほとんどかかりません。追加の教師モデルや教師の呼び出し、学習済みのルーターは必要なく、すでにロールアウトの採点で得られた対数比を再利用して標準偏差をいくつか計算し、既存の信号に掛けるだけです。
Qwen3.5 の 9B・4B・2B の三つのサイズで、各サイズごとに独立して訓練されたエキスパートプールを用い、六つの公開ベンチマーク(AIME25/26、LiveCodeBench v5/v6、IFEval/IFBench)、三つの生徒シード、8K・16K の二つの評価予算で確認されました。他のモデル系列やより多くのドメインへの一般化は、本論文の範囲外です。