強化学習(RL、モデルが自分で答えを出してみて、うまくいった方向へ学習していく手法)で LLM をより賢くするとき、時間とコストの大半を占めるのは、LLM が長い回答を自分で生成してみるロールアウト(rollout)の段階だ。そのため「ロールアウトだけ低精度で回して安く済ませよう」というアイデアは古くからあったが、品質が揺らぐという壁に阻まれていた。
アリババ Token Hub とオハイオ州立大学の研究チームが公開した TRACE が、この壁を越えた。ロールアウトを FP4(4ビットの低精度)で回しながら、BF16(16ビット)で回したのとほぼ同じ性能を出したのだ。核心となる発想は一文で言える — 二つの経路をそれぞれ正確に作ろうとするのではなく、二つの経路の間のズレを直接縮めよ。
用語クイック解説 - ロールアウト(rollout): RL 学習でモデルが長い回答を繰り返し生成する区間。最もコストが高い。 - FP4 / BF16: 数値を入れる器の大きさ。4ビット(FP4)は16ビット(BF16)より軽く速いが、値を入れる「マス」がはるかに少ない。 - MoE(エキスパート混合): トークンごとに一部の「エキスパート」モジュールだけを選んで使うモデル構造。
低精度ロールアウトは「答えを引き出している間だけモデルを低いビットに量子化(値をより少ないビットに縮めて入れること)して速くしよう」というアイデアだ。問題は、FP4 の「マス」が少なすぎる点にある。値を入れる場所がいくつかしかないため、ロールアウト経路と学習経路が同じ値を前にしても、互いに異なるマスへ丸めてしまう。すると二つの経路が計算するポリシー(モデルが次にどのトークンを出すかを決める規則)がズレ、このズレが積み重なると学習が不安定になったり崩壊したりする。
MoE ではもっと厄介だ。MoE はトークンごとにルーターがスコアを付けてエキスパートを選ぶが、わずかな数値差がスコアを揺らすと、そもそも別のエキスパートが起動してしまう。丸めのマス一つの差が「誰がこのトークンを処理するのか」まで変え、不一致が増幅される。
既存の FP4 RL 研究もここまでは分かっていた。だが彼らは、二つの経路をそれぞれ高精度(BF16)の元の値に近づけることに集中した。各経路の誤差を個別に縮めても、二つの経路の間の距離が縮まるわけではない — 片方の経路だけを元の値に合わせて補正すると、むしろ間隔がさらに広がることさえある。TRACE はまさにこの点を問題の根として突く。
TRACE という名前そのものが設計を圧縮している。Train-Rollout Quantization Alignment via Compact GuidancE — 学習とロールアウトの量子化を「小さなヒント」で整列させる、という意味だ。
丸めにたとえてみよう。二人が同じ小数 2.49 をそれぞれ整数に丸める。基準が少し揺らぐだけで、一人は2に、もう一人は3に行く。どちらも「最も近い整数へ」という規則を守っているのに、結果は分かれる。FP4 の丸め境界ではまさにこれが起きる。BF16 ではごくわずかしか違わなかった学習値とロールアウト値が、同じ倍率(スケール、値をマスに合わせるために掛ける数)で正規化された瞬間に境界の両側へ落ち、互いに異なるマスへ丸められて、差が大きく増幅される。
TRACE の処方箋は単純だ。学習側が境界近くの値を丸めるとき、「最も近いマスへ」に固執せず、ロールアウトが実際にどのマスを選んだかを見て、そちらへ合わせる。 2.49 の二人が「君はどっちに丸めた?」と尋ねて同じ側へ行く、というわけだ。著者らは、この選択がデフォルト規則(最も近いマス)よりその地点のズレを大きくしないことを数学的に保証している、と述べる。
ロールアウトの丸め結果を学習が参照するには、その情報を記録しておいて学習エンジンへ渡さなければならない。理論上は可能だが、現実ではデータ量が膨大で、すぐに壁にぶつかる。論文の Qwen3.5-35B-A3B の例では、値一つあたり4.5ビットで見積もっても、トークン一つで約50KBになる。1 RL ステップで軌跡を4,096本サンプリングすると、ステップあたり最大約 51TB だ。GPU-CPU 帯域幅を300GB/sとしても転送だけで3分、ストレージ帯域幅5GB/sで読み書きすれば約3時間かかる。RL の1ステップはそれよりはるかに短く終わらなければならないので、転送3分・保存3時間という設計は、そもそも候補になりえない。
TRACE は「丸めの方向を決めるのに必要な情報だけを送る」でこの壁を突破した。根拠は二つの観察だ。第一に、食い違った値の99%以上は、すぐ隣のマス一つ分の差である。隣のマス一つなら、完全な量子化値を全部送る必要はなく、マスを区別する桁(仮数、浮動小数点で有効数字にあたる部分)の一部だけを送れば、狙ったマスを指し示せる。第二に、こうした補正は主に深い層で起こるため、モデル層の後ろ半分からだけ情報を送る。ストレージ・通信の負担を大きく減らしながら、整列の効果は保つ。
どれだけ速くなるか。 ロールアウトのスループット(単位時間に引き出すトークン量)が最大5.4倍に増えた。ただし、条件が付く。BF16 ロールアウトと比較したロールアウトのスループットであり、SGLang ロールアウトエンジンのみで GB200 4枚において計測した値だ。全体の学習時間が5.4倍短くなった、という意味ではない。この倍率が物語るのは、TRACE が整列のために上乗せする追加計算が、それだけ軽いという点だ。
品質は維持されるか。 検証した範囲では維持された。MoE 4種を推論・コーディング・長期タスクの三つの方向で回したとき、FP4 ロールアウトで学習した TRACE が BF16 ロールアウトに匹敵し、同じ FP4 条件の既存手法を上回った(数値は下の「結果」)。
自分たちも使えるのか。 検証は巨大 MoE と GB200 72枚規模のインフラの上で行われた。小さなモデル・軽いサービングで同じ倍率と同じ品質が再現される保証は、この論文の外側の話だ。規模によらず持ち帰れるのは「二つの経路の距離を縮めよ」という設計原則であり、これは末尾の「ONTLE の判断」で扱う。
表は条件とともに読む必要がある。すべての FP4 手法は同じ条件(重み・活性値、そして KV キャッシュ — 直前までに計算しておいた値を保存して再利用するメモリ — のすべてが FP4)で比較しており、数値は各タスクの平均スコアだ。
推論 RL — Qwen3.5-35B-A3B。 推論 RL は数学・コーディング問題を解かせるタスクだ。以下は四つのベンチマーク(AIME・HMMT25 といった数学コンテスト、LiveCodeBench といったコーディング)の平均である。
| 手法 | 平均スコア |
|---|---|
| BF16 ロールアウト(上限基準) | 74.9 |
| バニラ QAT | 59.6 |
| QaRL | 58.6 |
| QUADS | 68.8 |
| TRACE | 75.3 |
TRACE は、本文の表に示した既存手法のうち最高である QUADS より平均 6.5点高く、BF16 水準を回復した。特に高難度の数学ベンチマーク HMMT25 では、QUADS 59.0 対 TRACE 70.0 で 11.0点の差が付いた。(QAT は量子化をあらかじめ経験させながら学習する方式だ。)
より大きなモデル — コーディング・長期タスク。 DeepSWE・Terminal-Bench は実際のコードを修正したりターミナル作業を遂行したりするベンチマーク、GDPval は長期タスクの評価だ。各代表ベンチマークだけを抜粋した。
| モデル · ベンチマーク | BF16 | QAT | QUADS | TRACE |
|---|---|---|---|---|
| 122B-A10B · DeepSWE | 33.4 | 28.8 | 29.1 | 33.0 |
| Flash-Next · Terminal-Bench | 68.8 | 60.4 | 66.4 | 70.6 |
| 2.4T-A95B · GDPval | 90.3 | 88.7 | 85.9 | 90.2 |
三つのケースすべてで BF16 ロールアウトに匹敵し、同じ FP4 条件の QAT・QUADS を上回った。Terminal-Bench のように、TRACE が BF16 をわずかに上回った事例もある。
QAT・QaRL・QUADS は、学習が進むほどズレが大きくなり、後半で報酬が急落してスコアが崩れる。TRACE はズレを抑え込み、BF16 に近い流れを維持する。ここで著者らが「低精度適応」と呼ぶ現象が現れる — 序盤は量子化による損失で BF16 より低く出発するが、ズレが十分に制御されると、ポリシーが FP4 環境へ次第に適応して差を縮めていく。HMMT25 では約120ステップ後に BF16 に追いつき、その後は同程度に維持された。モデルが低精度環境を無理に耐えているのではなく、そこに合わせて学習している、という話だ。そのため著者らは、BF16 で学習した後に事後的に FP4 へ落とすよりも、最初から FP4 で学習したポリシーのほうが FP4 でよく回る、と報告している。
一言でまとめれば、他の手法がそれぞれ元の値に近づこうとして道を見失うとき、TRACE は二つの経路の間の距離計だけを見て、両者を互いに歩み寄らせる。各経路を正確に作るのではなく、二つの姿を重ね合わせるのが目標だ。
残る限界は、著者らも明確に線を引いている。
この研究の本当の価値は「5.4倍」という数字ではなく、その数字を生んだ設計原則にある。TRACE は巨大モデルの特殊な問題を解いたが、その過程で「学習時のモデルとサービング時のモデルが異なると品質が漏れる」という普遍的な問題を水面上に引き上げた。普段われわれは「きちんと(高精度で)学習しておいて、デプロイするときに軽く縮める」という順序を当然のことと見なす。TRACE の結果は、その順序が常に最善とは限らないことを示している。
ここまでは研究から借りてくる原則だ。では ONTLE は何を変えるのか。ONTLE は小企業・一人起業家の反復業務を代わりに処理するが、コストを下げるために顧客問い合わせ対応モデルを軽量化してサービングする場合が出てくる。このとき「軽くて安いから良い」で終わらせず、デプロイを確定する前に次の手順を入れよう、というのがわれわれの提案だ。
モデルごとに精度だけを見ていた点検表に、「学習時の姿とサービング時の姿の距離」という欄を一つ加えよう、ということだ — ただし、その距離は抽象的な数値ではなく、上のように「同じ問い合わせに対する二つのバージョンの通過率の差」として具体化して。
本文の流れを切らないよう、細かな設定と手法名はここにまとめた。
| 項目 | 内容 |
|---|---|
| 学習スタック | VeRL(非同期 RL の調停) · Megatron(学習バックエンド) · SGLang(ロールアウト生成)、すべての手法を同一バージョンで比較 |
| ポリシー最適化 | GRPO(ポリシー最適化アルゴリズム) + R3(ロールアウトのエキスパートルーティングを学習時に再生) |
| 安定化 | トークン単位の重要度比率クリッピング上限5、ポリシー陳腐化の制限 max_version_diff=3 |
| 量子化範囲 | ロールアウト中は MoE ルーティングエキスパート + アテンション KV キャッシュ(先に計算した値を保存して再利用するメモリ)のみ FP4、残りのモジュールは BF16 |
| 評価モデル | Qwen3.5-35B-A3B、Qwen3.5-122B-A10B、Qwen3.8-Flash-Next(総計125B・活性6B)、Qwen3.8-2.4T-A95B |
| タスク・評価 | 推論 RL(35B → LiveCodeBench v6・AIME24/25・HMMT25、応答32K) / コーディング RL(122B → DeepSWE v1.1、Flash-Next → Terminal-Bench 2.1、コンテキスト256K) / 長期タスク RL(2.4T → GDPval) |
| 指標 | AIME24/25・HMMT25 応答8本、LiveCodeBench 10本の平均 pass@1 / Terminal-Bench・DeepSWE・GDPval はタスクあたり10・4・3回の平均 |
| 効率測定 | デコードスループット = GB200 4枚(SGLang のみ) / エンドツーエンドの RL ステップ = GB200 72枚 |
| 学習ステップ | 35B・Flash-Next は400ステップ、122B・2.4T は50ステップ |
この設計が計るのは「FP4 でロールアウトを回しても、最終性能と学習安定性が BF16 並みに出るか」だ。量子化範囲をエキスパート・KV に限定し、モデルも Qwen 系なので、全面 FP4 構成や他系統の挙動は、この表では語れない。
いいえ。検証したタスクの範囲で BF16 に匹敵、あるいは一部でわずかに上回ったということであり、これは「低精度適応」で差を追いついた結果です。「低精度が高精度より優れている」という一般的な主張として読んではいけません — 実験は Qwen 系 MoE と特定のタスクに限定されます。
そのままでは駄目です。5.4倍は GB200 で計った「ロールアウトのスループット」の倍率であって、全体の学習時間やサービングコストではなく、小さなモデルで再現される保証もありません。規模によらず持ち帰れるのは「学習時の姿とサービング時の姿の距離を点検せよ」という原則だけです。