Meta Superintelligence Labs と、ウィスコンシン・スタンフォード・NYU の研究チームが、強化学習(RL)による事後学習(post-training)の隠れたコストを正面から測り直しました。結論から言うと、通説とは逆です。事後学習を経ていない事前学習済みの「ベース」モデルに、軽い実行補助装置(harness、ハーネス — シンプルなプロンプトと規約でモデルの基本動作を助ける仕組み)を付けてやるだけで、エージェント課題では試行予算(1つの問題に何回まで試すか)に余裕があるとき、事後学習モデルの解の網羅範囲に追いつく、あるいは上回ります。研究チームはこの損失を「先鋭化税(Sharpening Tax)」という1つの数値にまとめ、さらに課題の難易度に合わせてサンプリング温度(答えをどれだけ多様に引き出すかを決める値)を調整して税を削るサンプラー PTGS まで提案しています。
LLMを「推論モデル」や「エージェント」へと引き上げる中核工程が、まさにこのRL事後学習です。ここには古くからの論争が1つ付いて回ります。RLは本当に、なかった能力を新しく生み出すのか。それとも、ベースモデルがすでに秘めていたいくつかの「割に合う」行動だけを増幅し、残りは押さえ込んでしまうのか。後者の立場を先鋭化(sharpening)仮説と呼びます。
これまでの証拠は大半が数学・コーディングから出ており、一方向を指していました。RLは一発の命中率(pass@1、1回試して当てる確率)を高めるには効果的です。しかし何度も試して1つでも当てる能力、すなわち解の網羅範囲(pass@K、K回のうち少なくとも1回当てる確率)は、むしろ狭めてしまうというのです。問題は、数学・コーディングがこの論争に決着をつけるには弱い試験台だという点です。事前学習データに数学・コーディングがあふれるほど含まれていて、ベースモデルがすでに多くの解法戦略を抱えているうえ、採点も最終的な答えさえ合っていれば通してしまう場合が多く、デタラメな過程が運よく正解にたどり着いても点を稼げてしまうからです。
そこで著者らは、より過酷な試験台としてエージェント課題を選びました。ツールを規格どおりに呼び出し、複数ターンにわたって環境のフィードバックを受け取りながら、長い流れを乱さずに引っ張っていく能力です。こうした行動は事前学習データに多くなく、ふつうは事後学習で身につけると考えられています。通説どおりなら、エージェント課題こそ事後学習が「なかった道を新たに切り開く」領域のはずです。この論文は、まさにその急所を突きます。
まず3つのものさしを区別する必要があります。1回試して当てる確率が pass@1(正答率)、K回のうち一度でも成功する確率が pass@K(網羅範囲)、K回すべて成功する確率が一貫性(consistency)です。pass@1は効率を、pass@Kは「十分に投げれば解ける範囲」を、一貫性は信頼度を測ります。
事後学習がモデルの振る舞いに何をするのかは、ダーツにたとえると鮮明になります。事後学習モデルは、一つのフォームだけを何千回も練習した選手です。的が見慣れた位置にあれば、ダーツは中心へぎっしりと集まります(高いpass@1、高い一貫性)。ところが的が見慣れない隅へ移ると、練習したフォームどおりにまた同じ場所ばかりへ突き刺すだけで、なかなかその隅には届きません。逆にベースモデルは、フォームがバラバラなアマチュアです。一投一投は外してばかりですが、投げる方向が広く散らばるので、数を投げるうちに、選手ならなかなか届かない隅まで、たまたま当ててしまうのです。
事後学習が「一つのフォーム」に固まる理由は、強化学習の仕組みにあります。強化学習は、成功確率の高い行動経路の確率はさらに高め(報酬)、残りの経路の確率は抑え込む(罰点)やり方でモデルを仕上げるからです。だから著者らが覗き込んだ図も、ダーツと符合します。事後学習は課題ごとの成功確率を両極端へ追い込み、実験の中で「毎回解ける課題」と「一度も解けない課題」に二分してしまいます。ただしここで言う「解けない課題」とは、論文が課題あたり128回の試行で成功が0回だった場合を「always fail」と分類したもので、成功確率がちょうど0だとか、無限に試しても失敗するという意味ではありません。こうした先鋭化のおかげで、少ない試行でも解けるものは解き(サンプリング効率)、同じ課題を毎回安定して当てます(一貫性)。代償ははっきりしています。いったん「解けない」側へ移った課題は、与えられた試行予算の中ではなかなか蘇りません。何度も並列に試して網羅範囲を広げる利点を、自ら捨てているわけです。
ここでハーネスが登場します。データセットに依存せず、モデルの種類も問わない薄い補助層で、シンプルなシステムプロンプトに、ゆるいツール呼び出し・パースの規約を乗せたものです。ベースモデルが形式を守れず空回りしていた部分を支える役割です。興味深いことに、同じハーネスを事後学習モデルにかぶせると、むしろ性能が落ちます(その理由は後述のFAQで別途扱います)。
この損失を1つの数値に要約したのが先鋭化税です。事後学習を経たあと「試行を増やすほど多く解ける」能力、すなわちテスト時スケーラビリティ(試行を増やしたときに成績がどれだけ伸びるか)がどれほど削られたかを測る診断指標です。著者らは、この税をわずか数回の試行(ロールアウト — モデルが答えを出す1回の試行)だけでも推定でき、試行を多く回したときの税や、ほかの性能指標ともよく一致すると報告しています。
この論文が差し出す処方がPTGS(posterior-tempered group sampling)です。核心は、すべての課題に同じ温度を使わないことです。課題ごとに難易度をベイズ方式(試行の結果を見ながら難易度の推定を更新するやり方)で推定し、難しい問題はサンプリング温度を上げてより広く探索し(緩和)、易しい問題は温度を下げて集中します(先鋭化)。一つの温度を全課題に固定する代わりに、問題ごとに使い分けるわけです。PPOやGRPOといったありふれたRLアルゴリズムにそのまま組み込めるという点も実用的です。
まず規模から見てみましょう。オープンソースのチェックポイント対14組(Gemma-4、Ministral-3、Qwen2.5、Qwen3.5の4系列、有効パラメータ(モデル規模を表す数)3B~35B)を、3つのエージェントベンチマーク(BFCL v4マルチターン、WebShop、ACEBench)にわたり、計42通りの組み合わせで検証しました。公平な比較のため、事後学習モデルの「思考(thinking)モード」はオフにしました。
ハーネスがベースモデルにどれほど効くかは、ベースモデル8個の平均に表れます(w/o = ハーネスなし、w/ = ハーネスあり)。
| ベンチマーク | pass@1 (w/o → w/) | pass@32 (w/o → w/) |
|---|---|---|
| BFCL | 5.59 → 15.63 | 15.19 → 49.13 |
| WebShop | 6.32 → 9.73 | 39.48 → 49.15 |
| ACEBench | 44.24 → 42.63 | 89.25 → 87.69 |
BFCLやWebShopのように、ベースモデルがとりわけ手こずっていたベンチマークでは、ハーネスがpass@1とpass@32のどちらも大きく押し上げます。逆に、ベースモデルがすでにそこそこ得意だったACEBenchでは、ほとんど手をつけないか、わずかに下がります。ハーネスはできなかったことを支えるだけで、できていたことをさらに押し上げはしない、ということです。
本題である逆転(2本の曲線が交差し、ベースモデルが前に出る点、crossover)は、試行予算を課題あたり128回まで測った曲線で確認できます。ごく小さなKでは事後学習モデルが前に出ますが、逆転は多くの試行を待たずに訪れ、ハーネスをかませたベースモデルの曲線がほとんどの設定で追い抜きます。論文の§3によれば、WebShopのgemma-4-31Bではおよそ3回(k*≈3)の試行で逆転が起きており、128回はあくまで評価の上限であって、逆転の必須条件ではありません。WebShopで128回の試行(ロールアウト)を基準にすると、ベースのgemma-4-31Bは85%を超えるのに対し、同じモデルのRL事後学習版は56%にとどまります。モデルが大きくなるほど、逆転が起きる地点はより手前に早まります。
PTGSは、2つのエージェント環境でのRL学習に適用したとき、温度を固定したベースラインよりも先鋭化税を少なく払いながら、反復サンプリングでより多くの課題を解き、一発の正答率(pass@1)まで一緒に押し上げました。網羅範囲と正答率は、ふつう一方を得れば他方を手放すトレードオフの関係ですが、両方を同時に高めたという点がこのサンプラーの魅力です。
正直に指摘しておくべき点がいくつかあります。
第一に、使われたチェックポイントの正確な学習レシピが公開されていません。著者ら自身も「RL事後学習」という言葉をゆるく使っていると明かしています。SFTやDPOのような他の事後学習手法も分布を先鋭化させるので、分析そのものが特定のレシピに依存するわけではありませんが、「純粋にRLだけの効果」を切り分けて語るのは難しいところです。
第二に、公平な比較のために思考モードをオフにした結果だという点です。推論をオンにした状態での最大性能とは異なる可能性があります(著者らは別の図でこのケースを別途扱ってはいます)。
第三に、逆転が起きる試行予算は設定によって変わります。WebShopのgemma-4-31Bのようにおよそ3回(k*≈3)で逆転する組み合わせもあれば、もっと多くの試行を要する組み合わせもあります(128回はあくまで評価の上限です)。逆転が現実的に使える予算の中で起きるかどうかは、ベンチマークやモデルごとに確かめる必要があります。
もっと重要な指摘は別にあります。pass@Kは「K回のうち少なくとも1回成功」を数える指標です。広い網羅範囲を手にしても、その複数の試行のうちどれが正解かを選び出す仕組み(検証器や採点器)がなければ、プロダクトではたった1つの答えとして送り出すことはできません。網羅範囲の優位が、そのまま本番に出せる性能だというわけではないのです。範囲を広げる能力と、その中から正しいものを拾い上げる能力は、別々の宿題です。
ONTLEのAI PMが、これまで見たことのない連携リクエストを受け取ったとしましょう。きれいなテンプレートのない、見慣れない作業です。ここでありがちな落とし穴は、いちばん自信のある一つの道筋で一気に押し切り、失敗したら「現状では難しい」と閉じてしまうことです。この論文は、その反射的な行動がなぜ危ういのかを説明してくれます。ドメインデータでよく仕込んだ(先鋭化された)エージェントほど、手慣れた一手が通じない稀な非定型リクエスト(ロングテール)を前に、同じ手ばかりを繰り返し、その課題を「解けない」マスへ押し込んでしまいがちです。
言い換えれば、実行戦略を課題の難易度に応じて切り分けるべきだということです。慣れた反復的なリクエストには、一つのやり方でくっきり押し切るのが正解です。一度で、安く、一貫して終わらせればよい。逆に、本当に新しいリクエストには「一撃」にこだわる代わりに、異なるアプローチを何度も試す予算を割いてやるほうが、成功確率を高めます。
ONTLEはこれまで、リクエストを「規模」に応じてs・m・lの段階に分け、処理経路を決めて(ルーティング)きました。この論文は、その分岐の軸を「規模」から「難易度」や「不確実性」へと広げるべきだと示唆しています。易しいリクエストはくっきりと、難しいリクエストは探索の幅を広げて — ちょうどPTGSが課題ごとに温度を変えるように。
そして先鋭化税は、それ自体で使える診断ツールです。ただしここから先は、私たち自身が検証してみるべき業務仮説です。顧客ドメインに合わせてPMエージェントをファインチューニングしたとき、平均正答率が上がったで終わらせず、「稀な非定型リクエストをやり遂げる力を失っていないか」を、わずか数回の試行で測ってみる習慣が要ります。平均だけ見れば良くなったモデルが、肝心の厄介な少数のリクエストでは、以前より頻繁に詰まっていることがあるからです。税の指標は、まさにその死角を数値で照らしてくれます。
いいえ。ベースモデルの一発の正答率(pass@1)は、事後学習モデルよりはるかに低いです。ベースが前に出るのは、複数回の試行を許し、ハーネスで形式まで支えてやったときに限られます(WebShopのgemma-4-31Bではおよそ3回で逆転しますが、必要な試行回数は設定によって変わります)。複数回試す余地も、複数の答えの中から正解を選び出す仕組みもない一発勝負の状況なら、依然として事後学習モデルのほうが優れています。
覆すというより、拡張に近いです。正答率と網羅範囲のトレードオフは、数学・コーディングで先に観察されていました。この論文は、同じ現象がエージェント課題でも現れることを示し、エージェント側のほうが先鋭化仮説を検証するにはより過酷な試験台だと主張します。ツール呼び出しやマルチターンのような能力は事後学習で身につけると考えられているのに、まさにそこでも税がかかるなら、それだけ強い証拠になるからです。
ハーネスは、ベースモデルが形式を守れず空回りする部分を支えるように設計されています。ところが事後学習モデルは、すでにツール呼び出しや指示の遵守が体に染みついているため、その補助が助けではなく干渉として働きます。よく仕上げたモデルほど、プロンプトを余計にいじることが得より損になりうるという、これまでの観察と同じ文脈です。