大規模言語モデル(LLM)を強化学習で訓練する際に広く使われるPPOには、これまで注目されてこなかった欠陥がひとつあった。本論文はその欠陥を「価値の平坦化(Value Flattening)」と名づけ、初めて体系的に明らかにする。そして、応答ひとつにつき互いに十分に離れた少数の状態(基本的には応答の30%・60%・90%の3地点、6,144トークンを超える長い応答では95%を加えた4地点)にのみ価値損失を適用するSP³O(SParse Proximal Policy Optimization)という、きわめてシンプルな処方でこの問題を緩和し、Qwen3-Baseにおいて複数のモデルサイズと評価セットにわたって学習された方策を一貫して改善した。
PPO(Proximal Policy Optimization)はLLM強化学習の標準的な道具だ。ここでクリティック(critic)は、「今のこの状態(文章をここまで生成した時点)が、この先どれだけ良い結果につながるか」をスコアとして評価する役割を担う。このスコアを状態価値(state value)と呼ぶが、これがあると方策更新のブレ(分散)を抑え、学習を安定させられる。クリティックはいわば、登山中に「ここから頂上まであとどれくらいか」を教えてくれる高度計のようなものだ。
問題は、この高度計が実際の地形をきちんと反映できていないという点にある。論文では、複数のモンテカルロ連続生成(Monte Carlo continuation、同じ地点から何度も最後まで生成し、その結果を平均する方法)で状態価値を推定してみたところ、本当の価値は途中の状態を経るにつれて急激に上下するのに、肝心のクリティックの予測値は相対的に平らなまま保たれているという事実を発見した。実際の地形には切り立った崖や上り坂があるのに、高度計はずっとのっぺりとしたなだらかな丘ばかりを指している、というわけだ。
このズレを論文は価値の平坦化と呼ぶ。そして、これが偶然ではないことを示すため、状態空間を制御できるFrozenLakeという単純な格子環境でも同じ現象を再現した。とりわけ、状態空間が大きくなるほど平坦化がより激しくなるという点を観察している。文章が長く、場合の数が多くなるLLM環境こそ、この問題に最も弱いということだ。
クリティックはなぜ地形をのっぺりと潰してしまうのか。論文の分析は2つの原因を指摘する。
第一に、特定の学習設定においてクリティック損失のなかに潜む「分散ペナルティ(implicit variance penalty)」だ。 これは二乗誤差(MSE)そのものの一般的な性質ではなく、論文が扱う特定の条件下で生じる。報酬が応答の最後に一度だけ与えられ(終端報酬)、割引・GAE係数をγ=λ=1に置くと、標準的なPPOは一つの応答内のすべての状態(トークン地点)に、まったく同じ一つの終端報酬値を回帰目標として与える。このとき、一つの応答のクリティック損失を展開すると、「予測の平均が目標からどれだけ外れているか」と「予測どうしがどれだけ互いにばらついているか(分散)」という2つの項に分かれるが、後ろの項がまさに、予測値どうしが異なること自体に罰点を課す。すべての地点をびっしり監督するほど、応答のすべての予測がこの分散項に引っかかり、クリティックは実際の途中の価値がどうであれ、自分の予測を一つの値に寄せて平らにする方向へと押しやられる。試験のすべての問いを、各問の正解ではなく「試験の合計点」というたった一つの数字に合わせろと要求すれば、誤差を減らそうとしてすべての問いの予測を同じに書き、問いごとの差が消えてしまうのと同じだ。
第二に、時間的につながった状態どうしの重複更新(redundant updates)だ。 文章を生成する途中の隣り合ったトークン地点は、互いに非常に似ている。そのためクリティックを学習させるとき、これらの地点がほぼ同じ方向の勾配(gradient)を生み出す。事実上まったく同じ学習信号が何百回も繰り返されることで、わずかに異なる本当の差を覆い隠し、予測を一方向へ平らに押しつけてしまう。ほとんど同じ問題を試験用紙に100回コピペしておくと、学生はその型にばかり過剰に適応し、肝心の微妙に異なる変形を区別できなくなるのと似ている。
SP³Oの処方は驚くほど単純だ。一つの応答のすべての地点に価値損失をかけるのではなく、互いに十分遠く離れた(well-separated)少数の状態にだけかけようというものだ。論文によれば、互いに離れた少数の状態(基本は30%・60%・90%の3地点、長い応答では95%を加えた4地点)だけを監督(supervise)すれば、2つの原因を同時に緩和できる。隣どうしが似ていて重複していた信号を間引くことで重複更新の問題が減り(原因2の解消)、びっしり押さえつけて平坦化していた圧力も弱まる(原因1の緩和)。試験問題を100個コピペする代わりに、互いに明らかに異なる数問だけを厳選するのに近い。
論文はQwen3-Baseモデルで実験した。論文が明らかにしている内容は次のとおりだ。
| 項目 | 論文が明らかにしている内容 |
|---|---|
| 監督地点 | 応答の30%・60%・90%の3地点(6,144トークン以上は95%を加えた4地点)にのみ価値損失を適用 |
| 効果 | 価値の平坦化を緩和 |
| 方策性能 | 複数のモデルサイズ・複数の評価セットにわたって一貫して改善 |
具体的な性能向上の数値やデータセットの規模はアブストラクトに示されていないため、ここでは定性的にのみ整理する。核心となるメッセージは2つだ。ひとつは価値の平坦化が、標準的なPPOクリティック学習における重要でありながら見過ごされてきた失敗モードであるという診断であり、もうひとつはごく単純な疎な監督(sparse supervision)戦略だけでもこれを緩和できるという処方だ。何かをより複雑に付け足すのではなく、むしろ学習信号を減らすことでより良い結果を得た、という点が印象的だ。
アブストラクトだけで判断すると、次のような問いが残る。
こうした点は論文を貶めるものではなく、むしろ単純な処方がなぜ・どこまで効くのかをもっと知りたくさせる部分だ。
ONTLEは「AIプロジェクトマネージャー派遣型SaaS」として、複数のエージェントが長い作業フローを判断し実行できるようにする仕事をしている。この論文の教訓は、そうしたプロダクト設計にもそのまま響く。
第一に、「すべての瞬間を同じように学習・評価するな」。 PPOクリティックが隣り合った状態の重複信号に押されて平坦になったように、AI PMも長い対話・長い作業ログのすべての段階を均等に学習したり評価したりすると、肝心の転換点(意思決定が分かれる瞬間)の信号が埋もれてしまう。互いに明らかに異なる少数の決定地点を選んで集中するほうが、より良い判断につながりうる。
第二に、「減らすことが改善でありうる」。 性能を上げようと信号や報酬項をどんどん足すのではなく、SP³Oのように学習対象を疎に間引く方向のほうが、かえって効果的なことがある。エージェント評価パイプラインでも、びっしりとした中間報酬を乱発するより、よく離れたチェックポイントに監督を集中する設計を検討する価値がある。
第三に、「価値推定を信じる前に、実際の地形を測り直せ」。 クリティックの予測が実際のモンテカルロ価値とどれだけズレているかを測って問題をあぶり出したように、プロダクトの成功予測モデルやリワードモデルも、実際の結果分布と突き合わせる診断の習慣が必要だ。予測値があまりにも滑らかなら、それは安定ではなく平坦化の兆候かもしれない。
エージェントが長い息の仕事を担うほど状態空間は大きくなり、この論文の観察どおり平坦化のリスクも高まる。ONTLEが扱う問題のど真ん中にある話だ。
実際の状態価値は文章を生成する途中の地点を経るにつれて大きく上下するのに、PPOクリティックの予測値は相対的に平らなまま保たれる、というズレのことです。地形には崖や上り坂があるのに、高度計はのっぺりした値ばかりを指している状況にたとえられます。
論文によれば2つの理由があります。隣り合った状態が似ているために生じていた重複した学習信号が減り、値をびっしりと平均へ押しつけて平坦化していた圧力も弱まります。互いに十分離れた少数の地点だけを監督すれば、この2つの効果を同時に緩和できます。監督地点は基本で3カ所(応答の30%・60%・90%)で、6,144トークンを超える長い応答では95%を加えて4カ所です。
状態空間を制御できるFrozenLake環境で現象を再現し、実際のLLM実験はQwen3-Baseで行いました。アブストラクトは複数のモデルサイズと評価セットにわたって方策が一貫して改善されたとだけ述べており、具体的な数値は示していません。
長い作業を扱うエージェントほど状態空間が大きくなり、平坦化のリスクも高まります。すべての瞬間を均等に学習・評価するのではなく、互いに異なる少数の決定地点に集中し、成功・リワード予測が実際の結果分布とズレていないかを診断する習慣が必要だという示唆を与えてくれます。