「答えは短く、それだけで」。
こう念を押しても、LLMは「これは2つの数を足す問題ですが……」と、まず解き方から並べ始める。オフにするスイッチを押しても、「推論するな」と強く指示しても同じだ。論文 arXiv 2610.11765 は、この現象に思考慣性(Thinking Inertia)という名前を与えた。答えだけが欲しいのに、説明が慣性のようについてくる、という意味である。
最初に一つはっきりさせておいたほうがいい。この論文は、モデルが頭の中でどんな計算をしたかは覗かない。画面に目に見える形で出力された説明だけを測る(答えの前であれ後であれ)。だから以降「解説を止めた/止められなかった」という話は、すべて画面に表示されたテキストの話であって、モデルの内側の話ではない。「見た目として説明が消えた」と「内側で計算を止めた」は別の問題であり、この記事が語れるのは前者だけだ。
ここ数年、LLMの性能を押し上げてきた中心的なレバーは「答える前にもっと考えさせること」だった。思考の連鎖(chain-of-thought、答えを出す前に解き方のプロセスを段階的に書かせるプロンプト)から、推論にトークンをより多く使わせるテストタイムスケーリングまで。途中の計算にトークンを多く使うほど、多くのタスクで精度が上がった。その代償がコストだ。推論トークンは応答時間と課金を同時に膨らませる。そこで逆に、推論を減らそうとする研究も盛んになった。
ところで、「考えをオフにした」をいったい何で判定するのか。
従来の研究は3つの代理指標(proxy、本当に見たいものを直接測れないので代わりに使う間接的な信号)に頼ってきた。① プロンプトをno-thinkモードに切り替えたか。② <think> のような独立した推論ブロックが応答に無いか。③ 出力が短いか。論文は、この3つがいずれも簡単に破綻すると言う。思考モードをオフにしても、モデルは通常の回答欄に推論をそのまま流し込める。短い出力一つに核心的な推論が圧縮されていることもある。逆に、長い出力が中身のない水増しであることもある。
試験監督が「解き方は書かずに答えだけ書け」と言ったのに、受験生が答案欄の横の余白に小さな字で計算を書き残す状況と同じだ。解答欄だけ見れば「答えだけ書いた」と採点されるが、推論は余白にそのまま残る。従来の指標は解答欄しか見ず、この論文は余白の文字まで読む。
だから測定の位置が変わる。従来の指標が外形的な条件(どんなプロンプトだったか、<think> ブロックがあるか、長さが短いか)で判定していたのに対し、この論文は応答が実際に表に出した質問関連の内容で判定する。こう見ると、長さを削ったりスイッチをトグルしたりして「推論を減らした」とされてきた従来の仕事は、実は推論を形式だけ変えて通常欄に移しただけかもしれない。no-thinkingを、モデルの設定ではなく目に見える応答の挙動として定義し直したわけだ。
先に数字を一つ見ておこう。考えをオフにした設定でも、DeepSeek-V4-Flash(284B)は自由形式の応答の99.9%で、目に見える推論をそのまま維持した。スイッチを下ろしたのに、事実上すべてが依然として解き方を露出していた。この一行がなぜ出てくるのかを理解するには、まず「推論を露出した」をどう数えたかから見なければならない。
出発点は単純だ。どんなLLMの応答であっても2つの塊に分ける。最終的な答えと、その前に現れたすべてのテキストだ。後ろの塊を先行テキスト(pre-answer trace)と呼ぶ。解き方が隠れる場所は、まさにこの先行テキストである。
だが、先行テキストが空でなければ全部が解き方というわけではない。「237 + 568は?」という同じ質問に、こう答えられる。
指標は3つだが、見る場所が少しずつ違う。ETRは応答全体が「答えだけを出力」を守ったかを見て、EIRは先行テキストを切り出して解き方の有無を見る。QRel.は先行テキストを基本としつつ、答えが先に出て説明が後に続く場合はその後のテキストまで質問関連性の判定に含める(付録E)。
空-思考率(ETR, Empty-Thinking Rate) — 応答全体が答えだけか。 出力が厳密に答えだけを含んでいれば1点。答えの前であれ後であれ、説明が一行でもつけば違反だ。上の例ではAだけが通過する。Dは答えが先に出ていても後ろに解き方がついて脱落する。先行テキストだけを見ていたら、Dは「答えの前が空だから通過」と誤って数えていただろう。ETRが応答全体を見る理由はここにある。
質問関連性(QRel.) — 表に出た説明が質問とどれだけ結びついているか。 答えとともに表に出た質問関連テキストが、質問と意味的にどれだけ近いかを連続値で測る。先行テキストが基本だが、答えが先に出て説明が後に続く場合はその後のテキストも可視テキストの構成に含める(付録E)。ただし、著者らが釘を刺した但し書きがある。これは「関連性」であって「推論」ではない。Bのように解き方のない関連発言も高いスコアを得る。だからQRel.は補助的な信号にとどまる。
明示的推論率(EIR, Explicit Inference Rate) — 先行テキストに本物の解き方があるか。 ここでBとCが分かれる。正体を伏せたLLMジャッジに先行テキストだけを渡し、それが実際の推論かを判定させる。演繹・計算・比較のようなプロセスで質問を扱っていれば、短く浅くても、たとえ間違っていても推論として数える。Cがこれに当たる。
3つの指標を重ねて見ると、「答えだけが出たように見えた」応答が3種類に割れる。本当に答えだけのもの(A)、関連はあるが解き方ではないもの(B)、解き方が露出したもの(C)。代理指標一つではつぶれていた区別だ。
QRel.は指示認識型の埋め込みモデル(Qwen3-Embedding-4B)に「質問に答えるのに関連する推論を含むテキストを探せ」という指示を与え、質問をクエリとして、表に出た質問関連テキスト(答えの後についた説明を含む、付録E)を候補文書としてエンコードし、コサイン類似度(2つのテキストの意味の向きがどれだけ一致するかを測る値)を求める。エンコーダはlast-tokenプーリング、最大シーケンス長32,768に設定した。EIRの一次ジャッジは温度0のGPT-5.5で、定型/主題逸脱・言い換えのみ・関連はあるが非推論・明示的推論・分類不能の5つのラベルから一つを選ばせる。「明示的推論」のときだけ1点だ。3つの指標はすべて全出力に対して集計する — 空の先行テキストはQRel.に0として、EIRの分母にも含める。
測定は、モデル・介入方式・ベンチマークの3軸で組まれている。モデルは小さいものからフロンティア級まで6種、ジャッジの偏りを防ぐため判定は別の系統のモデルで交差検証した。
介入6モード。 no-thinkをかける強度を弱い側から強い側へと並べたものだ。オンにした基準線(Think-On)から、スイッチだけをオフにした状態(Think-Off)、オフのまま「答えだけ」と強く要求するモード(Strict)まで続く。最後のM6は性格が違う。指示でお願いする代わりに、モデルが答えから続けて書くように応答の冒頭をあらかじめ埋めておく。言葉で指示するのではなく、スタートラインを答え側に引いておく方式だ。
ベンチマーク6種。 核心は回答空間(answer space、モデルが選べる答えの範囲)だ。はい/いいえだけを選ぶブール、候補の中から選ぶ多肢選択、候補なしに自分で書かなければならない自由形式の順で、回答空間がだんだん広くなるように配置した。
| 種類 | 回答空間 | 例となるタスク |
|---|---|---|
| ブール | 最も狭い(はい/いいえ) | BoolQ, StrategyQA |
| 多肢選択 | 中間(候補から選択) | MMLU, MMLU-Pro |
| 自由形式 | 最も広い(自力で生成) | GSM8K, MATH |
結果では2種類の比較が出てくる。一つはタスク種類どうしの比較だ。ブール・多肢選択・自由形式で解き方の露出がどう違うかを見る。もう一つは同じ質問の形式だけを変えた比較だ。まったく同じ内容を自由生成形式で尋ねるときと、候補が見える形式で尋ねるときとで、モデルの挙動が変わるかを見る。この2つをあらかじめ区別しておくと、後の結果がこんがらがらない。指標はタスク精度(Acc.)と、前述の3指標だ。
モデル6種:Qwen3 4B / 32B / 235B-A22B(同じ系統で規模別の変化を観察、ローカルでオン/オフを透明に制御)、DeepSeek-V4-Flash(284B)、OpenAI・Googleのフロンティアモデル。選定基準は「出力の長さや形式で推論の有無を推定せず、明示的なスイッチでオン/オフできるモデル」だ。介入モード:M1 Think-On(公式の思考インターフェースをオン)、M2 Think-Off(enable_thinkingだけをオフにし出力制約なし)、M3 CoT(オフのまま「段階的に考えよ」)、M4 Soft(オフのまま短い導入は許容、説明は禁止)、M5 Strict(オフのまま推論なしに答えだけ)、M6 Prefix(`The answer is \boxed{` を生成の冒頭にあらかじめ埋める)。交差検証は付録DでClaude Opus 4.8で回し直し、結論が特定のジャッジに縛られていないかを確認した。
発見をスイッチ → 答えの形式 → 精度の順に読むと、一つの物語としてつながる。
第一に、no-thinkスイッチは信頼できる制御ではない。 先に見たDeepSeek-V4-Flash(284B)の99.9%が、この発見の代表的な数値だ。スイッチを下ろしたのに、自由形式の応答はほぼすべてが推論を露出した。オフにするボタンがあるからといってオフになるわけではない。
第二に、解き方の露出はスイッチよりも「回答空間」に左右される。 これが思考慣性の核心だ。ネイティブであれ厳格モードであれ、EIRはブールで最も低く、多肢選択で中間、自由形式で最も高かった。回答空間が広くなるほど、モデルは解き方をより多く吐き出す(タスク種類どうしの比較)。
同じ方向が一つの質問の中でも現れた。同じ質問でも、答えの形式によって解き方の露出が変わった。質問が事実型だったり候補が見える形式だったりすると、オープンエンドの生成のときよりも「答えだけ」を出すのがずっと簡単になった。質問の難度や答えの長さだけでは説明できないパターンだ、というのが著者らの観察だ(同じ質問の形式変更の比較)。2つの比較が同じ場所を指している。解き方を止めさせるのは、「止めろ」という指示よりも答えの形式そのものだ。
なぜか。ここから先は観察ではなく仮説だ。2通りの説明が可能だ。一つは、選択肢が与えられるとモデルが答えの候補を自分で作り出す負担が減り、解き方をあまり展開しないという説。もう一つは、内側の計算量はそのままで、出力として出す出し方だけが閉じられるという説だ。この論文は内側を見ていないので、2つのどちらなのかは切り分けられない。測定で確認したのは「形式が変われば挙動が変わる」までで、モデルがなぜそう振る舞うのかは開かれた問いだ。
第三に、自由形式ではトレードオフが現れる。 答えだけを強く要求するほど「答えだけ」の遵守は上がり解き方の露出は減るが、精度は下がりうる。考えを完全にオフにした5つのLLMで、厳格なanswer-onlyプロンプトは平均ETRをほぼ0から約40%に引き上げる代わりに、平均精度を約15ポイント下げた(自由形式タスク、考えをオフにした状態、厳格モードの束の数値)。「答えだけ受け取りつつ精度はそのまま」はタダではない。付け加えると、うまく解けるタスクだからといって解き方を露出しにくいわけでもなかった。推論をうまくやる能力と、推論を止める能力は別物だ。
コストは慎重に読む必要がある。冒頭で推論トークンがコストを膨らませると述べたが、この論文が直接測ったのは「画面に表に出た説明の量と種類」、そして精度だ。出力トークン数や応答時間、モデル内部の演算量は測っていない。だから「説明が減った = コストが減った」とすぐに結びつけないこと。説明が減れば出力トークンも減ってコストが下がる余地はあるが、そのつながりは現場で直接測って確認すべき仕事だ。
測定の枠組み自体に依存性がある。EIRはLLMジャッジに頼る。著者らは正体の秘匿、5ラベルのルーブリック、系統をまたいだジャッジ(Claude Opus 4.8)、人間による検証(アノテーター5名が明示的推論ラベルで一次のGPT-5.5ジャッジと平均98.8%の二値一致)で防御した。それでも、ジャッジベースの指標が完全に中立とは言えない。
処方は次の宿題だ。この論文は思考慣性があることを示したが、モデルをどう直せば「止めろと言われたら止まる」のかは測定の向こう側の問題だ。トレードオフを数字で示しただけで、その曲線を有利に押す学習・デコーディングの技法は後続の課題として残る。数値もベンチマーク6個・モデル6個から出たものなので、別のドメインやより広いモデル群へ一般化できるかは、この範囲では断定できない。
担当チームを一つ決めればいいだけなのに、モデルが「このリクエストは決済フローと関連しており、したがって……」と、割り当ての理由まで長々と書き連ねる。入ってきた作業を素早く仕分けして担当者に渡すトリアージ(分類・選別)の段階でよく見る光景だ。ふつうこの段階は速く安く回したいので、モデルをno-thinkにしたり「説明せず分類結果だけ」と指示したりすることになる。
この論文は、その常識に2か所、注意すべき点があると教えてくれる。トリアージの出力フォーマットが「一文で要約して担当を決めよ」のように開いていると、スイッチを下ろしてもモデルはプロセスを出し続ける。そして無理に答えだけを引き出すと、自由形式で見られたように分類の品質が落ちて誤分類が増えうる。速い経路を作ろうとして、人が差し戻す手戻りを増やすことになるわけだ。
そこで設計をこう変えてみる。トリアージを自由要約にする代わりに、担当候補を選択肢として与え、曖昧なら「要レビュー」に逃がす閉じた形式にする。回答空間を狭めて慣性が生じにくくしようというのだ。そして変える前と後を、誤分類率・処理時間・再割り当て率で並べて測る。フォーマットを閉じたら本当に速くなったのか、代わりに誤分類が増えていないかをログで確認するのだ。論文が自由形式ベンチマークで見たトレードオフが、わたしたちのトリアージでも同じ形なのかは、こうして直接測ってみないとわからない。
まさにこの設計と検証が、ONTLEのAI PMがやる仕事だ。担当カテゴリと例外基準(何を曖昧とみなして人に上げるか)を決め、速い経路(閉じたフォーマット)と深い経路(思考モードをオンにした開放型)を分け、変えた効果を数字で確認する。思考慣性を無理やりへし折る代わりに、慣性が生じにくいインターフェースで迂回し、その結果を指標で検証する側だ。