ある統制実験で、LLMにじゃんけんの相手を真似させてみました。相手がグー・パー・チョキを出した割合は、うまく当てました。ところが「直前に何を出したかに応じて次を決める」という順序ルールを突き止め、最後まで守ることにおいては、繰り返し間違えました。とりわけ二手前まで遡って見なければならないルールで、最も大きく崩れました。
これがなぜ重要かというと、最近LLMを「人間のように振る舞うシミュレーター」として使うことが増えているからです。レコメンドに反応する仮想ユーザー、何ターンもやり取りする相談相手、といった具合に。シミュレーターが見かけの割合だけを当てて、その割合を生み出したルールを外すなら、その上で下した判断も一緒に狂います。表面的な統計を真似る能力と、その統計を生み出したルールを見抜く能力は、思っていた以上にまったく別の能力だったのです。
同じ材料を同じ割合で使った二つの料理でも、作る過程はまったく異なることがありえます。片方は「塩を入れたら次は水」という順序を守り、もう片方は何の順序もなく入れたのかもしれません。完成した一皿だけを見ても、その違いはわかりません。観察された行動は、それを生み出した過程を一つに特定してはくれない — これが論文の出発点です。
LLMが真似る相手の行動も同じです。見かけの材料の割合、つまりどの手をどれくらいの頻度で出したかは同じでも、入れる順序は違いえます。この「調理の順序」が順序ルールです。一手前だけを見るルールが一次依存です。「塩の次は水」のように、すぐ直前の材料だけを見て次を決めます。二手前まで遡って見るルールが二次依存です。「小麦粉と卵を入れたら今度は砂糖」のように。
そこで論文は、行動を完成した料理ではなくレシピとして捉え、三つを別々に採点します。材料の割合が合っているか(頻度)。正しいレシピを思い浮かべられたか(戦略認識)。そのレシピどおり最後まで調理できたか(ルール実行)。要は、一つ目が合っていても二つ目・三つ目は保証されない、ということです。材料の割合がまったく同じでも、片方は毎回同じ分布からランダムに取っただけで、もう片方は順序を守っていたかもしれないのですから。
採点するには正解を知っていなければなりません。相手が実際にどんなルールに従ったのかを研究陣が最初から握っていてこそ、モデルの答えが合っているか間違っているかを分けられるからです。そこで、統制された舞台としてじゃんけんを選びました。毎ラウンド三つのうち一つだけを選ぶ最小限のゲームなので、相手の反応が自然に過去に依存しつつも、出しうる手が少ないため、ルールのレベルまで統制して採点できます。
舞台に上げた相手は二種類です。一つは過去をまったく見ない統計的プレイヤーです。いつも同じ手ばかり出すか、決められた分布から毎回独立に引きます。ここではモデルが全体の行動の割合を復元できるかだけを見ます。もう一つは、直近の数手だけを見て次の手を決める相手で、こうした相手をマルコフプレイヤーと呼びます。直前の一手、前回に二人が出した手の組、あるいは二手前まで — 条件とする過去の長さを変えます。頻度を超えた順序ルールをモデルが推論し、それに従うかを見るほうです。
最後に、じゃんけんという意味そのものを丸ごと取り払った一人用の「続き書き」課題を加えました。見るべき過去の長さを1から8まで伸ばしながら。先の結果が「じゃんけんだから」出たのではないことを確かめるための仕掛けです。実験には最新の巨大モデルから軽量モデルまで入れました。中心となるモデルはDeepSeek-V4-Flash系(deepseek-chat・deepseek-reasoner)とGPT-5・GPT-5-miniで、戦略識別にはGPT-4.1・Gemini 3 Flash・Qwen3-8Bを加えました。提供元もサイズもオープン・クローズドの別も混ぜ、すべて同じ課題指示を受けました。
三つの採点を易しいものから見ていくと、難しいほうへ進むほど成績が下がります。最も易しい頻度 — 相手がグー・パー・チョキを出した全体の割合を復元することは、モデルたちはなかなかうまくやってのけました。合格。問題は残りの二つでした。
二つ目の基準である戦略認識で、最初の弱点が現れます。7つのモデル構成すべてで、過去に条件を課すマルコフ戦略の識別精度が、そうでない戦略より低かったのです。この差は7つのうち6つで統計的に有意で、GPT-5だけが例外でした。
ここで最も鋭い対比が現れます。同じ記録を、LLMではなく古典的な統計モデルに入れたところ、すべての履歴の長さで100%当てました(付録E)。軌跡の中に、正解を見分けるための証拠がすでに十分に含まれている、という意味です。ですからLLMが当てられなかったのは、情報が足りなかったからではなく、その証拠を取り出して使えなかったからです。実際、過去の記録を100ラウンドから1000ラウンドに増やしたところ、識別はよくなるどころか、むしろ悪くなりました。ボトルネックは証拠の量ではなく、その中の構造をつかむ能力だったのです。
三つ目の基準であるルール実行に進むと、さらに大きな問題が明らかになります。まずは噛み合いから確認できます。相手の戦略を当てると、ルール遵守、とりわけ評価区間を通して一度もルールを破らなかったか(厳密ルール一致)がよくなりました。戦略を外したときも完全に見当外れではなく、複数のモデルで、ルールと一致した手の割合がランダムの水準(三つの手のうち一つなので約33%)を上回りました。
ですが、より大きな警告がつきます。モデルは相手を正確に見分けておきながら、いざそのルールどおりに行動を続けていく段になると、さらに大きく崩れたのです。分布を真似る課題では、正解の分布との誤差が小さいほどよいのですが(この誤差をMSEと呼びます)、マルコフの相手を真似るときの誤差が、統計的な相手を真似るときより平均で8〜9%大きくなりました。ここまでは大したことがないように見えます。ところがモデルが相手の戦略を正確に当てた場合だけを取り出すと、この差は100%を超えます。誤差が二倍以上に開いたのです。相手が誰かを知っていてなお、順序ルールの実行で崩れたという信号です。
逆方向もありました。戦略は外したのに、見かけの行動はそれらしい、という場合です。誤って復元した戦略のかなりの数が、目標の頻度には近かったのです(282個中41.8%)。見かけの頻度が、間違った順序ルールをしばしば覆い隠していたわけです。見分けることと実行することは別々に動く、ということを両側から示しています。
どんな構造がルール実行を最も難しくするのかは、一つのモデル(deepseek-reasoner)に絞って見た実験ではっきりします。前回に二人が出した手の組(共同状態)を条件に加えることは、大きな障害ではありませんでした。一次であれ二次であれ、共同状態の条件にはよく耐えました。このモデルが崩れた地点は、二手前を覚えていなければならないルール、すなわち二次依存でした。
二つの二次設定はいずれも、一次より厳密ルール一致が低くなりました。ただし、ルールと一致した手の割合は比較的高く保たれました。ルールの断片は復元するものの、その断片を一つの一貫した二次ルールへとまとめるところで足を滑らせる、という意味に読めます。その間も戦略識別は高かったので、このモデルでも難しいのは見分けることではなく実行することでした。
では、この失敗は、目の前のルールを理解して適用すること自体ができないのでしょうか、それとも長い流れにわたって維持することができないのでしょうか。この二つを切り分ける診断が「ティーチャーフォーシング」です。平たく言えば、正解の記録を最初から最後まですべて見せたうえで、すぐ次の一手だけを当てさせるやり方です。答案を横に広げておいて、たった一問だけ解かせるようなものです。ここでも間違えるなら、目の前のルールを適用する能力そのものが問題であり(適用の失敗)、これはうまくいくのに一人で長く生成するときだけ揺らぐのなら、ルールは知っていても最後まで引っ張っていけない、ということです(維持の失敗)。ランダムが約33%の課題で、結果はこうでした。
| モデル | 全体 | 戦略を当てた場合のみ |
|---|---|---|
| DeepSeek Chat | 52.5% | 66.7% |
| DeepSeek Reasoner | 93.3% | 97.2% |
| GPT-5 | 82.5% | 89.5% |
| GPT-5-mini | 54.2% | 70.0% |
右の列は、モデルが相手の戦略を正しく当てた場合だけを選び出した数値です。DeepSeek ReasonerとGPT-5は、一手だけを当てさせればよく当てました。これらの自由生成での誤りは、「ルールを知らないこと」よりも「長い流れで維持できないこと」のほうを指しています。逆にDeepSeek ChatとGPT-5-miniは、一手だけを当てさせても揺らいだので、目の前のルール適用そのものがボトルネックに近いといえます。モデルを大きくすれば弱点が消えた、というより、弱点が「適用」から「維持」へと場所を移した、というほうが近いのです。
ルール遵守は、モデルが自ら作り出した記録の上で測るため、序盤のミスが後ろまで広がります。そのため品質は、生成の序盤でほぼ決まりました。強いモデルは序盤に少し下がったあと安定し、弱いモデルはおおむね最初から低いまま平らでした。
じゃんけんの意味を完全に取り払った一人用の続き書きでも、絵柄は同じでした。見るべき過去の長さ(n)が1から4あたりまでは、文脈を活用する利得はむしろ正に出ることが多かったのですが、nを8まで伸ばすと、ほとんどのモデルでその利得が急激に落ち込みました。決定的なのは、前のほうだけを見て単純な頻度で当てる推定器が、この長く遡る区間ではLLMの自由生成より安定していた、という点です。状態をきちんと書きとめておく単純な古典的手法が、まさにその区間でLLMを上回りました。
この論文の問いは「勝ったか」ではなく「正しい方法で勝ったか」です。ですから結果をすべてのLLM課題にそのまま移すのは難しく、著者たちも線をはっきり引いています。戦略をあらかじめ定めておいた閉じた環境なので因果はきれいですが、実際の人間の行動はもっと雑然としていて開かれています。軌跡をどんな形式で見せるかによって、結果が揺らぐ余地もあります(付録H)。じゃんけんと一人用の課題はあえて最小化した環境なので、ツールの使用や長い対話のような実際の課題へ広げることは「示唆」であって「立証」ではありません。
ただし、じゃんけんの意味を消した一人用の課題でも高次依存の失敗が同じように現れた点は、これがじゃんけんだけの現象ではないことを裏づけます。そして二次依存を深く掘った実験は一つのモデルの結果なので、「二次が壁」という言い方は、そのモデルで最も強く成り立ちます。複数のモデルへ広げることは、宿題として残りました。
ONTLEは顧客プロジェクトごとにAIプロジェクトマネージャーを派遣します。そのマネージャーが毎日ぶつかる判断が一つあります。「決定を待っている」案件を、顧客の応答がないときに自動で次の段階へ進めるかどうか、です(ONTLEには、一定時間応答がなければ自動で進める設定があります)。
ここに心惹かれる誘惑がつきまといます。「この顧客はいつも承認してくれる方だから、待たずに先に進めよう」。過去の記録から「承認率が高い」という平均を取り出して、進行を勧めるのは簡単です。問題はその次です。ある顧客の本当の決定ルールが、「費用の内訳表を先に見せれば承認、そうでなければ保留」のように、直前のやり取りに左右される条件つきだったら? 承認率という平均は高くても、今回の案件でその条件を飛ばせば、結果は保留へとひっくり返ります。
この論文が私たちに与えてくれたのは、答えではなく名前です。先ほど見たあの区別 — 平均の頻度を当てる能力と、条件つきのルールを実行する能力は別もので、後者のほうが弱い、ということ — に鋭い名前をつけ、私たちが漠然と警戒していた危険を、くっきりとさせてくれました。
ですから、この件でONTLEはこう動きます。この顧客の高い承認率はあくまで参考にとどめ、自動進行の根拠にはしません。「たいてい承認する」が「今回も承認する」を保証しないからです。代わりに、今回の案件がその顧客の承認条件を実際に満たしているか — 費用の内訳表を先に見せたか — を別途点検します。そして、その点検に「はい」と答えられるときだけ自動進行が実行されるよう、判定は人の目分量ではなくコードが握ります。取り消しにくい自動進行・支払い・デプロイであるほど、そうします。
AI PMは「何をするか」を提案し、「いつ自動で進めるか」という条件つきの判定はコードが握る。承認率の予測がどれほどそれらしくても、今回の案件が承認条件を満たしているかは別途確認する。この一行が、性急な自動化が顧客の隠れた決定ルールを誤解し、信頼を壊してしまうことを防ぎます。
論文はまさにその条件を含んでいます。5.2節でルールと遷移確率をモデルに直接提供する設定を置いていますが、5.3節と付録U・Wは、そうやってルールを口移しで与えても、高次依存での失敗が一貫して解消されるわけではなかったと報告しています。じゃんけん実験でも、候補となる戦略のルールは説明したうえで、実際の相手がそのうちどの戦略を使っているのかをモデルに推論させました。ですから「ルールをそのまま書いてあげたらどうなるか」は、この論文が実際に掘り下げた問いであり、答えは「情報をもっと与えても、ひとりでに解けるわけではなかった」に近いのです。
この研究は「直し方」ではなく「どこでどのように足を滑らせるか」を測る診断研究です。すべてのモデルが同じ課題指示を受けており、特定のモデルをこの課題に合わせて別途学習させたわけではありません。ですから「学習で解決できるか」は、この結果だけでは言えません。いま確かなのはどこが弱いかだけであり、その弱点を埋める方法は別の問いです。
その100%は、候補となるルールが閉じていて、状態をきちんと追跡できる統制された環境で出た数値です。実際の業務はそれほどきれいではありません。ですから要点は「LLMを捨てよ」ではなく、役割を分けよ、ということです。高次依存が肝となる要所には状態を追跡する明示的な推定器を置き、LLMはその推定器が弱い場所で使う、という具合です。