長時間のタスクを任されたAIエージェントを観察していると、奇妙な光景に出くわす。休まず何かをしている。検索し、ファイルを開き、コマンドを打つ。ところが一時間たっても課題は一歩も進んでいない。同じ行動を繰り返し、すでに通り過ぎた状態に逆戻りし、今すぐには役に立たない情報ばかりをかき集める。予算が尽きるまで「作業はしているのに前進はない」状態。この論文はこれを思い込みの罠(Belief Trapping)と呼ぶ。まさにこの一点がこの記事の中心だ。
ここでエージェントとは、人間の代わりに複数のステップを自力で処理するAIを指す。こうした空回りはよく「記憶が足りないから」と診断される。だからコンテキストウィンドウを広げ、外部メモリを付け、会話を圧縮・要約する手法が次々と生まれた。だが論文の主張は違う。問題は記憶ではなく判断だ。今の状況がどうなっているのかについての、一貫した一枚の絵がないのである。
倉庫を思い浮かべてほしい。どれだけ箱を積み上げても、「今、在庫は何個あってどこにあるか」を記した台帳がなければ、必要になるたびに箱を一から漁り直すはめになる。エージェントがたどってきた行動と観察の生の記録——これを原始的な軌跡(raw trajectory)と呼ぶ——がまさに積み上げた箱だ。証拠はすべてそこにある。ただ過去の証拠と途中の判断が時系列でごちゃ混ぜになっているだけだ。
しかも箱はじっとしていない。エージェントが行動すれば環境が変わり、新しい観察がついさっきの推論をひっくり返す。だから「どの事実がまだ有効か、どの推論が依然として根拠を持つか、何がまだ終わっていないか」を見分けるのが、時間がたつほど難しくなっていく。
メモリ手法はこの箱の山を選り分けて圧縮する方向だ。無駄ではない。だが箱に手が届くからといって、台帳がひとりでに書かれるわけではない。著者らは次の課題を「記録の保管」ではなく「現在の状態の維持」だと言い切る。つまり、台帳を別に書き、それを更新し続けようということだ。
発想そのものは初めてではない。古典的なエージェント理論にも、「今、世界がどの状態である確率がどれくらいか」を推定し、観察が入るたびに更新する枠組みがある(この推定値を信念状態、belief stateと呼ぶ)。ただ、人間ではなく言語モデルがこの台帳を書き始めると、二つの故障が生じる。
一つめ、台帳がみずから矛盾する。論文の例が鮮やかだ。電子レンジを「開いている」と同時に「閉じている」と記してしまえば、マグカップを入れる前に扉を開けるべきかどうかさえわからない。
二つめ、矛盾がなくてもエージェントが足踏みする。先に述べた思い込みの罠だ。矛盾は間違った台帳、罠は間違ってはいないのに前に進めない台帳。この二つをどう扱うかがPoSの勝負どころになる。
PoS(Progression of States)はこの問題を三段階の仕掛けで攻める。まず今の状況についての信念を体系的に記録し(信念モデリング)、その信念が道に迷わないよう行動を一つひとつ検証し(信念に基づく相互作用)、それでも罠にはまれば検知して引きずり出す(罠の検知と回復)。倉庫にたとえれば、台帳をきちんと書き、その台帳を几帳面な管理者が検収し、棚卸しが合わないとき原因を突き止めて正す、この三つだ。
PoSの信念は四つのかけらからなる。今の世界状態の推定、課題の目標、「まだわからないこと」(知識のギャップ)、「まだ達成できていないこと」(達成のギャップ)。このうち世界状態は、モノや行為者を頂点に置き、それぞれの現在の理解を自然言語で記し、それらがどう絡み合うかを線で結ぶ形で書く。各項目には出典と信頼度が、可能なら根拠まで添えられる。
賢い選択は、世界を漏れなく描こうとはしない点だ。行動の可能性、結果の判定、目標の達成に影響するものだけを台帳に残す。台帳が倉庫全体の図面ではなく「今、重要なもの」の要約であってこそ役に立つ。
二つのギャップを分けた設計が肝だ。わからないことと、できていないことは処方が違う。わからなければもっと調べねばならず、できていなければ行動に移さねばならない。両者を一緒くたにすると、「情報をもっと掘るべき場面で、見当違いに実行から試みる」混線が起きる。
台帳にはギャップがいくつも記されていることがある。全部が同じように急ぎだと放っておくと、エージェントはあちこち首を突っ込んで一つも終えられない。そこでPoSは台帳全体はそのままにしつつ、いま扱うのに最も値打ちのある一つを活動中のギャップとして選び、そこに集中する。
その間、Belief Sentinelが働く。名のとおり台帳を守る番人、倉庫でいえば新しく書かれる一行ごとに前後が合っているか、証拠が裏づけているかを検収する几帳面な管理者だ。先ほどの電子レンジの矛盾を捕まえるのが、まさにこの管理者である。
著者らが鋭く切り込んだのがここだ。似た問題意識を持つ既存研究はたいていそこで止まる。学習中に無駄な軌跡を切り捨てたり、特定の条件下で行動を止める仕掛けで非生産的な情報収集を断つやり方だ。断って止めるだけにとどまる。PoSは推論が回っている最中に、進捗そのものをよみがえらせようとする。棚卸しが合わなければ倉庫の扉を閉めるのではなく、なぜ合わないのか原因を突き止めて正す方だ。
まず三つのシグナルで台帳の健康を見る。同じギャップがずっと解けないか、進捗が止まっていないか、信念が同じところを堂々巡りしていないか。
ここで終わりなら「停止」と変わらない。核心は次だ。罠の性格を二つの軸に切り分けて診断する。エージェントがどう空回りしているか、そして詰まっているギャップが、わからない側かできていない側か。その診断に合わせて以後の行動を別の方向へ押す。同じように詰まっていても処方が分かれる。情報がなくて詰まったなら「もっと調べろ」と、やるべきことができずに詰まったなら「アプローチを変えて実行せよ」と押し出す。わからないこととできていないことを、はじめから分けて記しておいた台帳の設計が、まさにこの瞬間、異なる救出方法へとつながる。
評価は四つのベンチマークで行われた。手足を動かして課題をこなす実行側としてALFWorldとLOCA-Bench、原因を突き止める診断側としてRCA-100とClinDiagを使った。そして、エージェントの頭脳の役を担う基盤言語モデル——これをバックボーンと呼ぶ——を三種類に取り替えながら回した。PoSは四つのベンチマークすべてで最も高い総合性能を出した。
ベンチマークごとに測る物差しが違う。ALFWorldは課題を最後までやり遂げたかを見る全体成功率で評価し、RCA-100は欠陥の種類と根本原因の対象の両方を当てて初めて得点する結合精度で評価する。結合精度は複数の判定を一度にすべて当てて初めて得点する、つまり一つでも外せば0点という厳しい物差しだ。両ベンチマークともPoSは最も強い既存手法を上回った。さらに重要なのは、バックボーンを差し替えてもこの優位が保たれた点だ。特定のモデルの恩恵を受けたのではなく、枠組みそのものが働いたという意味である。
実験でさらに興味深いのはアブレーション実験だ。構成要素を一つずつ外して各自の寄与度を測る方法だが、ここでは台帳を検収し(一貫性検証)、罠から引きずり出す(回復)という二つの軸が、信念を明示的に書くことと同じくらい重要だと出た。台帳を書くだけでは足りない。検収と救出が裏で支えてこそ、ようやく機能する。著者らは、既存のコンテキスト管理手法が原始的な軌跡を必ずしも改善しないとも報告している。箱を整理するだけではだめだ、という同じ話だ。コンテキストが大きくなるときの頑健性もあわせて確認された。
ただではない。台帳を毎ステップ書いて検収する作業は、追加のトークンと推論を要求する。論文にはトークン消費と性能のあいだのトレードオフ分析が載っている。性能は上がるが、コストも一緒に上がる。だから「どれだけ長いタスクに、どれだけ高いコストをかけて台帳を維持する価値があるか」が、導入を分ける実質的な問いになる。短く終わる仕事にまで毎ステップ検収をかければ、得るものより費やすものが大きくなりかねない。
二つめの限界はもっと根本的だ。著者らは「より良い意思決定コンテキストが、実行能力やドメイン知識を代替するわけではない」と言い切る。台帳は考えをくっきりさせてくれる道具にすぎず、そもそも持っていなかった実力や分野知識を生み出す魔法ではない。
残る問いもある。世界状態を「重要なものだけ」残す設計は効率的だが、何が重要かを誤って判断すれば、肝心の必要な事実を取りこぼす。その選別そのものが言語モデルの判断に頼っている以上、番人がどこで境界事例を見落とすのかは、さらに掘り下げるべき点だ。
では、この概念は実際の現場でどう使われるのか。私たちが日々向き合うAI PMの問題を、思い込みの罠というレンズで覗いてみると、かなり具体的な絵が見えてくる。
ONTLEのAI PMが、ある顧客プロジェクトを数週間にわたって引っ張っている最中だとしよう。ある日、顧客が「納期を2週間前倒ししてほしい」と依頼してくる。会話ログはすでに数百行だ。ログだけを長く握ったPMは、毎回最初から振り返る。どの作業が終わったか、何が決定待ちか、前倒しした納期のために何を諦めるべきかを、ログから再構成する。その再構成が毎回少しずつずれていく瞬間、まさにそこが思い込みの罠が芽吹く場所だ。すでに確定した範囲をまた問い、終わった作業に再び手をつけ、今すぐ要らない資料ばかりを集める。顧客は「作業はずっとしているのに、なぜ終わらないのか」と感じる。
ONTLEはすでに顧客画面でプロジェクトの状態を6種に固定し、作業を時系列の流れで見せている。人間が見るために作った台帳だ。PoSが加えるのは、同じ台帳を人間用の画面にとどめず、PMの意思決定の材料としても使おうということだ。納期変更が入った瞬間、PMは「今の信念」を取り出して分けて記す。まだわからないことは「顧客が品質をどこまで譲歩するか」(知識のギャップ)、まだ達成できていないことは「前倒しした日程に合わせた作業の再配置」(達成のギャップ)だ。
ここから先は論文が検証した結果ではなく、私たちが思い描く構想だ。ONTLEのauto_proceedゲートは、顧客の返答を待つか次のステップへ進むかを自動で判断する仕掛けだ。ここにPoS流のシグナルを乗せる。PMが同じ納期の件を堂々巡りし始めたら、ゲートは二つの軸で診断する。いま詰まっているのが「顧客が品質の譲歩範囲を教えてくれないから」なのか、それとも「再配置の方法が見つからないから」なのか。前者なら堂々巡りを止めて、顧客にたった一つの明確な質問を上げる。後者なら資料をさらに集めるだけの行いを断ち、日程を組むアプローチそのものを変える。わからないこととできていないことを分けておいた台帳が、ここで「質問せよ」と「方法を変えよ」という異なる処方へと分かれる。
コスト計算も一緒についてくる。ONTLEはステップごとに違うモデルを使う。だとすれば、台帳の維持と検収はチャットや受付のように判断が重いステップに厚くかけ、単純な実行ステップは軽く済ませるのが現実的だ。納期変更のような決定は高いコストをかけて検収する値打ちがあるが、ファイル名を変える仕事にまで毎回台帳を検収する理由はない。
厳格な形式は、枠に合わない事実を受け止められません。長時間のタスクで出くわす状況は、あらかじめ決めた枠に全部は収まりにくいものです。PoSは状態を自然言語の説明で記しつつ、出典・信頼度・根拠を一緒に添えることで、柔軟さは生かし、検証可能性は確保する方を選びました。その柔軟さを、番人の一貫性チェックが裏で支えます。
信念の全体は消えず、そのまま維持されます。集中は「いま何を扱うか」の選択にすぎず、残りのギャップは台帳に残っています。状況が変わって別のギャップのほうが値打ちを増せば、活動中のギャップは選び直されます。一度に一つずつ終えつつ、何を先にやるかは選び続ける構造です。
性格が違う仕事だからです。実行課題は環境を変える行動が連なり、診断課題は証拠を集めて原因を突き止める推論が中心です。両方で優位が出たということは、台帳方式が特定の課題タイプにだけ効くコツではない、という根拠になります。