Spatial-Interactorは、視覚言語モデル(VLM)に、静止画像への一問一答ではなく「観察 → 行動 → 新しい観察」とつながっていく相互作用の軌跡を通じて、物理世界の状態変化を学ばせるフレームワークだ。物体が動いたり視点が変わったりしたときに局所的な状態変化を認識し、それを長い軌跡にわたって統合することで「いま空間はどんな状態にあるか」を更新し続ける能力を目標に据えている。そのためにL1・L2・L3という3段階のカリキュラム、シミュレーションと実世界の軌跡から作ったLSI-108Kデータセット、そしてSFTとOn-Policy Distillationを組み合わせた2段階の学習戦略を提案する。
人は部屋の中でコップを動かすと「コップはいま食卓の左側にある」と自然に更新する。顔を向けて視点が変わっても、物体同士の相対的な位置を頭の中で計算し直す。こうして動きや視点の変化が生む「状態遷移(state transition)」を追い続けながら最新の空間地図を保つことが、空間推論の核心だ。
問題は、いまのVLMがここに弱いという点だ。アブストラクトは、既存のVLMが二つの能力のどちらも限定的だと指摘する。一つは物体の移動や視点の変化が引き起こす局所的な状態変化を認識する能力、もう一つはそれらの変化を長い軌跡にわたって統合し空間状態を更新する能力である。
なぜこうなってしまうのか。アブストラクトによれば、現在の空間学習は主に「静的な問い」に集中している。つまり「この物体の色は何か」「AはBの左にあるか」のように、一つの場面の中での属性・関係を問う方式だ。この方式では、状態がどう遷移するか(transition)についての直接的な教師信号(supervision)をほとんど与えられない。たとえるなら、アルバムをめくるだけで世界を学ぼうとするようなものだ。一枚一枚の写真の中の正解は当てられても、写真と写真の間に何が起きたのかは学べない。
この論文の出発点はシンプルだが力強い。相互作用の軌跡(interaction trajectory)は、それ自体が「以前の観察 → 行動 → 以後の観察」を自然に結びつける、という点だ。つまり軌跡データは、局所的な状態変化についての直接的な教師信号をタダで提供してくれる。さらに、完結した軌跡全体は、連続する変化どうしの依存関係までも浮かび上がらせる。前の行動が生んだ結果が、次の行動の前提になるという流れのことだ。
Spatial-Interactorは、この学習の過程を難易度順に3段階のカリキュラムとして組み立てる。
| 段階 | 名称 | 学ぶこと |
|---|---|---|
| L1 | 受動的な世界状態の遷移 (passive world-state transitions) | 物体の移動など、外部世界で起きる変化 |
| L2 | 能動的な自己状態の遷移 (active self-state transitions) | 観察者(エージェント)自身の視点・位置の変化 |
| L3 | 長期の相互作用軌跡 (long-horizon interaction trajectories) | 連続する変化を長い時間にわたって統合する |
かみ砕いて言えば、L1は「あそこで何が変わったか」(世界が変わる)を、L2は「自分が動いて視界がどう変わったか」(自分が変わる)を学び、L3はこの二つをつなげて「何度もの変化を経たいまの空間はどんな状態か」を保つ段階だ。子どもがまず物体が転がるのを見て、次に自分で歩き回って部屋を見て、最後にその経験を総合して家の構造を頭の中に描く——そんな順序に似ている。
データはこの目標に合わせて、LSI-108K(Learning from Spatial Interaction)データセットを新たに構築した。シミュレーションの軌跡と実世界の軌跡の両方から作り、各段階の目標に整合した課題で構成したとアブストラクトは述べている。
学習は2段階で進む。
ここが面白いところだ。教師は「正解の要約」にあたる区間ごとの変化説明をすでに見た状態なので、より詳しく知っている。生徒はそうしたヒントなしに、自力で軌跡をたどって推論するのだが、教師がその推論を修正してくれる。たとえるなら、解答の肝になる手がかりを見た先輩が、素手で問題を解く後輩のそばで「その段階の推論がずれている」と指摘してくれる構図だ。こうすることで、生徒が連続する変化を長い軌跡にわたって自力で統合する方法を学ぶように仕向ける。
アブストラクトは具体的な数値を示さず、定性的に成果を述べている。複数のVLMと複数の空間ベンチマークにまたがって実験し、二つの軸のどちらでも一貫した向上(consistent gains)を確認したと記している。一つは局所的な変化のモデリング(local transition modeling)、もう一つは長期的な統合(long-horizon integration)だ。
意味を整理するとこうなる。第一に、向上が特定のモデル一つにとどまらず複数のVLMで現れたという点は、この方法が特定アーキテクチャのトリックではなく「データ・学習方式」の寄与であることを示唆する。第二に、改善が先に指摘した二つの弱点(局所認識 + 長期統合)にちょうど対応しているという点で、問題の定義と解法が一貫してつながっている。ただし、正確な向上幅や、どのベンチマークでどれだけ上がったのかはアブストラクトだけでは分からないので、詳細な数値は本文を確認する必要がある。
アブストラクトの範囲で正直に残る問いがある。
ONTLEは、AIプロジェクトマネージャーを派遣型で提供するSaaSだ。物理的な空間推論が直接の業務領域というわけではないが、この論文が投げかける学習設計の教訓は、私たちが作るエージェントにもそのまま当てはまる。
まとめると、Spatial-Interactorは「空間」という具体的な題材を扱っているが、「変化を直接監督し、易しいものから長い統合へ、特権的な教師で自分の推論を修正する」という学習の哲学は、ドメインを越えてエージェント設計一般に示唆を与えてくれる。
視覚言語モデル(VLM)に、物体の移動や視点の変化が生む局所的な状態変化を認識させ、それを長い相互作用軌跡にわたって統合し、最新の空間状態を保たせるように学習させます。静止画像への一問一答ではなく、「観察-行動-観察」の軌跡を教師信号として使います。
L1は物体の移動のように外部世界で起きる受動的な世界状態の遷移、L2は観察者自身の視点・位置が変わる能動的な自己状態の遷移、L3はこれらの変化を長い時間にわたって統合する長期軌跡を扱います。
教師側の分岐に区間単位の変化説明というヒントをあらかじめ与え、その教師が、生徒が自力で生成した推論過程(on-policy CoT)を監督・修正する方式です。ヒントを見た教師が、素手で解く生徒の思考を正すことで、連続する変化の統合を教えます。
アブストラクトは、複数のVLMと複数の空間ベンチマークで、局所的な変化のモデリングと長期的な統合のどちらも一貫した向上を確認したと定性的に述べています。具体的な数値はアブストラクトに示されていないため、本文で確認する必要があります。