この論文は、ロボット操作（manipulation）ポリシーが必ず知っておくべき「どの物体が重要で、それがどこにあるのか」を学習データ任せにせず、モデル構造そのものに組み込んだ新しい基盤モデルのパラダイム、GAM（Grounded Action Models）を提案する。言語・点（point）・ボックス（box）で対象物体を指定すると、それを物体中心の表現へと変換して行動を予測し、シミュレーションと実機の両方で、環境が変化する状況（物体位置の変更、新しい対象の指定など）に特に強い性能を示した。
ロボットに「テーブルの上のコップを取って」と指示するには、ロボットは二つのことを知っていなければならない。第一に、いま重要な物体が何か（コップ）。第二に、その物体が正確にどこにあるか（三次元の位置とサイズ）。人間にとっては当たり前のことだが、近年のロボット基盤モデルは、この「何を・どこで」を明示的に扱っていない。
現在のロボット基盤モデルは、たいてい別の目的で学習されたバックボーン（backbone）の上に築かれている。たとえばVLA（vision-language-action、視覚-言語-行動モデル）は言語モデルから、WAM（world-action model、世界-行動モデル）は映像生成モデルから出発する。問題は、これらのバックボーンが「物体がメートル単位で正確にどこにあるか」という定量的な位置情報（metric grounding）を直接要求しない点にある。結局ロボットは、この感覚をロボットのデモンストレーション（demonstration）データから暗黙的に、おまけのように学ばなければならない。
たとえるなら、料理のレシピばかりたくさん読んだ人に「あの鍋をつかんで」と指示するようなものだ。レシピには鍋をどこでどうつかむかは書かれていないので、この人は数多くの実習を通して感覚でつかむしかない。そうして台所の配置が少し変わっただけで（鍋を別の場所に移すと）戸惑ってしまう。既存のモデルが環境の変化に弱いのは、まさにここに理由がある。
GAMの核心は「行動を予測する前に、対象物体を三次元でまず押さえておこう」というものだ。ここで「押さえる」というのがまさに3Dグラウンディング（grounding、言語・指示を実空間上の対象と結びつけること）である。
動作の順序を日常のたとえで解きほぐすとこうなる。
もう一つ重要な設計は、GAMが二通りの使い方ができる点だ。単独で自律的に動くこともできるし、上位の計画者（high-level planner）が指揮する低レベルのコントローラ（low-level controller）として組み込むこともできる。後者の場合、上位の計画者が言語・点・ボックスという多様な入力方式でGAMに「次はこれをやれ」と指示し、これによって長い時間スパンのタスク（long-horizon）や記憶に依存するタスク（memory-dependent、先に何をしたかを覚えていないと解けないタスク）も扱える。現場の指揮官（計画者）と熟練工（GAM）の分業構造と見ればよい。
アブストラクトが提示する成果は、二種類のシミュレーションと二台の実機から得られている。以下の数値はすべて、アブストラクトに明記されたものだけを写したものだ。
| ベンチマーク | GAM | 比較対象 | 主な条件 |
|---|---|---|---|
| RoboTwin 2.0（50タスク平均） | 55.3% | Spatial Forcing 52.0% | 行動ポリシーをクリーンな場面のデモのみで学習 |
| RoboTwin 2.0（場面のランダム化） | 47.6% | Abot-M0 30.4% | 場面 randomization 条件 |
| LIBERO-PRO（16の撹乱設定の平均） | 61% | π_{0.5} 53% | 対象の移動・新規指定時に向上幅が最大 |
| 実機の両腕ロボット YAM（視覚の変化） | 20回中17回成功 | π_{0.5} 20回中4回 | visual shift 条件 |
| Franka + Molmo2 計画者の組み合わせ | ID 64.7% / OOD 49.8% ステップ完了 | — | 長期・記憶依存タスク |
ここで注目すべき点がいくつかある。
第一に、RoboTwin 2.0でGAMはクリーンな場面（clean-scene）のデモのみで学習したにもかかわらず、場面がランダムに散らかった条件で47.6%を出した。比較対象（Abot-M0 30.4%）との差が大きい。「整頓された台所でだけ学んだのに、散らかった台所でもうまくやる」という意味であり、3Dグラウンディングが環境の変化に対する頑健性（robustness）をもたらすという根拠だ。
第二に、LIBERO-PROで「対象が移動されたり（relocated）新たに指定されたり（newly designated）するときに向上幅が最も大きかった」という記述は、GAMのアイデンティティをとりわけよく示している。対象物体を明示的に押さえておく設計が、まさにそうした状況で力を発揮するのだ。
第三に、実機の両腕ロボットで視覚の変化が生じたときに20回中17回成功（π_{0.5}は4回）という差は、シミュレーションを越えて物理世界でも効果が続いたことを示唆する。
ただし、これらの数値はいずれも「特定のベンチマークの特定の条件」での成績であるという点は、はっきりさせておく必要がある。55.3%、61%といった平均成功率は依然として半分を少し超える水準であり、ロボット操作が「解けた」という意味ではなく、「既存比で有意に良くなった」という意味だ。
アブストラクトだけでも率直に指摘できる点がある。
この記事は論文のアブストラクトを根拠としており、アブストラクトにないデータセット規模・学習コスト・詳細なアーキテクチャの数値は扱っていない。
ONTLEは、人の繰り返し業務を肩代わりするAIプロジェクトマネージャー派遣型SaaSだ。ロボットアームを扱う論文だが、ここから私たちが実際のプロダクトに持ち込めそうな示唆は次のとおりだ。以下は、ロボットの実験結果をソフトウェアエージェントへそのまま移植できるという意味ではなく、設計原理のレベルでの類比的な参考である。
第一に、「何を・どこで」を暗黙の学習任せにせず、構造で押さえよ。 GAMが対象物体を明示的な表現で固定するように、AI PMエージェントも「いま扱っている対象が何か」（どのプロジェクト・タスク・ドキュメントか）を各ステップで明示的に押さえておく必要がある。これが揺らぐと、環境（会話の文脈）が少し変わっただけで見当違いのことをする。RAG（retrieval-augmented generation、検索拡張生成）で「対象ドキュメントを正確に指定するグラウンディング」が回答品質を左右するのと同じ理屈だ。
第二に、指定方式の多様性。 GAMが言語・点・ボックスをすべて受け入れるように、実務のエージェントも、ユーザーが言葉で指示しようと、特定の項目をクリックして指名しようと、範囲を指定しようと、同一の内部表現へ収束させれば、指示の曖昧さが減る。
第三に、計画者と実行者の分業。 GAMの「上位計画者 + 低レベルコントローラ」の構造は、ONTLEが目指す「PMエージェント（計画） + 実務エージェント（実行）」の分業と構造的に似ている。GAMが長い時間スパンのタスクと記憶依存のタスクをこの分離構造で扱うというアブストラクトの記述は、私たちのエージェント・オーケストレーション設計の方向性と波長が合う参考事例だ。ただし、ロボット操作の実験結果がソフトウェアエージェントの設計を実証してくれるわけではない。
第四に、頑健性はデータ量ではなく表現から来る。 「クリーンな場面だけ学習したのに散らかった場面でも強かった」という結果は、やみくもにより多くのデータを注ぐより、対象をきちんと押さえる表現を設計するほうが変化に強いシステムを作るという点を示唆する。足りない人手を補う実務の自動化において、例外的な状況ごとにデータを積み上げるより、「何が重要か」を構造で固定するアプローチのほうが経済的でありうる。
アブストラクトを基準にすると、置き換えを主張するというより、3Dグラウンディングを組み込んだ新しい基盤モデルのパラダイムを提案しています。複数のベンチマークで比較モデル（Spatial Forcing、Abot-M0、π_{0.5} など）より高い成功率を示しましたが、絶対的な成功率は55〜61%水準であり、完全な置き換えを語るには早い段階です。
言語や点・ボックスのような指示を、実際の三次元空間上の対象物体と結びつけることです。GAMは対象の視覚的特徴だけでなく、実際のサイズ・位置といった定量的な幾何情報（metric geometry）を物体中心の表現に含め、「何を」と「どこで」をともに押さえます。
アブストラクトによると、GAMはクリーンな場面のデモのみで学習したにもかかわらず、場面ランダム化の条件で47.6%（比較対象30.4%）を出し、対象が移動されたり新たに指定されたりするときに向上幅が最も大きかったとされています。対象物体を明示的に押さえる設計のおかげで、周囲が揺らいでも焦点を維持するものと解釈されます。
あります。「対象を構造で明示する」「多様な指示方式を一つの表現へ収束させる」「計画者と実行者の分業」「データ量より表現で頑健性を確保する」という四つは、ロボット実験をソフトウェアへそのまま移したものではありませんが、設計原理のレベルで参考にできる類比です。