画面の左に黒い影がひとつ浮かんでいる。右には3Dの物体が斜めに傾いて置かれている。やることは単純だ。物体を少しずつ回して、その物体が落とす影を、左の目標の影とぴったり重ね合わせる。
一度では終わらない。いまの姿を見て → ひとコマ回して → 変わった姿をまた見て → さらに回す。目標に合うまでこれを繰り返す。こうして「行動し、結果をもう一度観察して、次の行動を正す」という反復構造を閉ループ(closed-loop)と呼ぶ。ロボットアームであれ、画面を操作するソフトウェアエージェントであれ、現実のエージェントはみなこの中で生きている。
厦門大・南洋理工大の研究チームによるRoTA-Benchは、まさにこの閉ループの中で、最新の視覚言語モデル(VLM、画像と文章をまとめて扱うモデル)がどこまでできるのかを測るベンチマークだ。結果は一方に大きく傾いた。初回の集計で、評価したモデルのうち最も健闘したGPT-5.6-Solが100課題中17%を解いた。学部生20名は同じテストセットを通算で4周し、すべて解いた。このベンチマークが狙うのはひとつの区別だ。画像を見分ける能力と、見たものを正確な3D操作に変換する能力は、別々の問題だということ。
VLMは最近、絵をかなり上手に読む。写真に写っているものが何かを当て、左にあるか右にあるかも答える。ところがこうした能力は、ほとんどが「固定された一枚の画像を見て一度だけ答える」やり方で測られてきた。論文はこうした評価を静的(static)ベンチマークと呼ぶ。行動もなければ、結果を返すフィードバックループもない。
インタラクティブなベンチマークがなかったわけではない。ただ論文が整理したところでは、それぞれに穴がある。ウェブブラウジングやOS操作は2D平面の画面の中でしか動かない。迷路探索やスライドタイルパズルは、縦横に整列したグリッド上で経路を探す問題であり、物体を回す回転姿勢(pose)の変化がそもそも存在しない。だから「3Dの向きを目で読み取って行動に移す」まさにその能力を狙い撃ちで測る場が空白になっていた。3Dをモデルに直接注入する(座標系・3D表現を別途与える)アプローチとも一線を画す。RoTA-Benchはそうした補助装置なしに、モデルが2Dの画面だけを見て3D理解に到達できるかを見る。
ここにひとつの設計判断が敷かれている。研究チームは物理的な操作を回転だけに限定した。理由は二つだ。第一に、物体を横に回すと輪郭が大きく変わり、一部が後ろに隠れる — 言葉で書き取りにくい、目でしか解けない視覚問題になる。第二に、回転だけを使えば、押す・摩擦・握り方といった雑多な物理変数が入り込まず、空間の向きを読む能力だけをきれいに切り出して見られる。
課題を一枚の情景として描くとこうなる。目標のシルエット(黒い影)が与えられ、その隣に3Dの物体が中途半端に傾いている。モデルは決められた回転動作を選んで物体を少しずつ回し、二つの影を重ね合わせる。
選べる動作は24種類できっちり区切られている。三つのカメラ軸(上下にうなずくpitch、左右に首を振るyaw、画面内でくるりと回るroll)× 二方向(正/逆)× 四段階の大きさ(大きな角度から微細な小さい角度まで)。これに「やめる」を意味するSTOPがひとつ付く。
各ステップでモデルが手にする入力は四つだ。
重なり具合は投影IoU(Intersection over Union、二つの影が重なった面積を合わせた面積で割った値。1に近いほど完全に重なる)で測る。IoUが閾値(本文の図・記述基準で0.90)を超えた瞬間が成功だ。
研究チームはありふれた3D CADモデルを使わなかった。見慣れた形はモデルが学習時に覚え込んだ事前知識(椅子はこういう形だ)を刺激し、見て推論する代わりに記憶で済ませてしまうからだ。代わりにオープンソースのアイコンライブラリ(Game-icons)の2Dベクターアイコンを、球の中に閉じ込めたまま奥行き方向に押し出して(sphere-bounded extrusion)見慣れない3Dの立体に変えた。この方式には二つの数学的保証がついてくる。正面から見た姿(canonical front view)は元のアイコンの細かな輪郭をそのまま再現し、物体のすべての点が半径の内側に収まるため、いくら回しても画面の外に切れて消えることがない(カメラ倍率が全体で固定)。
もうひとつは可逆的な初期化(reversible initialization)だ。正解の姿勢から出発し、巻き戻せる回転を無作為に積み重ねて初期姿勢を作るが、直前の動作の即時逆回転は禁止して空回りを防ぐ。積み重ねた順を逆にたどり直すだけで必ず正解に届くので、生成された課題がすべて解ける問題であることが構造的に保証される。こうして674個を作り、参照経路の長さを基準に層化抽出(stratified sampling、長さの分布を均等に混ぜて選ぶ)して100個のテストセットを固定した。残る574個は学習・研究用に残した。
比較対象の幅が、この論文の説得力を生んでいる。VLM 9種、エージェントフレームワーク2種(ReAct、Magentic)、学部生20名、確率ベースライン2種、そして正解を覗き見できる貪欲(greedy)ベースライン2種を、同じルール・同じ行動空間・同じ決定予算・同じ成功基準で回した。実験環境は以下のとおり。
| 項目 | 内容 |
|---|---|
| VLM 9種 | GPT-5.6-Sol・Terra・Luna, GPT-6-Astra, Gemini 3.6 Flash, Claude Opus 5, Claude Sonnet 5, Qwen 3.7 Plus, SpatioLM-Understanding-InternVL3.5 |
| 共通設定 | temperature 0、決定上限48ステップ |
| 商用モデル呼び出し | API、総コスト$1,482.07 |
| ローカル配備 | SpatioLM = A100(40GB)8枚 |
| 人間評価 | 学部生20名が各20問のブロックを担当、テストセット全体を4回(計400回)実行 → 400回すべて成功 |
評価指標は二層に分かれる。表層はタスク性能 — 成功率、平均最終IoU、平均回転ステップ数だ。エピソードは、成功するか、STOPを押すか、48回の決定上限に達するか、それ以上よくならずに停滞すると終わる。
裏層が失敗の原因を切り分ける。研究チームは、モデルには知らせない実際の3D姿勢誤差(pose error)を正解データとして別途計算する。そして各回転を方向(どの軸・どの符号)と角度(ステップの大きさ)に分けて個別に採点する。有効方向率(Effective Direction Rate)は姿勢誤差を減らす正しい方向を選んだ割合であり、最適角度率・角度ギャップ・角度ロスは、方向を正しく選んだという前提のもとで角度までどれだけ精密に選べたかを測る。
ひとつだけ先にはっきりさせておこう。IoUは見かけの重なりだけを測るのであって、3D姿勢が実際に一致しているかは測らない。対称性と正射影のせいで、異なる3D姿勢が同じ影を作りうるからだ。だから姿勢誤差は成功基準ではなく診断用としてだけ使う。見かけの重なりと本当の姿勢は同じものではない — この区別が、次の結果を読む鍵になる。
最高の成功率はGPT-5.6-Solの17.0%だった。その次がGemini 3.6 FlashとGPT-6-Astraで、それぞれ10.0%。Claude Sonnet 5・Claude Opus 5・Qwen 3.7 Plusは成功率0%で、最終IoUは一様ランダム(0.473)をかろうじて上回る程度だった。SpatioLMはさらに極端だ。行動の91.12%がYAW_POS 10°という一つの動作に偏るポリシー崩壊を起こし、成功率0%・最終IoU 0.463と、ランダムよりも低かった。一方、人間は100.0%成功、平均最終IoU 0.923を平均16.22ステップで達成した。図3によれば、人間の軌跡は0.90の閾値を超えるのに対し、モデルたちの軌跡はおおむね0.50〜0.63あたりで早々に横ばいになる。
次の分析は、この失敗が方向の選択と角度の調整のどちらで生じるのかを分ける。二つの貪欲ベースラインがその入り口だ。どちらも正解シミュレータで24個の次の手をあらかじめ全部比べられるチートベースラインだが、見ている場所が違う。IoU-greedyは次のステップの見かけの重なりを最大化する手を、pose-greedyは本当の3D姿勢誤差を最小化する手を選ぶ。結果は割れた。見かけの重なりだけを追ったIoU-greedyは39.0%成功(最終IoU 0.725)にとどまった一方、本当の姿勢を知るpose-greedyは100.0%成功(0.924、8.32ステップ)ですべて解いた。目の前の重なりを大きくする戦略だけでは多くの課題が行き詰まり、本当の姿勢に近づけるならすべて解ける、という意味だ。
なぜ重なりだけを追うと行き詰まるのか。ひとつの事例で見よう。重なりがよくなる方向へ一手を打ったのに、その手が物体を別の姿勢に回してしまう場合がある。影は目標に近づいて見えるが、3D姿勢はむしろ遠ざかった状態だ。目先の重なりは得でも、その先で目標へ向かうには、たった今開いた姿勢の差を戻さねばならないので、道がさらにこじれる。実際、同じ状態(matched states)に置かれたとき、GPT-5.6-Solはこうした「重なりは改善するが姿勢の整合は悪くなる」手を人間より多く打つ(19.4% vs 10.9%)。見かけの指標に釣られるIoU-greedyの失敗と同じ筋の話だ。
方向と角度の分解も同じ絵を描く。GPT-5.6-Solの有効方向の選択率は58.75%で、人間(83.91%)にはるかに及ばず、一様ランダム(53.78%)をかろうじて超える。方向を正しく選べたときでさえ、選択角度と最適角度の平均偏差が6.49°で人間(2.99°)の二倍を超え、その結果ステップあたり平均2.25°の角度ロスを出す(人間0.96°)。一方、見て回った量(表面カバレッジ)はGPT-5.6-Solが79.58%で人間83.07%に近い。失敗の原因が「十分に見て回れなかったから」ではない、ということだ。
最後のピースが履歴だ。GPT-5.6-Solで30課題を回した入力除去(ablation)実験の結果である。全入力を与えた基準は成功5/30(16.67%)、最終IoU 0.5656だ。ここから補助の深度ビューを抜くと成功率が3.33%、IoUが0.5490に下がる。インタラクション履歴を抜くと成功が0/30に消え、IoUは0.4822まで下がって一様ランダム(0.4808)にぴたりと寄る。さらに雄弁なのは角度の分布だ。履歴を抜くと、モデルの行動の96.76%が最も大きい(30°)ステップ一つに集まる。事前IoUと選択角度の大きさの相関係数も、全入力では-0.472(近づくほど小さい角度で微調整する)なのに、履歴を抜くと-0.242に崩れる。過去の試みを覚えていないと「もうほぼ着いたから、そっと回そう」ができない、ということだ。
総合すると、メッセージはひとつだ。画像を見分ける能力と、視覚的証拠を精密な3D制御に変える能力は別の軸であり、現在のフロンティアモデルは後者で人間と大きな差を見せる。
著者たち自身が引いた線から。課題は純粋な回転に限られているので(設計意図として移動・摩擦をわざと外した)、この結果を、掴む・押す・移動が混ざった一般的な操作へそのまま拡張して読んではいけない。姿勢誤差は成功基準ではなく診断指標であり、対称性のために「成功したが姿勢誤差が0ではない」ケースが正常に存在する。入力除去実験は100個全体ではなく30個の部分集合で回しており、その分布が全体とよく合うという統計的根拠(Spearman相関・ブートストラップ信頼区間)も併せて提示している。
残る問いは、pose-greedyが100%を叩き出したという事実から出発する。このチートベースラインは三つを一度に提供された。(1) 現在の状態を知る能力 — 本当の3D姿勢を知り、(2) 行動の結果を予測する能力 — 24個の次の手をあらかじめシミュレーションし、(3) 次の行動を選ぶ能力 — そのうち姿勢誤差を最も減らす手を選ぶ。つまり「姿勢情報さえあれば簡単」なのではなく、姿勢情報に加えて結果を事前に比べる手段まで握らせたときに簡単になる、という話だ。であれば実務の勝負どころははっきりする。モデルが(1)と(2)を視覚フィードバックだけでどこまで復元するか、そしてそのうち何を外部ツール(明示的な姿勢推定、3Dシミュレータの呼び出しといったスキャフォールディング)で補ってやるか、だ。成功率17%は特定のモデル世代・プロンプト・エージェント構成でのスナップショットにすぎず、この補いをどこまでできるかによって変わる。
ONTLEでこの結果がすぐ響くのは構造だ。AI PMが運用ダッシュボードを自ら操作する状況 — たとえばキャンペーン予算配分の画面でスクリーンショットを見てスライダーを引き、目標配分に合わせる作業 — は、見て → 引いて → 変わった画面をまた見て → 補正する閉ループだ。RoTA-Benchと共有しているのはこの反復観察・行動の構造であって、3Dパズルの数値そのものではない。だから以下は結論ではなく、私たちが検証してみる仮説として記す。
表1を見るかぎり、はっきりした改善ではありませんでした。ReActは最終IoU 0.628で数値上は最も高かったものの成功率は16.0%で、Magenticは2.0%でした。どちらも単一モデルGPT-5.6-Solの17.0%を超えられませんでした。つまりフレームワークで推論過程を包むだけでは、「方向・角度を精密に選ぶ」ボトルネックは解けませんでした。
そう単純ではありません。pose-greedyは本当の姿勢を知ることに加えて、24個の次の手をあらかじめシミュレーションしてその中から最善を選ぶ能力まで一緒に提供されていました。実務では、この三つ(現在の状態把握・結果の予測・行動の選択)をどこまでモデルが自力でやり、どこから外部ツールで補うかが課題として残ります。