ロボットに駐車を教えるとしよう。ところが教本の映像がすべて「きれいに駐車された場面」ばかりだ。このロボットに「今回は柱を擦ってみろ」と命じたらどうなるか。擦れる場面が思い浮かばない。頭の中にはきちんと駐車された結果だけが描かれる。失敗を一度も見たことがないからだ。ロボット世界モデルはまさにこのドライバーである。世界モデルとは、ロボットの行動を入力すると「その次の場面がどう変わるか」を映像で描き出すモデルだが、成功した実演ばかりを大量に見て育つと、手が空振りする行動を与えても成功した場面を描いてしまう。DreamTrueは、まさにこの「成功だけを想像する」癖を狙った研究だ。
世界モデルは、ロボットを訓練し評価する仮想環境、すなわちシミュレータだ。本物のロボットを動かす代わりに、「この行動をとればこうなるだろう」を映像で先に回してみる。役に立つためには二つが揃わなければならない。命じた行動をそのままなぞること(行動追従)、そして物体とぶつかったりつかんだりする場面が物理的にもっともらしいこと(相互作用の妥当性)だ。
問題は、公開されたロボットデータでこのモデルを学習させるときに噴き出す。つまずきが二つある。
一つ、カメラのキャリブレーション値がずれている。カメラのキャリブレーションとは、カメラが世界をどの位置・角度から捉えているかを記録した値だ。この系統のモデルは、ロボットの3次元設計図からロボットの姿を描き、実際の映像の上に重ねて「今、腕はここにある」と教えてくれるのだが、この重ね合わせはキャリブレーション値が正確でないと噛み合わない。公開データセットには正確なキャリブレーション値がない場合が多く、描き込んだロボットが映像の中の本物のロボットとずれてしまう。
二つ、データのほとんどが「成功」だ。成功した実演で埋め尽くされていて、失敗シーンはまれだ。ここで機械学習の本性が足を引っ張る。モデルは無数の事例を、最も多いパターンのほうへ収束させる。成功が圧倒的に多ければ、入力が失敗を指していても、出力は「最も確率の高い平均的な絵」、つまり成功のほうへとならされてしまう。グリッパー(つかみ手)が空振りしたのに、物体が手に吸い寄せられるようにふわりと浮き上がる、といった具合だ。論文はこの癖を「楽観幻覚」と呼ぶ。
単なる描画の誤りではない。シミュレータが失敗するはずの行動を成功と判定すれば、どの制御方式が優れているかを選ぶ評価そのものが水増しされる。良い選択肢を見分けるために作った道具が、逆に判断を濁らせるのだ。
定石の解法は見えている。キャリブレーションを正確にやり直し、失敗シーンまで満遍なく含んだデータを新たに集めればよい。だがロボットデータを新たに集めるのは、時間も費用も膨大だ。そこでDreamTrueは方向を転じる。新たに集める代わりに、手元のデータを直して使い、欠けている失敗はでっち上げて、学習の範囲を広げる。
DreamTrueはこの問題を三段階で解く。まずデータのずれた部分を正し、欠けている失敗事例をモデル自身に想像させ、その想像が物理的にもっともらしいかを採点する審判をつける。
出発点は、ずれたキャリブレーションを正す作業だ。ロボットの3次元設計図と録画された関節値からロボットを描いて実際の映像に重ね、両者が離れた分だけを逆算してキャリブレーション値を補正する。目を引くのはそのやり方だ。専用の撮影も、深度センサーもなしに、ありふれたRGB映像だけでやってのける。従来の方式が専用の撮影シーケンスや正確な深度計測を要求していた前提を取り払ったので、たいていの公開データセットにそのまま掛けられる。こうして補正したキャリブレーション値が、三つのデータセット、15万3,666エピソード、1,660時間分として公開された。
レンダリングされたロボットと観測されたロボットの間、フレーム間の静的な背景の間、同期された複数視点の間で、ピクセル対応点を探す(対応点抽出はRoMaV2、ロボット領域だけをマッチングするようSAM3マスクを使用)。これらの対応点を再投影誤差と光線の共面制約で束ね、カメラの内部・外部パラメータと歪み、腕に装着されたカメラの相対オフセットまで一度に最適化する。従来のmarkerless方式は専用の撮影シーケンスが、PointWorld系はセンサーやFoundationStereoの正確な深度が必要だった。
次は、欠けている失敗をでっち上げる作業だ。反事実とは、実際には起きなかったが「こうだったら?」を仮定した状況を指す。録画された行動で手先が触れる最後の地点をわずかにずらし、つかむ位置をわざと外させる。開始シーンはそのままにして行動だけを変えるので、同じ場所で異なる選択がどんな結果を生むかをモデルが探索することになる。駐車でいえば「わざと柱のほうへハンドルを切る軌道」をでっち上げて見せるようなものだ。
最後は、その想像を採点する審判を立てる作業だ。ひねった行動には、対になる実際の未来映像がない。比べるべき正解がないということだ。ところが物理的妥当性は、正解がなくても目に見える。空振りしたのに物体が浮き上がれば、比較映像がなくても人はそれが誤りだと分かる。そこで、ロボット・物体・相互作用の不具合を人が一つひとつラベル付けしたデータで「審判」モデルを育てた。この審判は「もっともらしく見えるか」ではなく「不具合があるか」を見る。公開されたアノテーションは映像4万4,900件、うち不具合ラベルが3万400件だ。
いよいよ、この審判を調教師に仕立てる。生成モデルが的外れな想像を出すたびに減点して鍛え直すのだ(強化学習による後学習 — すでに学習済みのモデルを特定の目標に合わせてさらに訓練する段階)。報酬は「不具合確率に負の符号を付けた値」なので、不具合が少ないほど高い点が入る。安全装置も一つ掛けた。録画された行動には本物の未来映像があるので、その正解とどれだけ似ているかも併せて点数に入れ、画質が崩れないよう引き留める。
反事実は、録画された行動の最後のエンドエフェクタ(手先)姿勢にSE(3)変換(位置・回転の摂動)を加え、固定された初期姿勢からこの摂動された終点まで補間したうえで、逆運動学(IK)によって実際の関節行動シーケンスへ戻して作る。後学習は凍結(frozen)した報酬モデルで採点し、最適化はGDPO方式で報酬をグループ内で正規化して束ね、DiffusionNFTで生成器を更新する。報酬モデルは視覚言語モデル(Qwen系)を交差エントロピーで微調整し、ロボット・物体・相互作用の三次元の不具合確率を予測させた。構造は、レンダリングされたロボットのRGBと深度をビデオVAEで、マスクとカメラ光線(Plückerマップ)を3D畳み込みの幾何エンコーダでエンコードして束ね、VACE分岐でビデオDiTに注入する。グリッパーの開き具合は背景RGBの明るさにマッピングし、マルチビューは複数視点の潜在映像を幅方向につなぎ合わせて一度に予測する。学習目標はフローマッチング速度だ。
三つの仕掛けの効果は、一つの数字ではなく、数字どうしの関係から浮かび上がる。
まず核心の指標から見よう。ひねった反事実行動における相互作用の不具合率が、48.12%から6.25%へと落ちた。ここでの48.12%は外部の競合モデルではなく、DreamTrue自身の初期バージョン(Stage I、後学習前の状態)だ。自分の出発点と比べた数字だということである。物体の不具合率も31.88%から3.12%へと減った。それでいて、行動をどれだけうまくなぞったかを測る指標(nDTW)は0.8735から0.8831へとむしろ少し上がった。普通は不具合を締め上げると行動追従が緩むのだが、そのトレードオフを避けたのだ。まったくのタダではなく、総合画質の指標はごくわずかに下がったが、差し出した分は得た分よりはるかに小さい。
この変化が実際に何を意味するかは、方策評価の実験で最も鮮明になる。4つの制御方式(ポリシー)が生成した240個の行動を各世界モデルに入力して結果を予測させ、人が成功・失敗を判定して実際のシミュレーション結果と突き合わせた。DreamTrueの成功率予測は実際の値にほぼ張り付いた。一方、ベースラインのモデルは成功率が低い区間で、失敗したつかみを成功として思い描き、実際より高く水増しした。駐車に戻れば、シミュレータがついに柱が擦れる場面をきちんと想像できるようになった、ということだ。ポリシーを選ぶ道具として、それだけ正直になったのである。
学習データは4つの公開データセット(AgiBotWorld-Beta、DROID、RoboMIND 2.0、RoboTwin 2.0)を合わせた、5種のロボットアームの実写・シミュレーションのマルチビュー軌道2,232時間だ。AgiBotには録画軌道を摂動させた反事実テスト条件160個(タスク54個)を別途構成した。比較対象はDreamDojo・GE-Sim 2.0・Genie Envisioner・EnerVerse-AC、そして自分のモデルのStage Iだけを使ったバージョン(w/o RL)と最終版(full)だ。
指標は四つ。行動追従はnDTW(正規化動的時間伸縮、予測軌道が目標軌道をどれだけなぞったか)、視覚的忠実度はPSNR・SSIM・LPIPS(正解映像とどれだけ似ているか)、品質総合はEWMScore-P、物理的妥当性は評価者3名の多数決による不具合率(一致度はFleiss' カッパ)だ。
方策評価の補助数値: 成功率予測の誤差(MAE)が12.92から7.08パーセントポイントへ減り、集計バイアスは+0.42パーセントポイントでほぼ0、順位相関も強かった。AgiBotベンチマークでは最終モデルが、行動追従(録画0.8772・反事実0.8831)と視覚的忠実度(PSNR 23.06・SSIM 0.936・LPIPS 0.094)のいずれも比較対象中で最高であり、AgiBot World Challenge 2026の世界モデルトラックでも総合(EWMScore 0.829)・行動追従(0.9651)・視覚品質(0.6246)で1位だった。ただし総合画質(EWMScore-P)は72.84から72.51へわずかに下がり、シーン一貫性(0.8974)は上位チーム(Loop 0.9024・PAIWorld 0.9041)より低かった。
他のデータセットに広げても傾向は保たれる。DROIDではCtrl-World比でPSNR 22.00→22.95、LPIPS 0.162→0.073。キャリブレーションの効果だけを切り出して見ても、学習・推論にキャリブレーション値を使うと、AgiBot nDTW 0.8159→0.8711(同期位置誤差7.73px→4.60px)、DROID nDTW 0.7718→0.8919(誤差11.78px→8.06px)。
一つ、未学習のロボット・シーンへの転移は、まだ絵のレベルの証拠にとどまる。学習から外したロボットや新しい実写シーンで「もっともらしい予測を出す」という定性的な結果は見せるが、数値での比較がない。汎化を強く主張するには定量的な根拠が薄い。
二つ、報酬による後学習にはトレードオフがついて回る。不具合率という一つの目標を強く押せば、別の品質が押し込まれる(先に見た画質のわずかな低下がその代償だ)。審判を欺くほうへ生成器が収束してしまう報酬ハッキングの危険も、報酬ベースの学習には常にある。
三つ、審判が人のラベルに縛られている。映像4万件あまりの不具合ラベルは、費用と主観の産物だ。評価者3名と一致度の管理で整えたとはいえ、不具合の定義と境界は、ドメインや評価者によって揺れうる。
四つ、反事実の形が一筋だ。今は手先の姿勢をひねる方式ひとつだ。効果は明らかだが、接触や動力学をもっと多様にひねる失敗まで包み込めるかは、開かれた問いだ。
五つ、結局は映像予測器だ。シミュレータとして正直になった成果は確かだが、実機のロボット制御への隔たり(sim-to-real)までこの成果だけで埋まるわけではない。
DreamTrueの新しさは、一つの技法ではなく三手を一つに貫いた点にある。手元のデータを正し、欠けたデータをでっち上げて広げ、正解なしで相互作用を採点する。行動条件付きの世界モデルも、報酬ベースの後学習もすでにあったが、この三つを一つのパイプラインに編み込んだ設計こそが、他の研究と分かれる地点だ。
行動条件付き世界モデルの系統では、Ctrl-Worldがマルチビューの長期予測を、Genie EnvisionerとGE-Sim 2.0が方策学習・閉ループ評価向けのシミュレーションを扱った。相互作用の範囲を広げようとする流れでは、DreamDojoが人の映像から、PlayWorldがロボットの自律的な相互作用から、FACTが失敗軌道から知識を引き出した。幾何・キャリブレーション側では、BridgeV2Wがロボットの状態をピクセル整合のマスクで、EnerVerse-ACがカメラ光線のエンコーディングを加え、古典的なhand-eye・markerless方式は専用撮影が、PointWorldは正確な深度が必要だった。報酬ベースの後学習側では、WorldArena・EWMBenchが評価を、WorldCompassがカメラ軌道追従とフレーム画質の報酬で後学習を行った。これらの報酬が主に動きと一般的な画質を見ていたのに対し、DreamTrueは報酬の焦点を物理的な物体相互作用へと移した。
ONTLEのAI PMにとって最も痛い場面が「完了報告」の関所だ。顧客の要望が作業に分割され、ワーカーが「この作業を完了にしてよいか」を判断する。ここで繰り返される事故が「偽の完了」だ。外部システムを接続したのに実際には一行もデータが入っていなかったり、生成した成果物が要望とずれているのに、エージェントが「完了」と書いて上げてしまう。
ロボット世界モデルと重なる点はただ一つ。どちらも失敗した仕事を成功と判定する。ロボットの楽観幻覚が成功データに偏った学習から生じたからといって、ONTLEの偽の完了も同じ原因だと決めつけるつもりはない。一方は映像生成モデルの統計的な偏りであり、もう一方は成果物を確認せずに通してしまう手続きの穴だ。事情は異なる。ただ「失敗を成功だと言い張る」という症状は同じで、DreamTrueがその症状に対処したやり方は、ONTLEの完了ゲートを設計し直すうえでそのまま役に立つ。
顧客が自社の会計システムを連携して売上データを取ってきてほしいと頼んだとしよう。PMはこの要望を「認証 → 収集 → 取り込み」の作業に分ける。DreamTrueの処方をここに重ねると、完了ゲートはこう変わる。
まず、PMを成功事例だけで慣らさない。うまくいった連携だけを見せる代わりに、失敗シナリオをわざと食わせておく。認証キーが間違っている状況、接続はできたが0行しか入ってこない状況、ファイルはできたが中身が空の状況。DreamTrueが手先の軌道をひねって失敗を想像させたのと同じ手口で、過去の完了作業の条件をひねって「失敗に近い状況」を合成し、点検セットとして使う。
その次に、作業するPMと完了を判定する審判を切り離す。審判は三つを不具合と見る。要望の取り違え(意図と異なる作業)、成果物の不一致(要望と結果の乖離)、完了の虚偽報告(DBや成果物で確認できない完了)だ。過去に実際に起きた偽の完了事例に人がラベルを付け、この審判を育てる。ロボットの審判が「もっともらしいか」ではなく「不具合があるか」を見たように、この審判も「完了のように見えるか」ではなく「完了の証拠があるか」を見る。
最後が、ONTLEで最も実務的なところだ。DreamTrueが正解映像のある場所では審判だけに任せず、実際の画質と突き合わせたように、ONTLEも確認できる地点は実際に確認する。この会計連携であれば、審判に点数を尋ねる前に、たった今取り込んだ売上テーブルの行数を直接数える。0行ならそこで終わりだ。外部APIのレスポンスコードが認証失敗を指していれば、やはり終わりだ。審判がいくらもっともらしいと言っても、「完了」ではなく「決定待ち」に戻す。正解がない領域、たとえば「この成果物が顧客の意図に合っているか」といった判断でのみ、審判の点数に頼る。
こう変わった完了ゲートは、成功を前もって決めつけない。過去の失敗から学んだ審判が成果物を検分し、数えられるものは実際に数えて突き合わせ、証拠がなければ完了を止める。方策評価でベースラインのモデルが実際より高く水増ししていたあの楽観を、プロダクトの完了判定から取り除く仕事だ。
nDTWは軌道をうまくなぞったか、PSNRは画面が正解映像と似ているかを測ります。どちらも「空振りしたのに物体が浮き上がるか」といった物理的妥当性は捉えられません。軌道も合い、画面ももっともらしいのに、物理だけ間違っている予測がいくらでもありうるからです。その死角を埋めるために人による判定の不具合率を別の軸として立て、奇しくもその軸で最も大きな改善が出ました。
偶然の一致です。要約に使った48.12%はDreamTrue自身の初期バージョン(Stage I)の相互作用不具合率です。比較対象であるEnerVerse-ACの相互作用不具合率も48.12%と記されていますが、両者は別々の対象を指す、まったく別個の数値です。
論文は、三つのデータセットのキャリブレーション値(15万3,666エピソード、1,660時間以上)と映像4万4,900件(不具合アノテーション3万400件)を公開したと述べています。ロボット映像の生成・評価を扱う研究であれば、再利用の価値は大きいでしょう。具体的なアクセス方法とライセンスは、下のarXiv原文とプロジェクトページで確認してください。