HappyWorld-Benchは、AIが生成した「仮想世界(ワールドモデル)」を評価するためのベンチマークだ。問いはただ一つ。その世界が見た目にそれらしいかどうかではなく、中に入って動き回り、触れ、変えても辻褄が合ったまま持ちこたえるかどうか。これまで別々に扱われてきた映像・空間・身体化(ロボット)という三つの系統を一つの物差しで束ね、「見た目の生成品質」ではなく「相互作用の信頼性」を見る点が新しい。
ワールドモデル(world model)とは、エージェント(自ら判断して行動するAI)が「自分がこう行動したら環境はどう変わるか」を頭の中であらかじめ描く内部シミュレータだ。試行錯誤なしに未来を想像し、良い行動を選べるというのが最大の魅力である。ただし、この想像が役に立つには、一つの前提が守られていなければならない。カメラが動いても一貫していて、手を加えればそれらしく反応し、長く動き回っても、通った場所を再び見ても状態が保たれること。ひとことで言えば、予測が相互作用のなかで持ちこたえてくれなければならない。
たとえるなら映画のセットのようなものだ。カメラ一カットでは完璧な邸宅に見えても、扉を開けて入ってみると裏はベニヤ板かもしれない。私たちが欲しいのは、実際に入って住むことができ、家具を動かせばその場所が空き、部屋に戻ってきても先ほど動かした家具がそのままになっている「本物の家」だ。
問題は、これまでこの「本物の家」を測る物差しがバラバラだったことにある。あるベンチマークは制御可能性だけを、あるものは物理的妥当性だけを、またあるものは記憶や長期的一貫性だけを個別に見ていた。しかも映像・空間・身体化モデルは入力も目標も互いに異なるため、同じ物差しで比較することすら難しかった。だから「見た目の品質を超えて、実際に信頼できる世界になっているか」という問いには、一枚の画面で答えることができなかった。
HappyWorld-Benchは、「何を(W1-W6の能力階層)、どう(三つのトラック)、どんな物差しで(二元的な評価体系)」測るのか、という三つの問いに順に答える構造になっている。この三つが噛み合うことで、バラバラだった評価を一本につなぐ。
第一に、何を — W1-W6の能力階層。 ワールドモデリングを六段階で定義する。上に行くほど要求が積み上がる。
| 段階 | 名称 | 核心となる問い |
|---|---|---|
| W1 | 知覚世界 | 入力から意味・空間構造の整合した世界を描き出せるか(短い時間の連続性を含む) |
| W2 | 相互作用世界 | 行動を加えると局所的な物理・因果に沿って状態が変わるか |
| W3 | 持続世界 | 長く動き回り、遮られ、再び見ても空間・物体の同一性が保たれるか |
| W4 | プログラマブル世界 | 特定の対象だけが意図どおり修正され、それ以外はそのままか |
| W5 | 拡張世界 | 複数のエージェントが共有する無限拡張の世界を維持・協調させられるか |
| W6 | 普遍世界 | 上記すべてを一つに統合し、現実を完全に再現・一般化できるか |
単に画像をうまく作ること(W1)を超えて、外部からの介入にそれらしく反応し(W2)、時間が経ってもその状態を記憶し(W3)、さらに意図どおり特定の部分だけを修正する(W4)という高次の信頼性を要求するのが肝だ。そこに多エージェント拡張(W5)と普遍的統合(W6)が重なる「難易度のはしご」だと見ればよい。
第二に、どう — 三つの独立したトラック。 同じW1-W6の分類を使いつつ、モデルの形態に合わせて異なる部分を実測する。全体の規模は次のとおりだ。
| トラック | 何を見るか | 規模 |
|---|---|---|
| 映像ワールドモデル | 入力以降の観測が空間的・時間的に一貫しているか | プロンプト1,138件(データはW1-W5) |
| 空間ワールドモデル | 出力した場面が有効な物理操作を支えられるか | 場面300件(評価266 + 拡張34、W1-W5) |
| 身体化ワールドモデル | 一人称視点でロボット・場面・物体が行動に応じてどう変わるか | テスト254件(W2-W4) |
三つのトラックを合わせるとインスタンスは1,692件になり、映像14・空間9・身体化8のモデルを評価した。データはロボティクス・都市・屋内・自然・交通・ゲーム・日常・産業・ファンタジーまで九つのドメインにわたり、相互作用の長さは短いものから60秒のシーケンスまで、初期フレームの解像度は1MP未満から8MP超までと幅広い。
第三に、どんな物差しで — 人手評価と自動指標の二元体系。 三つのトラックすべてでHappyWorld-Arenaを運用し、人によるA/B比較(二つの結果を並べてどちらが良いかを選ぶ)を集め、これをトラック内のEloスコアに換算する。チェスのレーティングのように、ブラインド対戦の成績で全体的な人間の選好を要約するわけだ。そこに行動的な正確さを捉える自動指標を加え、特定の能力を細かく計測する。各トラックは、映像の時間的一貫性、空間の物理的な操作可能性、身体化エージェントの行動結果の予測など、モデルの特性に合わせてW能力階層を具体化して見ていく。
論文が要旨・本文で示した数値を、トラックごとに同じ枠組み(代表的な成績 → 浮かび上がった限界)で整理する。トラックごとに尺度が異なるため、合算したり互いに比較したりはしない。 とりわけ映像トラックのEloスコアと空間トラックの正確度(%)は単位そのものが違うため、「どちらのトラックが優れている」というかたちでまとめて語ることはできない。
映像トラック。 先頭の二つのシステムのArena Eloがそれぞれ1263、1206で、人間の選好において相対的な優位を示した。しかし能力別の評価では、最も強いシステムでさえ、世界の状態を一貫して保ち、行動・介入に意図どおり反応する点で限界を露呈した。とりわけ長いロールアウト(AIが自ら次の場面を長く繋げて予測していく過程)と再訪の状況で一貫性が落ちた。
空間トラック。 既存の空間ワールドモデルは、物理的妥当性・編集可能性・場面拡張で振るわなかった。最高の成績でも配置正確度70.14%、編集実行73.33%にとどまった。見た目には完結した場面を作れても、実際に操作可能な幾何構造や意図した編集の反映では、相当の隔たりがあったということだ。
身体化トラック。 モデルたちは複数ステップの行動にわたって状態を保存することに苦労し、変化した行動条件や物理ルールに正確に反応できなかった。先の行動の結果が次の場面へ正しく引き継がれない、映像・空間と同じ質の弱点だ。
三つのトラックがともに指し示す結論は明らかだ。生成の画質はすでに印象的な水準に達しているが、繰り返される変化のなかで状態を信頼できるかたちで保持する能力は、三つの系統いずれもまだ未完だということである。見栄えのいい世界と、信じられる世界は、互いに別の問題だった。
論文が明示した限界は次のとおりだ。
この論文の洞察は、AIエージェントだけでなく、複雑な情報を扱うあらゆる「状態管理」の業務に当てはまる。たとえば、複数の利害関係者が絡むプロジェクトを管理する状況を思い浮かべてみよう。要求・決定・依存関係・スケジュールが何ターンにもわたってやり取りされるあいだ、先に決めておいた状態が揺らぐことなく保たれなければならない。ONTLEが顧客プロジェクトごとに派遣するAIプロジェクトマネージャーがやっているのは、まさにこの「プロジェクトという世界の状態を保つ」仕事だ。
もっとも試してみる価値があるのは「決定の変更」の場面だ。顧客がある決定をひっくり返したとき、PMがその一つだけを正確に変え、それと無関係な既存の決定には手をつけないまま、続く対話でも一貫して保てるか。たとえば「デプロイ日程を一週間後ろ倒しにしよう」という変更を反映しつつ、それとは関係のない「デザイン案はA案で確定」といった先の決定まで、こっそり揺らいではいけない。これは論文がW4(特定の対象だけを意図どおり修正し、それ以外はそのまま)とW3(再訪しても状態を保つ)で見た能力と地続きだ。応答が滑らかに見えても、数ステップ後に変えないと決めたことまで変わっているなら、それこそが再訪で崩れる世界である。
検証のやり方も借りてくる価値がある。人が二つの成果物をブラインドで比較する選好評価と、特定の能力を狙い撃ちで測る自動指標を併用する二元構造は、ONTLEの成果物QAにそのまま移せる。要するにこの論文は、「きれいに見えるもの」と「信じられるもの」を切り分けて測る方法を示している。AIエージェントをプロダクトに乗せるすべてのチームが胸に刻んでおくべき区別だ。
エージェントが「こう行動したら環境はどう変わるか」を内部で予測するシミュレータです。この予測が相互作用のなかで一貫して持ちこたえてこそ、実際の計画・行動の選択に役立ちます。
スコアではなく、能力の階層(はしご)です。知覚(W1)から相互作用(W2)・持続(W3)・プログラマブル(W4)・拡張(W5)を経て、普遍的統合(W6)へと要求が積み上がります。実測の範囲はトラックごとに異なり、映像は公開結果ベースでW1-W4(データはW1-W5)、空間はW1-W5、身体化はW2-W4までを扱います。
いいえ。信頼性の隔たりを浮き彫りにする診断ツールです。画質ではなく、状態の一貫性と行動・介入への反応の正確さで評価すべきだという方向を示すもので、隔たりを埋めるのは後続の研究の仕事です。