結論から言おう。認知科学の実験を模して作った合成動画150万本で動画生成モデルを追加学習した成果物、それがPWM-WROPだ。ブラインドの人手評価において、このモデルは同じ方式(前半の動画を見て後半を続ける「連続生成」)のモデルのなかで1位、動作原理が異なるモデルまで含めた全14モデルのなかでは3位を記録した。しかも、競合システムよりはるかに低い解像度という体格差を抱えながらだ。ただし、この成果が実際に撮影された実写動画の物理理解にまでつながるのかは、まだ確認されていない。以下は、この結果がなぜ興味深いのか、そして何に注意して読むべきなのかという話である。
物体の永続性とは? いないいないばあを思い浮かべると分かりやすい。手で顔を隠しても、赤ちゃんはママの顔が消えたわけではないと分かっている。このように、遮られて見えなくなっても対象が存在し続けていると信じること、それが「物体の永続性」だ。
生後3.5か月の赤ちゃんでさえ、ボールが衝立の後ろに消えたら反対側から再び現れるはずだと分かっている。発達心理学ではこの信念を物体の永続性(object permanence)と呼ぶ。これに加えて、硬いもの同士は互いを通り抜けられないという直観を物体の固体性(object solidity)という。論文は、この2つが人間の認知のもっとも底の層、いわゆる「コア知識(core knowledge)」に属すると見る(Baillargeon 1986ほか発達心理学研究を引用)。
なぜこの土台が重要なのか。この直観がなければ、その上に積み上がる物理推論がすべて崩れてしまうからだ。物体が互いを通り抜けてしまうモデルは、衝突の場面も、支えが外れると物が落ちる場面も、まともに描けない。
ところが昨今の動画生成モデルは、まさにこの点で繰り返しつまずく。画面はもっともらしいのに、ボールは壁を通り抜け、衝立の後ろに入った物体がとんでもない場所から飛び出してくる。これらが「ワールドモデル(world model、世界がどう動くのかを模倣して次の場面を予測するモデル)」の候補として注目されているだけに、いっそう痛い弱点だ。
問題は、この弱点をきちんと問いただす試験そのものが存在しなかったことだ。従来の研究はおおむね2D環境にとどまり、評価も画像1枚を与えて続きを想像させる「画像→動画」方式にすぎなかった。前半の動画を与えて後半を続けさせる「動画→動画(以下V2V)」方式、つまり物理的な出来事が前後につながっていく文脈は問えなかった。物体のアイデンティティ・物理的制約・因果的帰結をピンポイントで測る専用のベンチマークもなかった。
落とし穴はもう一つある。採点を誰がするか、だ。昨今はマルチモーダル言語モデル(VLM、画像・動画まで併せて理解する言語モデル)に採点を任せるのが流行りだが、論文はそのVLM自体がコア知識を欠いており(Li et al. 2025ほか引用)、物体の永続性を判定する資格がないと断じる。試験範囲も知らない試験監督に採点を任せるようなものだ。
核心アイデアは一対で動く。認知科学の実験を模したデータセットWROP、そしてそのデータで物理直観を学習したモデルPWM-WROPだ。
まずWROP(World Reasoning with Object Permanence)。発想はシンプルだ。赤ちゃんに対して行ってきた認知実験を3Dで再現して大量生産しよう、というもの。著者らは3DソフトウェアのBlenderで150個の「ジェネレーター(generator)」を手で設計した。ジェネレーター1つが認知課題1つを担当するが、照明・カメラアングル・速度・色・質感といった枝葉の変数を毎回ランダムに揺らす。設計の肝は、変数を2種類に分けたところにある。
こうして抽出し、ジェネレーターあたり10,000個を超えるサンプルを集め、全体で150万(1.5M)サンプル規模の学習コーパスと、300問の固定試験(ジェネレーターあたり2問)を公開した。
課題は6系統だ。物体の永続性に関する3系統(動く遮蔽、静的な場面での遮蔽、容器内への隠蔽)と、固体性に関する3系統(進路妨害、支えの除去、衝突)。ジェネレーターの構成は永続性90個、固体性60個だ。
たとえば、ある課題(OP-1、Baillargeonian_Occlusion)はこうだ。ボールが衝立の後ろへ転がり込む。モデルは、このボールが消えずに、遮られている間も同じ速度で転がり続けると「信じて」いて初めて、反対側から時間どおりに再び現れるように描ける。この信念の有無を見るのだ。最後に見えたフレームの動きを機械的に延長するのとは違う。
評価方式もV2Vに合わせた。正解クリップを、核心となる物理的出来事(ボールが壁に触れる瞬間など)を基準に半分に切る。前半はモデルに文脈として与え、出来事とその結果が含まれる後半をモデルに生成させる。採点はVLMではなく人が、手作業で作った物理的に正確な正解アニメーションと比較して行う。
さて2つ目の軸、PWM-WROPだ。著者らはこのWROPデータで、16B(160億パラメータ)規模の連続生成モデルを事後学習(post-train、すでに学習済みのモデルを特定のデータで追加訓練すること)した。
先に見たOP-1のような課題では、物体の永続性を持たないモデルはすぐに馬脚を現す。衝立の後ろでボールがいつの間にか消えたり、色が変わって出てきたり、見当違いの位置から飛び出したりする。永続性を備えたモデルは、見えない区間でもボールがそのまま転がっていると前提し、物理的に正しい位置・タイミングでボールを再登場させる。目にはどちらも同じく滑らかな動画だが、見えない瞬間をどう埋めるかで差がつく。人はまさにこの違いを嗅ぎ分ける。
評価はブラインドテストだった。評価者はどのモデルが作ったものか知らないまま2本の動画を並べて、より良いほうを選び、その選択を総合してモデルごとにEloスコアを付けた。Eloはチェスのランキングのように、相手に勝つほど上がる相対スコアだ。比較対象の14モデルは動作原理がそれぞれ異なる。連続生成(入力動画の末尾から続けて生成する方式)が4つ、参照→動画(入力動画とプロンプトを受け取り、出来事を独自の時間軸で生成し直す方式)が3つ、編集(既存の動画を直して出力する方式)が7つだ。つまり連続生成と参照→動画の違いは、入力が画像か動画かではなく、入力動画の末尾からそのまま続けて生成するかどうかにある。PWM-WROPはこのうち連続生成に属する。
結果はこうだ。PWM-WROPは同じ連続生成方式のなかで1位、14モデル全体では3位だった。PWM-WROPの上にいるのは商用の参照→動画システム2つだけで、この2つは互いに「統計的に同点」であり、1位・2位を分けられない。序論が示す数値では、PWM-WROPがElo 1679.5、その上の2システムが1723.6だ。
順位を読むときに必ず一緒に見るべき条件がある。PWM-WROPが出力する解像度は320×192で、720p・1080pで出力する競合システムよりはるかに低い。画質で大きく不利な体格だったということだ。ところが解像度を同条件に揃えて正解動画と照合する自動指標では、PWM-WROPがLPIPSとMS-SSIMの両方で最高だった。どちらも、生成した動画が正解動画とピクセル単位でどれだけ似ているかを機械が自動で測る指標だ。ただしこれらの指標は正解動画とどれだけ似ているかを見るだけで、モデルが本当に「物理」を理解したのかを直接教えてくれるわけではない点は割り引いて考えるべきだ。先のEloランキングとも別物の尺度なので、一つの成果にひとくくりにしないほうが誠実だ。
結局このモデルは、「賢いデータ」が低解像度というハードウェア上の不利をどう乗り越えられるのかを示す事例だ。物理的に正解に近いほうが、単に見栄えのする高画質動画よりも「もっともらしい」と感じる人間の認識に食い込んだのである。
もちろん明確な限界もある。
第一に、あくまで全体3位だ。低解像度というハンディを差し引いたとしても、フロンティアの商用システムを超えたとは言えない。著者ら自身もそう主張していない。
第二に、WROPはBlenderで作った合成(synthetic)の3D環境だ。枝葉の変数をランダムに揺らして多様性は確保したものの、シミュレーションで学んだ物理直観が実写動画でも通用するかは別問題だ。実写動画には光の反射、影、予測できないノイズが入り混じっている。シミュレーションで身につけた能力が現実へどれだけ移っていくか — これはAI研究の宿痾ともいえる「Sim-to-Real(シミュレーション→現実)」ギャップの問題であり、この論文の結果だけでその隔たりが埋まったとは断言できない。
第三に、評価の中心が人だ。VLM採点の欠陥を避けるための合理的な選択ではあるが、人手が介在する分、拡張性と再現性でコストがかかる。
この論文の教訓は、動画生成だけにとどまらない。ONTLEが日々格闘しているAIエージェントの問題にも、ほぼそのまま当てはまる。ONTLEはAIが人の反復業務を代わりに回すプロジェクトマネージャー型のサービスなので、ドメインは動画とまったく異なるが、方法論は共有される。
もっとも強く響くのは「採点官の資格」問題だ。論文の核心的な主張は「判定する能力のない採点官に採点を任せるな」ということだ。私たちがエージェントの出力をLLMで自動評価するときも、同じように当てはまる。まず問うべきは「この採点モデルが、いま測ろうとしている能力を実際に備えているか」だ。資格を確認しないまま審判の数だけ増やしても、同じ盲点を持つ審判が複数いるだけだ。審判を2人置くのは、これとは別の層の安全装置である。ちょうど一つのイシューを、論調の異なる2紙の新聞記事で突き合わせて確認するようなものだ。2つの記事がどちらも間違っていることもあるが、片方だけにある偏りや事実誤認を濾し取れる確率は高まる。AI評価でも同じ原理が働く。ただし、これは「採点能力を備えているか」を保証してくれるわけではない。この2つの装置を混同しないことが肝心だ。
第二に、構造パラメータと表面パラメータの分離は、評価設計の教科書だ。エージェントが問題を本当に解いたのか、それともプロンプトの特定の言い回しに合わせて正解を丸暗記したのかを見分けるには、本質(構造)はそのままに、うわべ(表現・順序・用語)だけを変えた変形問題を投げてみるべきだ。たとえば、検索して答える機能を直したあとに、既存の動作が壊れていないかを再確認する回帰テストを書くとき、まさにこの原理が使える。
第三に、「土台が崩れれば、その上はすべて崩れる」という視点だ。エージェントでも、もっとも下の層の事実照会・状態把握が間違っていれば、その上の計画と実行が丸ごと汚染される。上位段階の性能を手直しする前に、土台から検証せよという話だ。
はい。著者らは150万サンプルの学習コーパス、300問の試験、モデルの解答・スコア・PWM-WROPの重み、そしてAWS Trainium2チップ上で動く純粋なPyTorch学習スタックPWMまで公開すると明らかにしています。詳しいリンクは下のarXiv・HuggingFaceのページで確認してください。