ドミノが一列に並んでいる。最初の一枚が倒れると、その次、またその次へと順に倒れていく。ところが映像生成モデルにこの場面の続きを描かせると、おかしなことが起きる。あるモデルは、真ん中のコマが向きもなくその場で崩れ落ちるように倒れる映像を描いてしまう。直前のフレームと見た目はそれらしくつながっているのに、倒れがどちら側へ波及していくのかを取りこぼしているのだ。
南京大学・テンセント ARC Lab・浙江大学の共同研究チームによる論文「Looking Ahead」が狙いを定めたのが、まさにこの点だ。チームが提案したFuture Chunk Prediction(FCP、未来チャンク予測)は、訓練時にモデルへ途中のシーンを見せず、より先のシーンを当てさせる訓練手法である。この仕掛けは訓練中だけオンにし、本番では外す。そうすることでチームが引き上げたと報告しているのが、物理的もっともらしさ(physical plausibility、生成された映像が実際の物理法則にどれだけ沿って動くか)だ。
まずは「自己回帰(autoregressive)映像生成」から。長い映像を一度に出力するのではなく、映像を数フレーム単位のチャンク(chunk)に区切る。そして前のチャンクを見て次のチャンクを描き、その結果をまた見て次を描く、という具合に次々とつなげていく。こうすればストリーミングのように映像を際限なく延長でき、インタラクティブなシミュレーションやワールドモデル(world model、世界がどう動くのかを生成でまねるモデル)の土台になる。
標準的な訓練方式はこうだ。次のチャンクを描くとき、モデルが自分で作った前のシーンではなく、実際に撮影された前のシーン(ground-truth、実映像の該当チャンク)を条件として与える。
ここに落とし穴がある。映像は隣り合うチャンク同士で、見た目も動きも非常によく似ている。重なり合う情報が多いということで、これを時間的冗長性と呼ぶ。そのためモデルは、今後どう展開するかを考えずとも、直前のチャンクの見た目をほぼコピーして現在のチャンクを描き上げられてしまう。論文はこうして目先の視覚的連続性に頼る安易な道を「近道(shortcut)」と呼ぶ。この近道に安住すると、本来重要なシーン変化を学ぶ圧力が下がり、長い呼吸で展開を押し進めるべき場面で限界が露呈する。
解法は、当てるべき対象を観測された過去から思い切り引き離すことだ。すぐ次のシーンは、前のシーンの見た目をコピーするだけでもある程度当たる。だが数チャンク飛ばした先のシーンはそうはいかない。物体がどの方向へどれだけ速く動くのか、物体同士の関係がどう変わるのかまで合致しなければならない。
ここでの目標は、モデルに遠い未来をそっくり言い当てさせることではない。遠い未来ほど起こりうる分岐が複数あり、そもそも一つに正確に当てること自体が難しい。狙いは別のところにある。遠いシーンを当てようと試みる過程で、モデル本体が「物体がどう動くのか」という情報を内に抱えるよう訓練されることだ。見た目のコピーでは遠いシーンの誤差を縮められないので、モデルは動きの展開を学ばざるを得なくなる。
FCPは標準の訓練目標をそのまま残したうえで、補助目標を一つ上乗せする。標準訓練が観測した過去からすぐ次のチャンクを当てるのに対し、FCPは同じ過去だけを使いつつ、途中のチャンクを隠したまま数チャンク先(オフセットk — 今から何チャンク先を当てるかを決める値)の遠いチャンクを当てさせる。途中のシーンというカンニングペーパーを取り上げるわけだ。既存のアプローチが生成プロセスそのものや過去情報の扱い方を変えるのに対し、FCPが手を加えるのは「何を当てさせるか」、すなわち訓練目標ただ一点だけである。
この問題を扱う既存の流れは大きく二つに分かれる。一つは、モデルが自力で描き継いだ長い映像(ロールアウト)の品質を直す側だ — 双方向モデルを数ステップだけで素早く生成する因果的生成器に置き換えたり、モデルを自分が作った過去に露出させたり、教師の指導と生徒の生成の相性を検討したりする研究である。もう一つは過去の文脈を管理する側で、アクティブウィンドウ・キャッシュ・大域アンカー・選択的検索・キャッシュ圧縮によって長期的な一貫性とメモリコストを天秤にかける。FCPはこの二つと競合するというより補完する。ロールアウトの方式や推論時の文脈管理を規定せず、標準訓練の上に未来チャンクの指導を加えるだけだからだ。
表現整合(representation alignment)系とは、指導信号をどこから得るかで分かれる。あちらは拡散モデルの中間特徴を外部ビジョンモデルの表現に合わせて訓練を加速・改善するが、外部の事前学習エンコーダに依存するため、大規模映像へ拡張する際に足かせになりうる。FCPは訓練映像そのものの未来チャンクから指導を引き出すので追加のビジョンモデルが不要で、データが増えれば指導も一緒に増える拡張経路を持つ。
もっとも近いのは同時期・独立の研究であるNext Forcingだ。Next Forcingは未来予測を過去全体の表現に条件づけるのに対し、FCPはより圧縮された表現に条件づけ、並列予測を採る(詳細な比較は論文の付録)。
まず何を測ったか。評価の中心的なものさしは物理的もっともらしさだ。シーン変化をきちんと学べたかを測るのに手強い基準であるうえ、映像が「本物らしいか」を左右するからである。主要ベンチマークはPhysics-IQ Verifiedで、生成された映像の延長分を実際の撮影映像と数値で直接比較する(参照ベース)。VLM(ビジョン・言語モデル、映像を見て文章で判定するモデル)が「これは物理的に正しい?」と主観的に判定する方式ではないので、変化のタイミングや大きさといった微細な差により敏感だ。チームがこの指標を第一に据えた理由である。補助として用いたWorldModelBench・PAI-Bench-G・PhyGroundはVLM判定なので、そうした微細な差には相対的に鈍いことがありうる。
数字はこうだ。訓練データと設定をそろえた統制比較で、標準訓練の27.6がFCPで30.9まで上がった(Physics-IQ VerifiedのIQスコア — 生成映像の後半部分が実映像の物理的挙動にどれだけ近いかを参照映像と比べて付けた値、高いほど良い)。モデルごとに訓練データや設定が異なれば、スコア差を手法の差だけに帰することはできないので、絶対値よりも同条件での相対差として読むべき数値だ。
目でも確認できる。ドミノが倒れる場面で、二つのモデルは倒れ始めた直後に分かれる。最初の一、二フレームはどちらもまともに見え、差は次がどこへ向かうかにだけ現れる。FCPは倒れが一方向へ波及していくのに対し、標準訓練はその展開区間で真ん中が向きなく崩れ落ちる。氷が溶けて水位が上がる場面でも、FCPはその微細な変化を捉え、標準訓練は取りこぼした。
表中の「Teacher forcing」は本文でいう標準訓練法だ。向上は、過去文脈の表現と生成対象(ノイズの乗った)表現の両方に手を入れたときに最も大きかった。
1.3B統制比較(表4、IQ)。標準訓練27.6 → FCP 30.9。分解すると、きれいな過去文脈の表現だけを整えると+1.2(27.6→28.8)、ノイズの乗った(生成過程で整えるべき)表現だけを整えると+2.3(27.6→29.9)、両方を合わせると+3.3(→30.9)。並列型30.9 vs 連鎖型30.1(+0.8)。
5B統制比較(表2、Wan2.2-TI2V-5B、IQ)。I2V=「画像→映像」(最初のシーン一枚を与えて続きを生成)、V2V=「映像→映像」(先行する映像チャンクを条件として受け取る)。
| 5Bモデル (表2、IQ) | Teacher forcing | FCP 5-オフセット(並列) | 5-オフセット連鎖型 | 非連続オフセット(1,3,5) | |---|---|---|---|---| | I2V | 30.4 | 33.8 | 31.0 | 33.1 | | V2V | 40.6 | 44.4 | 39.9 | 43.5 |補助ベンチマーク(表3、Wan2.2-TI2V-5B、設定一致、VLM判定)。WorldModelBench 7.22→7.64(+0.42)、PAI-Bench-G 81.13→82.38(+1.25)、PhyGround Physics 2.75→2.80など、おおむねFCPが上回った。
モデル横断表(表1、データ・設定がまちまち → 座標の参考用)。チームの要約によれば、5B+FCPはより大きな双方向(bidirectional)モデル群(Wan2.2-14B、HunyuanVideo-1.5、Cosmos3-Nano)と、同程度かそれ以上に大きい自己回帰の事前学習モデル(MAGI-1-4.5B、Helios-Base)を上回った。
訓練データは内部収集の映像とWISA-80Kを混ぜ、各出所の元のテキスト注釈を用いた。物理シミュレータのデータは入れず、一般的な実世界映像が中心だ。5秒を超える映像を選び、最初の5秒ほどだけをモデルの既定フレームレートでサンプリングした。モデルは公式のWanチェックポイント(Wan2.1-1.3B、Wan2.2-5B)から初期化し、I2V設定で最初のフレームを固定したきれいな文脈として置き、3つの潜在(latent)フレームからなるチャンクを継いで生成した。補助予測器はそれぞれDiTブロック3個分だ。
FCPの補助的な仕掛けは訓練時だけ使い、実際に映像を出力するときには外す。それでも効果が残る。その秘密は予測器の取り付け方にある。
当初はメイン生成器とパラメータ(モデルの学習可能な値)を共有して予測させたが、二つの目標が同じパラメータを互いに異なる方向へ引っ張り合い、時間的一貫性がかえって悪化した。かといって予測器を完全に切り離して単独で訓練すると、肝心のメイン生成器は何の影響も受けない。チームは折衷案を採った。補助予測器を生成器の中間計算値(隠れ状態)につなぎ、未来予測で生じた誤差が生成器本体へ流れ込むようにしたのだ。訓練の間にこの誤差が生成器本体の計算の仕方をすでに変えてしまうので、推論時に予測器を外しても効果が残る。おかげで既存の自己回帰推論のプロセスには手を加えず、追加コストもかからない。
残りの設計上の選択も、同じ原理 — 新たな近道を塞ぐこと — に従う。補助予測器からはテキストプロンプトを外した。プロンプトをそのまま与えると「未来に何が起きるか」を前もって教えてしまい、予測器が生成器の表現ではなくテキストに頼る新たな近道が生まれるからだ。また複数の未来時点を扱うときは、予測器を鎖のようにつながず並列に置いた。鎖構造だと近い未来の情報が遠い予測へ漏れ、また別の近道になる。実際に並列型が鎖型より良く、その差はモデルが大きいほど開いた。容量の大きいモデルほどその漏れをより巧みに突くからだ、というのがチームの解釈である。
標準訓練方式はteacher forcingだ。生成器はWan系の映像拡散モデルを使う。バックボーンはチャンク因果(chunk-causal)アテンションを用いるDiT(diffusion transformer、拡散ベースのトランスフォーマー)ブロックを積んだもので、補助予測器はその軽量版で別個のパラメータを持つ。複数の生成器層から取り出した特徴をチャネル方向につなぎ合わせてMLP(多層パーセプトロン)で融合し、AdaLN(適応型レイヤー正規化)変調で補助DiTブロックごとに注入する。補助損失はこの接続を通じて生成器の隠れ状態へ逆伝播される。プロンプトを外したおかげでパラメータと計算量も減り、並列予測器は複数のGPUで同時に回したり、訓練中にオン・オフしたりするのも容易だ。
スコアが語るのは、生成映像が物理的により もっともらしくなった、というところまでだ。内部表現がより明瞭な時空間構造を帯びるという可視化もあるが、それがそのままモデルがシーンを「理解した」という意味にまで広がるわけではない。チーム自身も、このより構造化された表現が自己回帰的なワールドモデルを築くのに役立つ可能性がある、という慎重な言い方までにとどめている。しかもこの向上は、標準訓練よりも低い全体の訓練計算予算から出ている。性能を計算で買い取った結果ではない、という意味だ。
チームが認めた限界。物理シミュレータのデータを入れれば、規模を拡大するときに物理的もっともらしさがさらに良くなりうるが、今回は扱わなかったと明記している。補助予測器が「もっともらしい未来」は捉えるものの視覚的忠実度は限定的である点も認め、これをサンプリング加速や生成品質の向上に用いることは今後の課題として残した。
筆者の見る限界。評価軸が事実上、物理的もっともらしさに集中している。チーム自身もシーン変化は多面的であり、総合的評価は未解決の難題だと前置きしているので、物理面の向上が展開の物語性や長期的一貫性といった他の次元へそのままつながるのかは、この論文の数値だけでは断定しがたい。またオフセットの個数(3個、5個)と補助損失の重みは性能を左右する選択肢に見えるが、上記の数値は特定の構成で得られた結果だという点を念頭に置く必要がある。
映像モデルの訓練法を業務エージェントへそのまま移そう、という話ではない。持ち帰るべきは評価を設計する発想一つだ。直前の状態をコピーするだけでも上手くやっているように見えていないか、を確かめること。以下は今ONTLEで動いている方式ではなく、まだ試していない仮想の実験である。
ONTLEのAI PMは、毎日上がってくる業務ログ・メッセージ・コミットを読んで週次ブリーフィングを書く。ここには性質の異なる二つの能力が混ざっている。直近の報告を上手く要約する能力と、これからのリスクを見通す能力だ。問題は、直前の報告書を少し書き直しただけのブリーフィングも、要約だけ見るとまともに見えてしまう点である。FCPが指摘した「前のシーンのコピー」と似ている。
そこで評価対象を「スケジュール遅延リスク」一つに絞り、こう試してみることができる。途中の報告を隠したまま、「3週間前までの情報だけ渡すので、このプロジェクトのスケジュール遅延リスクが今どの程度かを、根拠と不確実性まで添えて答えよ」と指示する。その答えを実際の経過と、そして「3週間前の最後の状態がそのまま続くと見なした」単純な基準線と並べて置く。直前の報告のコピーでは越えられない課題であってこそ、予測が単純な基準線より本当に有用かが見分けられる。
映像と業務の違いもはっきりさせておこう。ドミノは物理法則どおりに流れるが、プロジェクトは途中の意思決定や外部の出来事のために、過去だけからの予測が外れることがある。だからこれは「当たった/外れた」の成績表というより、エージェントが過去のこだまにばかり頼っていないかを覗き込む診断ツールに近い。ONTLEでまず試す小さな実験としては、週次ブリーフィングでスケジュール遅延リスク一つだけを当時の情報で当てさせ、実際の経過・単純な基準線と突き合わせるのがちょうどいい。