高速な動画生成モデルは、シーンが滑らかにつながるよう全体の流れはうまく整えるものの、一枚一枚のフレームのディテールは取りこぼしがちな編集者のようなものだ。DuoMatchingは、ここに「一枚の画質だけを専門に担う」画像生成モデルをもう一人の教師として加えた。その結果、動きにはほとんど手を加えないまま画質を引き上げ、人手による評価では比較したすべてのベースラインモデルに対して総合選好率80%以上を獲得した。ただし後述するように、特定の条件では動きのスコアがわずかに下がることもある。「画質は上げつつ動きは守る」という約束がどこまで守られたのか、そこを軸に追っていこう。
動画を作る拡散(diffusion)モデル — ノイズを少しずつ取り除きながら絵を完成させる方式 — は画質は良いが遅い。その取り除くステップを数十回も繰り返さないと一本が仕上がらないからだ。リアルタイムの対話やストリーミングのように即座に反応しなければならない場面では、この遅延が致命的になる。
そこで登場したのが分布マッチング蒸留(DMD, distribution matching distillation)だ。かみ砕いて言えば、遅いけれどうまく作れる「教師」モデルの腕前を、一つか二つのステップで動画を吐き出す軽量な「生徒」モデルへと圧縮して伝授する方法である。
ここに、自己回帰(autoregressive)方式 — フレームを先頭から一つずつつなぎ足して長い動画を作る方式 — 特有の持病が一つある。後ろへ進むほど画質がじわじわと崩れていく「ドリフト(drift)」現象だ。従来のDMDは、全フレームを一つの塊として束ねて合わせる方式で、このドリフトをかなり抑え込んだ。
ところが論文はここからもう一歩踏み込む。ドリフトは抑えたものの、肝心の最初のフレームからして画質の改善は限定的だった、というのだ。ある例ではプロンプトが指定した羽根が一本消え、毛並みの細かな質感がつぶれてしまう。原因はこうだ。従来のジョイント方式も、全体を束ねて合わせる過程で個々のフレームの分布まで一緒に制約してはいる。ただ、フレーム一枚を個別に狙ってその品質を受け持つ独立した学習目標がない、というのが問題なのだ。あるフレームだけを直して羽根を描き足すと周囲のフレームと食い違いかねないので、全体を合わせる過程でそうした改善がかえって却下されてしまう。
これは私たちにも覚えのある光景だ。レポート全体の流れとトーンばかり整えていて、肝心の個々の項目一つ一つの甘さは見落としてしまう、あの状況である。この話は記事の終わりでもう一度持ち出そう。
DuoMatchingの発想はシンプルだ。教師を二人に分ける。
画像生成モデルは、そもそも「静止画一枚」を非常にうまく描けるよう訓練されたモデルだ。細かな見た目、プロンプトが指定した色・属性・空間配置をとらえる感覚に優れている。その感覚を動画の生徒に引き渡そう、というわけだ。
実際、二人の教師が出す修正信号を比べてみると役割が分かれる。マージナル(個々のフレーム)側の信号は特定フレームの欠陥部位 — たとえば過度に滑らかにつぶれた箇所 — にくっきりと集まって反応し、ジョイント(全体の関係)側の信号はより広く散らばる。フレーム単位の欠陥をピンポイントで突き止めるには、個々のフレーム信号のほうが向いているということだ。
最終的な目標は、二つの信号を適切な重みで混ぜることにある。著者らは、理想的な条件のもとで重みさえうまく取れば、両者を混ぜたほうが動画教師一人だけを使うときよりも実際の動画分布に近づけることを証明した。直感的なアイデアが数学的にも堅牢であることを裏付けた箇所だ。
問題は、この発想をそのまま持ち込めないところにある。二つの仕掛けがその隙間を埋める。
まず用語を一言。動画や画像の生成モデルは元のピクセルをそのまま扱わず、VAEという変換器でぎゅっと圧縮した「潜在(latent)」状態で作業する。潜在は圧縮ファイルのようなものだと思えばよい。
問題は、動画と画像とで圧縮の仕方が違う点だ。動画VAEは複数フレームを束ねて一つの潜在にまとめる「時間圧縮」を使う。一方、画像側は一枚につき潜在が一つだ。おまけに二つの圧縮「言語」は互いに互換性もない。
もっとも単純な解法は、動画潜在をピクセルに戻してから画像VAEで再び圧縮することだ。だがこれだと変換器を二つ通る間に学習信号を逆向きに流さねばならず、メモリが爆発する(論文の実験でもこの方式はメモリ不足でそもそも失敗した)。
LatentBridgeは、この通訳を軽く成し遂げる小さな学習モジュールだ。時間圧縮された動画潜在の一片と、すぐ前の片(文脈)、そして「何番目のフレームか」を入力として受け取り、そのフレームに対応する画像教師用の潜在をじかに予測する。フレーム番号を教えてやるので、複数フレームが束ねられた一つの潜在から、狙ったフレームだけをピンポイントで復元できる。
マージナル側は「サンプルとして抜き出したいくつかのフレーム」を指導する。ところが、ほとんど変化のない区間にサンプルが偏ると、同じシーンを繰り返し教えることになる。計算を無駄にするだけでなく、静止した画面を過剰に強調して、かえって動きを押さえ込んでしまいかねない。
LVS(Latent Variation Sampling)は、隣り合う潜在の片どうしがどれだけ変わったかを測り、変化の大きい地点を境目として動画を複数の区間に分ける。そして各区間から一片ずつだけを抜き出す。限られた「指導の手間」を静止区間に重複して使わず、実際に変化している箇所へ均等にまく、というわけだ。
高速な動画生成の研究は、おおむね「全体の分布をどうやってもっとうまく合わせるか」に集中してきた。極端に低い計算でフレームがつぶれるのを敵対的な方法 — 本物の動画かどうかを判別するモデルを立て、生成器と競わせる方式 — で緩和したり(One-Forcing)、好まれる出力に点数を与えて誘導する報酬信号を使ったり(Reward Forcing・DMDR)、ノイズ区間を刻んで最適化を安定化させたり(Phased DMD)する具合だ。画像の事前知識(よく訓練された画像モデルが蓄えた「絵を見る目」)を動画に持ち込んだ先行研究もあったが(MCM, AVDM2)、主に画像から派生した動画モデルを対象にしていた。
DuoMatchingの差別点は二つだ。一つ、問題を「ジョイント-マージナル」という分布の観点から組み直し、両者の関係を理論で分析したうえで、どちらも分布マッチング目標として立てたこと。二つ、LatentBridgeによってこの枠組みを「時間圧縮潜在を使う今どきの動画生成器」にまで広げたことだ。報酬や敵対的損失のような「追加の信号」を加えるのではなく、実際の分布により近づくこと自体を目標に据えた、という筋が違う。
評価の中心は公開ベンチマークのVBenchだ。公式のプロンプトと評価方式をそのまま使い、画質・意味整合・動きなどを項目ごとに分けて測る。これに加えて、より厳しく測るために、豊かなディテールと複雑な動きを含んだ挑戦的なプロンプト400個を自分たちで選び、テストセットとして使った。
読むコツが一つある。生成方式と計算予算(NFE — 生成一回にかかる演算回数)が同じグループの中でだけモデルを比べる、という原則だ。階級の違う選手を同じ試合に上げないように、1ステップ生成と4ステップ生成をひとくくりに比べたりはしない。数字を読む私たちも、このルールを守らねばならない。
もう一つ。「画質は上げつつ動きは守る」という主張は、必ず二つの軸に分けて見てはじめて検証される。動き指標(動きがどれだけ生きているか)と、画質・意味指標(フレームがどれだけくっきりしていてプロンプトに忠実か)を別々に見る理由だ。片方だけ見ても、主張の半分しか確かめられない。
もっとも鮮明な対比は「因果2ステップ」グループから出てくる。同じ階級の中で、総合・意味・画質がすべて上がったのに、動きはほぼそのままだ。
| 因果2ステップ(同じグループ) | 総合 | 意味 | 画質 | 動き |
|---|---|---|---|---|
| DuoMatching | 83.53 | 72.84 | 73.48 | 93.61 |
| Causal Forcing++ | 80.67 | 68.42 | 69.82 | 94.44 |
画質と意味は目に見えて差を広げたのに、払いかねなかった動きのスコア(93.61)は、94.44から1点も下がっていない。ほかのグループも筋は同じだ。双方向(前後のフレームをまとめて見て一度に生成する、自己回帰の逆)4-NFEでは総合81.45でCausVid(80.63)を上回り、動きは36.67から39.17へむしろ上がった。
ただし、すべてのグループで完勝したわけではない。フレームを何枚かずつ束にして生成する「チャンク(chunk)」4ステップの設定では、DuoMatchingの総合83.51がグループ最高だったものの、動きは76.67でCausal Forcing++(80.56)より低かった。数字が限界を正直に見せている箇所だ。
人の目も同じ方向を指していた。23名が、プロンプトでペアにした動画40組を二つのうち一つ選ぶ方式で比べたところ、総合選好率はCausVid比で91.30%、One-Forcing比で94.35%、Reward Forcing比で83.91%、Causal Forcing++比で80.87%と、すべて80%を超えた。興味深いのは「時間・モーション」の項目だ。CausVid比で51.30%、Causal Forcing++比で49.57%と、事実上五分五分だった。人々は画質と意味は圧倒的に良いとしながらも、動きだけは従来との差を感じられない、と答えたのである。著者らの主張と筋の合う結果だ。
設計の各部品がなぜ必要なのかも、実験で確かめられた。
一つ目、画像教師を替えながら見た実験だ。外部の画像モデルなしに動画モデル(Wan2.1-14B)を教師に使っても、教師がまったくないとき(総合80.67)よりすべての指標が上がった(81.43)。さらに興味深いのは、画像教師自体の品質スコア(HPSv3 — 画像の人間選好整合スコア)が高いほど — SDXL(6.57) < FLUX.2-4B(8.86) < Qwen-Image(9.05) — 生徒の画質・意味も並んで上がっていった点だ。一方で動き指標は、教師が替わってもほとんど揺らがなかった。教師の実力が「画質と意味」だけに伝わり「動き」は触らなかったわけで、二つの仕掛けが狙った「時空間の分離」が意図どおり表れたことになる。
二つ目、LatentBridgeの存在理由をもっとも鮮明に見せる実験だ。この通訳モジュールなしにマージナル信号を時間圧縮された潜在へそのままぶつけると、画質・意味は上がるものの、動きが94.44から76.94へ急落する。潜在に含まれた動きの情報をつぶしてしまったのだ。LatentBridgeをはさむと、動き93.61を守りながら意味(72.84)・画質(73.48)・総合(83.53)をすべて引き上げ、メモリ使用量は59.41GBで、動きが急落したDirect方式(59.40GB)と事実上同じだった。少なくともDirect方式と比べれば、追加のメモリ負担なしに動きを守ったことになる。
三つ目、LVSは指導するフレームのサンプルを適正なラインまで増やすとスコアが上がるが、それ以上に増やすと動きと総合がかえって下がった。監督をやみくもに増やすのが能ではなく、どこに配分するかが大事だということだ。
これらの実験は80GBのGPU 8枚の上で回った。少なくない資源を投じた作業だということだ。データセット・チェックポイントなど具体的な実験環境は記事の終わりに折りたたんでおいた。
まずは著者らが認めた限界から。チャンク4ステップの設定に見られるように、画質の向上が特定の条件では動き指標を競合モデルより下げることもある。動きを「おおむね」保存する、という表現そのものが、完全に無損失ではないという正直な合図だ。
ここからは記者が付け加える視点だ。一つ、この方法は品質の良い画像教師に大きく寄りかかっている。性能が教師の品質スコアとともに上がる以上、医療映像や産業映像のように使えそうな画像生成モデルがないドメインでは、得られる利得が減りかねない。
二つ、LatentBridgeは、選んだ画像教師の潜在空間に合わせて別途学習しなければならないモジュールだ。教師を替えるたびにこの通訳モジュールを学習し直さねばならない、ということである。最新モデルがひっきりなしに降り注ぐエコシステムで、もっと良いモデルが出てもすぐには差し替えにくいというのは、実用上の制約になりうる。
三つ、学習ステップ(1,000~1,200)が短めなのだが、これは出発点としたチェックポイントがすでに強いためと見られる。つまり成果のかなりの部分は良い出発点の上に乗ったものなので、「更地から得た利得」とは区別して受け止めるのが安全だ。
DuoMatchingが投げかける原則は、動画生成よりも広く届く。全体の最適化と部分の最適化は互いに異なる信号であり、両者を一つのつまみで束ねると、部分の甘さが全体の滑らかさに覆い隠されてしまう — これは、複数の部品を組み立てて一つの成果物を出すAIエージェント設計全般に当てはまる話だ。
記事の冒頭で持ち出したレポートが、その具体例の一つである。AI PMが顧客に出す週次レポートを、要約・進捗状況・リスク・次のアクションといった複数のセクションに組み立てるとしよう。今の多くのエージェントパイプラインは「レポート全体の一貫性」を整えることに力を注ぐ。トーンが統一され、セクション同士に矛盾がない。動画のジョイント(全体の関係)マッチングに当たる。ところが全体の流れにばかり合わせていると、リスクセクションの根拠が浅かったりアクション項目が曖昧だったりしても、流れさえ崩れなければそのまま通ってしまいやすい。DuoMatchingが突いたあの構造と似ている。
そこで私たちが検証してみたい仮説は一つだ。「セクションごとに、その種類だけを専門に担う評価者を付ければ、全体の一貫性を損なわずに個々のセクションの品質を上げられるか。」リスクセクションにはリスク専門の評価者、アクションセクションには実行計画専門の評価者を置き、全体を取りまとめるPMがその改善を流れに溶け込ませる構造だ。検証の仕方も論文から借りる。二つの軸に分け、(1)セクションごとの品質と(2)レポート全体の一貫性を別々に採点し、専門の評価者を付けたときに部分の品質が上がりつつ全体の一貫性は保たれるかをA/Bで見る。ここにLVSの教訓も重ねる — 毎週ほとんど同じセクションにまで評価者を重複して回すと、コストばかりかさんで多様性が死ぬので、先週から実際に変わったセクションへ検討の手間を均等に配分するのだ。正しいかどうかは回してみないとわからない。
いいえ。すべての改善は追加の推論演算なしに成し遂げられ、ベースとなるモデルのリアルタイム生成能力をそのまま保っている。追加のコストは学習段階(画像教師・LatentBridge)でだけかかり、完成した生徒モデルが動画を吐き出す速度そのものは重くならない。つまり「学習はもう一手間かけ、生成はそのまま速く」というわけだ。
因果モデルはCausal Forcing++のチェックポイントから始めてVidProMデータで1,000ステップ、双方向モデルはWan2.1-T2V-1.3BからMixkitで1,200ステップ学習した。基本の画像教師はQwen-Image(固定)、LatentBridgeはOpenVidの部分集合29,400本の動画で別途学習した。実験は80GBのGPU 8枚で行われた。