Vidu S2は、ユーザーが流れている動画にリアルタイムで割り込んで対話し、修正できる動画生成モデルです。このように生成の途中でリアルタイムに介入する対話性そのものは、前作のVidu S1ですでに切り開かれており、S2はその上に二つの方向をさらに引き上げます。一つは相手の反応に合わせてその場で表情や動作が変わる対話型キャラクター(Vidu S2-Avatar)、もう一つは今まさに配信中の動画ストリームの服や背景をその場で変えるリアルタイム編集(Vidu S2-Editing)です。
大半の動画生成AIは「受注生産」方式です。プロンプトという注文書を入れると、しばらく経ってから完成した動画が一本まるごと出てきます。品質は上がりましたが、作っている途中で割り込んで「ここで手を振らせて」「服を変えて」と言うのは難しいのが実情です。
この方式は、二つの場面でとりわけもどかしさを感じさせます。
Viduシリーズは、まさにこの点を正面から狙ってきました。前作のVidu S1がすでに音声指示で生成途中にいつでも介入できるリアルタイムの対話性を切り開いており、Vidu S2はその上にリアルタイム720p画質・動的参照・指示追従・ストリーム編集を大幅に引き上げたのが肝です。
Vidu S2を理解する一つのたとえが、「録画放送」から「生放送」への転換です。録画は編集が終わってからでないと手を入れられませんが、生放送は流れている最中に介入しなければなりません。論文はこれを二つの筋道に分けてアプローチします。
Avatarモデルは、リアルタイムで動くデジタルキャラクターを作ります。改善点は三つです。
| 能力 | かみ砕いて言うと |
|---|---|
| リアルタイム720p生成 | 待たずに、かなり鮮明な画質で次々と動画が出てくる |
| 動的参照(dynamic references) | キャラクターが参考にする「基準情報」を途中でいつでも差し替えられる |
| 強化された指示追従(instruction following) | 「踊ってみて」のような要求をより正確に理解して実行する |
ここで「動的参照」はとりわけ注目したい点です。従来の方式が最初に決めた参照一つで最後まで通したのに対し、Vidu S2-Avatarは生成途中で参照を次々と入れ替えられます。論文の表現では「いつでも更新可能(updated at any moment)」というもので、この性質がリアルタイムの対話性の土台になります。
ところが、まさにここに興味深い緊張が生まれます。ストリーミング動画は前のフレームと後のフレームが自然につながる視覚的連続性が命です。一方で「いつでも参照を差し替える」とは、流れの真っただ中に新しい入力を押し込む行為です。参照を変えた瞬間に人物が急に別人のように跳ねたり、動作が途切れたりすれば、リアルタイムの利点は崩れます。つまりこのモデルが実際に難しく解いている課題は「参照を変えられる」ことではなく、参照が変わっても前後がつながるよう連続性を保つことなのです。変更可能性と連続性という、互いに引っ張り合う二つの要求を一つのストリームの中で折り合わせているわけです。
Editingモデルは、すでに流れている動画ストリームをリアルタイムで編集します。明示されている編集タイプは四つです。
後からの編集ではなく、放送が流れているまさにその瞬間に背景や衣装を変えるという点で、Avatarが直面した連続性の課題を、編集の側でも同じように抱え込みます。変えつつ、途切れさせてはならない、ということです。
論文はさらに、AvatarとEditingの両方でリアルタイム「空間動画」生成の実現可能性(feasibility)を探究したと述べています。空間動画とは、通常は立体感(奥行き)があり、VRや3Dディスプレイで没入感をもって見える動画を指します。ただし「可能性を探究した」という表現なので、完成した機能というより拡張の方向として読むのが正確です。
成果は明確ですが、抑制が利いています。核心となる一文は次のとおりです。
"Experiments show that Vidu S2 outperforms all baselines." (実験の結果、Vidu S2はすべての比較対象を上回る。)
そして誰でも自分で試せるオンラインデモが公開されています(https://vidu.com/vidu-stream)。リアルタイム・対話性という特性は文章だけで説明しづらい種類のものなので、再生可能なデモを併せて提供したこと自体が意味のあるシグナルです。
一方でアブストラクトには具体的な数値(正確な遅延時間、フレームレート、ベンチマークスコア、向上幅)がありません。そのため確認できる事実は次の程度にとどまります。
意義をまとめると、Vidu S2は動画生成を「完成品を吐き出すツール」から「リアルタイムで一緒に操作するインターフェース」へと移してきたViduシリーズの流れを、さらに一歩推し進める試みです。動画生成がコンテンツ制作ツールを越えて、対話型サービスの構成要素になりうることを示唆しています。
この「流れている最中に割り込む」構造は、動画だけの問題ではありません。ONTLEは顧客プロジェクトごとにAIプロジェクトマネージャーを派遣するSaaSですが、AI PMが一日に何度も直面する状況が、まさに同じかたちをしています。架空の一場面をたどってみましょう。
水曜の午後、会議中に顧客が言います。「納期を2週間前倒ししないといけなくなりそうです」。このときAI PMに起きることは、Vidu S2がストリームの真っただ中で参照を差し替えるのと構造が似ています。
Viduと共有する設計上の課題は、2番にあります。どちらのシステムも一度に全部作って終わりではなく、進行中の状態に新しい入力が割り込むストリーミング構造であり、だからこそ「変えつつ、前とつなげる」という同じ宿題を解きます。動画はフレームが跳ねてはならず、PMはすでに交わした約束と進行分が跳ねてはなりません。参照を差し替える動作がそのまま納期変更の入力であり、連続性の維持がそのまま既存の進行分を活かす判断になります。
ただし、たとえが成り立たない点もはっきりしています。Viduの連続性は秒単位のフレームの視覚的な自然さであり、モデルが内部で自動的に合わせます。ずれたフレームはレンダリングし直せば済むので、やり直しのコストも安い。一方でPMの「連続性」は何日にもわたる人の労働と契約された約束なので、一度捨てた作業はレンダリングし直せませんし、誤ってつないだ計画は視覚的な違和感ではなく信頼の毀損として残ります。何より、動画は連続性をモデルが引き受けますが、PMの計画変更は4番のように人の明示的な確認を必ず経なければなりません。リアルタイムがそのまま自動ではない — ここで動画モデルの直感は有用でありつつ、そのまま持ち込んではいけないのです。
アブストラクトだけでは確認できない部分が多くあります。
まとめると、方向性と能力のリストは明確ですが、「どれだけうまく、いくらのコストで」という答えは、デモと本文で直接検証する必要があります。
音声指示で生成途中にいつでも介入できるリアルタイムの対話性は、Vidu S1からすでに対応していました。S2はその上に、リアルタイム720p画質、途中で参照を差し替える動的参照、強化された指示追従、そして流れているストリームをその場で直すリアルタイム編集(Editing)を引き上げた点が核心的な違いです。
参照情報を途中で変えること自体よりも、変えた後も前後のフレームが途切れないよう視覚的連続性を保つことが難しいのです。変更可能性と連続性は互いに引っ張り合う要求なので、この二つを一つのストリームの中で折り合わせることが実際の課題です。
スタイルレンダリング、衣装の差し替え、人物の差し替え、背景の差し替えの四つが明示されており、すでに流れている動画ストリームにリアルタイムで適用されます。
はい。再生可能なオンラインデモ(https://vidu.com/vidu-stream)が公開されています。リアルタイム・対話性という特性は、文章より自分で体験して確かめるほうが正確です。