映像生成モデルが作り出す成果物は、しばしばこうなる。舞台セットは完璧に飾り込んでおきながら、小道具として掲げた看板には判読できない落書きが記されている、といった具合だ。映画のように滑らかな広告映像なのに、肝心の製品パッケージの文字は綴りが間違っている。VTR-Benchは、まさにこの「画面内の文字描画(visual text rendering、映像の中に文字を正確に描き込む能力)」だけを切り出して測る体系的なベンチマークである。
結論から言えば、測定結果は三つに集約される。
測定範囲は5つの活用シナリオにまたがる300のプロンプト、対象は最新モデル11種だ。
映像生成モデルの評価は、これまでほぼ一方向しか見てこなかった。画質がよいか、見栄えがよいか、物理法則に反していないか。VBenchやEvalCrafterといった既存ベンチマークが測るのは、だいたいこうした軸だ。ところが現実の映像には文字があふれている。広告の製品説明、科学映像の数値、画面内のボタンのラベル。文字が一つ違えば、伝わる情報そのものが変わってしまう。
問題は、映像がどれほど写実的に見えても、その中の文字が正しいという保証はないという点だ。論文冒頭の例がこのギャップを鋭く示している。約10秒の映像が、シーン・モーションの要件チェックリストでVideo Score 0.90を獲得したのに、同じ映像のWERは0.552だった。綴りの誤り、繰り返される見当違いの文字、そもそも読めない文言が混ざっていた、という意味だ。
文字を評価したベンチマークがなかったわけではないが、限界がはっきりしていた。T2VTextBenchは全面的に人手評価に依存しており、モデルを繰り返し測ろうとすれば人の手がかかり続ける。EvalCrafterやAVGen-Benchも文字を扱ってはいるが、短いテキスト中心なので長い文章はまともに測れない。一方、モデル自体に手を入れて文字をうまく描けるようにしようという試みもあった。HunyuanVideo 1.5は文字の字形情報をエンコードして組み込み、別の研究は文字の多い合成映像でモデルを追加学習させた。
VTR-Benchの立ち位置はこれらとは違う。これはモデルを直す手法ではなく「物差し(測定器)」だ。長い文章を含む場面テキストを、人手なしで自動的に、モデルを増やすだけでそのまま回せるように測る道を選んだ。そして測るだけにとどまらず、モデルの重み(パラメータ)はそのままに「生成するやり方」だけを変えて文字の誤りを減らす道も併せて提案する。「正確に測り、学習なしで改善する」——これがVTR-Benchの立つ場所だ。
結果の表が伝えるメッセージは明確だ。文字描画は、いまのモデルたちに共通して難しい。
総合1位は商用モデルのWan3.0だった。 五つのシナリオ(広告・科学・UI・文化・日常)すべてで文字の正確さを主導し、WER 0.250を記録した。興味深いのは2位だ。非公開の商用モデルではなく、オープンソースのMinimax H3(0.447)が商用のSeedance2.5(0.641)を抑えて総合2位に入った。公開モデルが複数の商用モデルよりも文字を正確に描いたのである。逆に、相当数のモデルはWERが上限(約1)にほぼ張り付いていた。Wan2.2-5BとLTX-2.3はそろって0.996で、エラースコアが上限(1)にほぼ張り付いていた。
二つ目の発見が、このベンチマークの存在理由を証明する。映像スコアが高くても、文字が正しいという保証はない。 最も鮮明な対比はKling v3.0とSeedance2.5だ。どちらもVideo Scoreが約0.79でほぼ同じ。ところがWERはKling v3.0が0.979、Seedance2.5が0.641だ。シーンとモーションの要件を同じように満たしながらも、文字の正確さは大きく開く。二つの能力を一つのスコアにまとめてしまえば、このギャップはまるごと覆い隠されてしまう。
失敗を分解した分析も実用的だ。著者らは13,213個のテキストターゲットを三つの状態に分けてみた。文字を載せる場所(担い手)が見つからない、場所は見つかったが文字が読めない、転写された。全モデルにおいて「場所は見つかったが文字が読めなかった」割合が23.31%で、「場所そのものが見つからなかった」9.34%よりはるかに高かった。文字を置く場所は見つけておきながら、その上に判読できる文字を描くところでより多くつまずく、という信号だ。しかも、読めたからといって正しいとは限らない。Kling v3.0は文字が読めた割合が79.62%にもなったが、WERは0.979だった。「読める」と「正しい」は別の問題だ。
解像度と長さの影響も押さえておく価値がある。Minimax H3とLTX-2.3を、解像度高/低 × 長さ10秒/5秒の四つの組み合わせで比較したところ、Minimax H3は解像度を上げると両方の長さでWERが減った。文字により多くのピクセルが割り当てられると、もともとあった能力がより発揮されたわけだ。一方、LTX-2.3は四つの組み合わせすべてでWERが1に近く張り付いていた。著者らの解釈は説得力がある。設定を変えて得られる利益は、モデルにそもそも文字描画能力があるときにのみ生じる。能力がなければ解像度を上げても、間違った文字がよりくっきりするだけだ。
最後に「生成のやり方だけを変える」改善の効果だ。Minimax H3について三つのやり方を比較した。ただの生成(Original)、最初の画像を1枚だけ与えて映像を作らせるやり方(image-to-video、I2V)、そして全体のフレームワーク(Agentic)だ。全体のフレームワークはWERを0.4468から0.3015へ32.5%下げ、Video Scoreを0.7562から0.8315へ上げた。二つの指標が五つのシナリオすべてで同時に良くなった。最初の画像だけを与えるI2Vもただの生成よりはましだったが、全体のフレームワークはI2VよりもWERをさらに9.4%多く下げた。最初のフレームを供給するだけでは足りず、繰り返しフィードバックを受けて調整する過程が効いた、という意味だ。
VTR-Benchの設計を貫く考えは一つ、「分離」だ。 映像が要求されたシーンと動きをうまく実現したかと、その中の文字が正確かを、互いに異なる二つの軸に分けて測る。一つにまとめてしまうと「もっともらしく見えること」が「文字が正確であること」を覆い隠してしまうからだ。
一つ目の軸はVideo Scoreだ。 プロンプトごとに20の質問を用意しておき、映像と言語をあわせて扱うAI(VLM、映像を見て文章で答えるモデル)が映像を見ながら「はい/いいえ」で採点する。質問はシーン属性・モーション遵守・空間関係・オブジェクトの存在・時間的一貫性の五つの次元をカバーする。Video Scoreは満たされた要件の割合だ。
二つ目の軸がこの論文の核心である文字評価だ。 VLMが、文字が載る表面、すなわち「担い手(carrier)」——看板であれパッケージであれ画面であれ——が映像で最も鮮明に見える瞬間を選び、文字を書き取る。このとき正解は伏せたまま、見えたとおりだけを、綴りの誤りはそのまま、読めない部分は空けて転写する。それを正解とWERで比較する。
ここにもう一つ仕掛けがある。それが「有界(bounded)WER」だ。 モデルが見当違いの文字を延々と吐き出してエラースコアが際限なく跳ね上がるのを防ぐため、正解の長さを基準にスコアに上限を設けた方式だ。だからWERが約1付近で止まる。
データセットを作る過程で最も際立つのは「先に描いてみてふるい落とす」ところだ。 プロンプトを文章だけで組んで終わりにするのではなく、画像生成モデルでその場面を先に描いてみたうえで、「この文字とこの看板が一つの場面の中に実際に収まりうるか?」をVLMで検証して直す。三回続けて失敗すればプロンプトを一から組み直す。そもそも実現不可能な課題でモデルを試すことを事前にふるい落とす、賢い手順だ。
改善用に提案したフレームワークの骨組みも同じ発想だ。「Director」という指揮役がまず最初のフレーム候補を複数枚受け取り、文字の正確さ・可読性などを検査して最も良い1枚を選ぶか、手直しして使う。こうして整えた最初のフレームを条件として映像を生成する。モデルの重みにはいっさい手を触れず、生成「時点」の制御だけで品質を上げる、というのが要点だ。
実験条件は統制されている。対象は最新のオープンソース6種と非公開の商用5種、合わせて11種。映像は10秒・24FPSに統一し、商用モデルは解像度を720pに固定した。データセットは300のプロンプトが5つのシナリオに60個ずつ均等に分布し、その下に25の細かい場面をカバーする。短いラベルから長い段落まで混ぜて(ブロックあたり1~275トークン、中央値23)、複数の文字を同時に描く能力と、長い文章を正確に再現する能力をあわせて試すように組んだ。
一つはっきりさせておきたい点がある。このベンチマークは文字が「正解と一致するか」を測るだけで、フォントが美しいか・自然かには関心がない。また転写を「最も鮮明な瞬間」基準で行うため、文字が映像の間じゅうぶれずに保たれるかは、WERではなく別の項目で扱う。
著者らが自ら認める限界から。設定の調整だけでは文字の誤りは解けない、という点をLTX-2.3の事例で釘を刺している。結局はモデルの根本的な文字描画能力が中心で、解像度・長さはその能力があるときに利益を大きくする補助的なレバーだ、という立場だ。率直な線引きである。
より構造的な限界は、評価がVLMに寄りかかっている点だ。文字の転写も映像の採点も、どちらも同じ評価用モデルが行う。著者らは人手評価との整合、そして別の評価者を使ってみた結果(付録)でこれを交差検証した。それでも「評価者が読めなかった文字」と「モデルが描けなかった文字」を完全に切り分けるのは容易ではない。転写率とWERをあわせて見るよう設計したのも、この境界を扱うための仕掛けと読める。
もう一つ、生成のやり方による改善の効果は、Minimax H3という1モデルで確認された結果だ。WERが上限に張り付いていたLTX-2.3のように底の能力が不足するモデルでも同じ幅の改善が出るかは、この実験だけでは断定しにくい。解像度の分析が示唆するとおり、底の能力がなければ生成時点の制御も効果が限られる可能性がある。この手法がどの水準以上のモデルでのみ働くのか、普遍的なのかは、より広い検証が必要だ。
AI PMが顧客に出す成果物を作る場面を思い浮かべてみよう。数値を載せた要約レポート、製品を紹介するマーケティングのカードニュース。レイアウトが整い、セクションもすべて埋まって「完成したように」見えれば、人のレビュー担当者はその完結感に寄りかかって内容の点検を飛ばしがちだ。その隙に、図表の数値が間違ったまま、あるいは製品名に誤字が入ったまま、レポートが顧客へ出ていく。
これが映像の中の文字の誤りと「まったく同じ問題」だという意味ではない。似ているのは落とし穴の構造だ。見た目がもっともらしく完成しているように見えると、中身の正確さの点検を省いてしまう、ということ。Kling v3.0がVideo Score 0.79を得ながらWER 0.979だった、まさにあのギャップが、成果物のレビューでも同じように開きうる。
だからONTLEのレビューパイプラインは、二つの評価を構造的に分けなければならない。一つは「形式・完結性」(要求されたセクションがすべて揃っているか、トーンが合っているか)、もう一つは「内容の正確性」(製品名の綴り、価格の数字、引用した数値が原本と一致するか)。後者は、VTR-Benchが担い手の上の文字だけを抜き出して正解と突き合わせるように、成果物から「検証対象のテキスト(数値・固有名詞・引用)」だけを選り分けて原本データと文字単位で照合する形で自動化できる。二つのスコアを一塊にまとめて「合格/保留」だけを出せば、内容の誤りが形式の完結感に覆い隠されたまま出ていってしまう。
改善ループもPMの仕事の進め方と結が合う。論文が重みを変えずに繰り返しフィードバックだけでWERを32.5%下げたように、成果物も「一度出して終わり」ではなく「下書き → 内容検証 → 間違った部分だけを指し示して編集 → 選択」のループで回すとき品質が上がる。特に全体を再生成せずに間違ったテキストだけを拾って直すやり方は、毎回新しく出し直してまた別の誤りを生む無駄を減らす。ただし解像度の分析の教訓もあわせて刻んでおくべきだ。底の能力がない生成器には、ループをいくら回しても限界があり、検証ループは使える下書きを出せるモデルの上でのみレバーになる。
いいえ。WERは「当てた割合」ではなく、挿入・削除・置換を合算したトークン単位の編集距離を正解の長さで正規化し、映像ごとに最大1までしかカウントせずに計算したエラースコアです。ですから1−WERを「正答率」に換算することはできません。0.250は「正規化した編集エラースコアが0.250」という意味で、値が低いほど文字を正確に描いたことになります。1に近い0.996のような値は、エラースコアが上限(1)にほぼ張り付いたという意味です。
いいえ。WERは文字が正解とどれだけ一致するかだけを測ります。フォントが自然か・見栄えがよいかといった美的品質は、この指標の対象ではありません。また転写を「最も鮮明な瞬間」基準で行うため、文字が映像全体でぶれずに保たれるか(時間的安定性)は、WERとは別に扱います。