生成モデルに手がかりとして何を渡すかを選ぶとき、私たちはたいてい、より鮮明でより正確に見える入力を選ぶ。LEGOという研究は、その常識をひっくり返す。くっきりしていても位置がずれた絵よりも、ぼやけていてもその場所に収まっている絵のほうが役に立つ、というのだ。なぜそうなのか、そしてその原則が映像の外でどこまで通用するのか。それがこの記事のすべてである。
まずはLEGOが解こうとする課題から。同じ部屋で誰かが料理をしている。壁に取り付けられたカメラがこの人物を外側から撮った映像(三人称)が一本ある。私たちが作りたいのは、その人の目に映っていたであろう映像(一人称)だ。手がかりとして与えられるのは、目標となる一人称カメラがどんな経路で動いたか、それだけである。
やっかいなのは、二つの視点がほとんど重ならないという点だ。三人称カメラには人物の背中と手が映る。一人称視点にはまな板と食材、向かいの壁が入ってくる。作るべき画面のかなりの部分は、元の映像にそもそも写っていない。コピーしてくる元がないのだから、ないものをこしらえるしかない。だからこの課題は「新しい視点から見た画面を作る」タスクの中でも、とりわけ難易度の高い部類に入る。
これまで最も良い成績を出していた手法(EgoX、2026年発表)は、正攻法を選んだ。一台のカメラ映像だけから各地点までの距離(深度)を推定し、その距離を使って三人称映像を三次元空間の点群として復元する。その点群を一人称の経路から描き直し、生成モデルへ手がかりとして入れる。ピクセルごとに推定された距離に従って正確に一箇所へ移されるので、質感は鮮明に残る。
落とし穴もここにある。距離の推定が外れると、そのピクセルの中身はとんでもない場所へくっきりと移される。鮮明に、しかもどこが間違っているのか何の手がかりも残さないまま、誤って置かれる。間違った場所に確信を持って打ち込んでしまう、この種の誤差を統計では「バイアス」と呼ぶ。取り戻す糸口すら残さない、高くつく種類のミスだ。
ここで勘をつかむための場面をひとつ。ディテールは見事に描き込むが、構図を正すのは苦手な画家がいる。この画家に、下絵を二枚のうちどちらか渡す。一枚はすべてがくっきりしているが物の位置が少しずつずれた写真、もう一枚は輪郭がつぶれていてもすべてがその場所に収まっている木炭スケッチ。どちらが良いだろうか。
答えはスケッチだ。画家はつぶれた輪郭をディテールで埋めるのは得意だが、ずれた位置を自分で正すことはできない。彼に必要なのは「どこに何があるか」である。「どう見えるか」は勝手に埋めてくれる。
生成モデルもこの画家と同じだ、というのがLEGOの出発点である。だとすれば、手がかりを選ぶ基準が変わる。位置合わせ(何がどこにあるか)が先で、鮮明さ(どれだけくっきりか)はその次だ。先ほど見た点群方式が高くつくミスを犯す理由も、ここで改めて見えてくる。あの方式は鮮明さを守ろうとして、位置合わせを手放したわけである。
原則が立ったので、実装を見てみよう。LEGOは「Lifting-free」、すなわち点群へ持ち上げる復元ステップを丸ごと取り払う。その場所をビュー合成器ひとつが肩代わりする。入力画面と「目標の視点からどう見えるべきか」を受け取り、新しい画面を描き出すよう学習されたニューラルネットワークだ。
ここで肝になるのは、三次元情報をどう渡すかである。LEGOは距離や点群の代わりに、一人称画面の各ピクセルが「どの方向を向くべきか」を記した一種の視野角マップを渡す。このマップには、カメラがどこにあり、どちらを向いているかがピクセル単位で収められている。すべての方向を三人称カメラを基準に記すため、二台のカメラ間の実際の距離までマップの中に自然に入ってくる。学習に使う正解は、実際の一人称映像一本だけだ。距離の正解も、二視点の対応点の正解も与えない。それでもモデルは「この画面を描き出せ」という目標だけを見て、二視点の対応関係を内部で自ら習得する。
この合成器が描く絵はなぜぼやけるのか。確信のない地点では「どこから持ってくるか」の候補が複数箇所にまたがり、モデルがその候補を平均するからだ。質感はつぶれるが、中身はその場所の近くに残る。点群方式のミスが「中身がとんでもない場所に置かれる」ことだとすれば、合成器のミスは「ぼやけ」である。そしてぼやけは、生成モデルがノイズを取り除きながら復元するよう、すでに訓練を受けている、まさにその種類の損傷なのだ。
合成器はおまけに信号をもうひとつ渡してくれる。候補の位置が一点にどれだけ集まっているか、その集中度がすなわち地点ごとの信頼度だ。集まっていれば信用でき、広く散らばっていればモデルもどこから持ってくるか確信がない、という意味である。LEGOはこの信頼度を二箇所で使う。第一に、信頼度の低い領域は手がかりから中立的なグレーで覆い隠す。点群方式は根拠のない場所に穴を残すが、平均を取る方式は証拠のない場所まで全部埋めてしまい、自ら「わからない」と言えない。信頼度がその欠けた声を代弁する。第二に、同じ信頼度を生成の過程で再び取り出し、画面の配置が決まる初期段階でモデルを信用できる方へ引き寄せる。追加学習をまったく必要としないこの仕組みがARC(Adaptive Rendering Consistency)である。
一人称カメラに合わせる作業は軽く済む。公開されている合成器は、互いに近い普通のカメラどうしの隙間を埋めるよう学習されているが、LEGOの目標は広角で大きく歪んで見える魚眼のヘッドセットカメラだ。カメラ情報がすべて視野角マップに入ってくるので、モデルの構造を変える必要なく、魚眼の歪みをピクセルごとに逆算して目標方向を求め、重みだけを合わせ直せばよい。このファインチューニングはNVIDIA H200 GPU 4枚で1万ステップ、約3.5時間で終わる。以降、重みは固定だ。
主張を信じるには、実験設計を見なければならない。学習と評価はいずれもEgo-Exo4Dデータセットで、EgoXの手順をそのまま踏襲する。テストは学習に登場した場面(seen)と登場しなかった場面(unseen)に分かれる。この区別が重要なのは、モデルが見た場面を丸暗記したのか、それとも視点変換そのものを習得したのかを分けるからだ。
指標は性格の異なるものが混ざっているので、表を見る前に一行で整理しておく。
比較は二つの仕掛けで公平に揃えた。構成要素をひとつずつ外して寄与度を測る実験では、骨格・学習設定・乱数シード・カメラ経路をすべて同一にし、手がかり入力と生成を導く方式だけを変えた。さらにEgoXの成績を二通り載せた。ひとつは原論文が報告した数値(EgoX)、もうひとつは公開されたEgoXモデルを著者たちの採点コードで回し直した数値(EgoX†)だ。同じモデルでも採点方式が違えば数字が変わる、という事実を隠さなかったわけである。
まずは全体の比較から。
| 分割 | 手法 | PSNR↑ | SSIM↑ | LPIPS↓ | CLIP-I↑ | FVD↓ |
|---|---|---|---|---|---|---|
| seen | LEGO | 20.28 | 0.689 | 0.310 | 0.925 | 155.56 |
| seen | EgoX | 16.05 | 0.556 | 0.498 | 0.896 | 184.47 |
| seen | EgoX† | 15.57 | 0.556 | 0.466 | 0.903 | 197.95 |
| unseen | LEGO | 15.91 | 0.505 | 0.504 | 0.897 | 404.77 |
| unseen | EgoX | 14.38 | 0.457 | 0.552 | 0.877 | 440.64 |
| unseen | EgoX† | 13.53 | 0.437 | 0.542 | 0.886 | 455.06 |
LEGOがすべての画像指標とFVDで先行している。著者たちはPSNRとLPIPSで差が最も大きいと記す。ここで注目したいのはLPIPSのほうだ。この指標で先行したということは、ピクセル単位の数値だけでなく、人の目に感じられる知覚的な品質でも正解により近づいた、と読める。ただし、ちらつきや動きのなめらかさを測る指標はどの手法もほぼ飽和していて識別力がなかったので、この勝負は「なめらかに仕上げて」ではなく「正しい画面を描いて」決まった、と見るのが妥当だろう。
前の段落では位置合わせが先だと原則として述べた。この節では、その原則が実験でどう裏づけられるかを見る。構成要素をひとつずつ足していった実験が、その証拠に最も近い。手がかりなしで生成するとPSNRは12.30にとどまる。点群レンダーを手がかりに入れると15.59、ファインチューニングした合成器レンダーを入れると18.24まで上がる。決定的な対照は「ファインチューニングしていない」合成器レンダーだ。これは15.71で、点群レンダー(15.59)と事実上同じである。合成器の利得がトランスフォーマーという構造のおかげではなく、一人称魚眼カメラに合わせたファインチューニングから来ている、という意味に読める。
仮説を最も直接に狙ったのは、手がかりそのものの品質を測る実験だ。ここでは生成結果ではなく「手がかりの絵」を正解と直接比較する。鮮明さは正解に対する鮮明度の比で測るが、合成器レンダーは0.28で二つのうち、よりぼやけている(元が1)。点群レンダーは0.97でほぼ元画像なみだ。ところが位置合わせ、すなわち同じ場所の中身がどれだけ合っているかでは順序が逆転する。よりぼやけた合成器レンダーのほうが二つのうち位置合わせが良く、ほぼ元画像なみに鮮明な点群レンダーは位置合わせがひどい。結果も位置合わせに従った。よりぼやけたほうがモデルをうまく導いたのだ。しかも手がかりのぼやけは出力に残りもしなかった。二つのレンダーから出た生成物は、結局同じ鮮明さに到達した。速度まで合成器が有利だ。一クリップあたり4.7秒で、深度推定と点群レンダリングの69.2秒よりずっと安い。
良い手法も良い手がかりの上でしか力を発揮しない、という点は、生成を導く方式の比較で明らかになる。ARCをオンにすると再学習なしで全指標が良くなる。一方、EgoXが使っていた深度ベースのガイドを乗せるとFVDが194.98へ、かえって悪化する。ARCを点群レンダーに付けると、ガイドなしよりも劣る(PSNR 13.96、FVD 735.50)。ARCは自分がつかんだレンダーを強化する仕組みなので、位置の合ったレンダーと信用できる信頼度の両方が揃っていてはじめて本領を発揮する。
汎化はEgoHumansとNymeriaデータセットで確認された。Ego-Exo4Dで学習した重みを手を加えずに適用したのに、LEGOがEgoX†を両方で全指標にわたり上回った。著者たちは過学習の疑いに対し、まったく異なる場面と人物であっても、信頼度ゲートが保持するレンダーの割合がunseen Ego-Exo4Dと同程度の約15%水準である点を挙げる。ファインチューニングが特定の学習環境ではなく「魚眼の一人称カメラと大きな視点変化」という共有された性質に適応した、と解釈できる根拠だ。
著者たちは付録で限界を別立てで扱っているが、公開された抜粋だけでも構造的な緊張は押さえられる。
合わせておくコストがかかる。公開合成器を魚眼の一人称カメラに合わせるのに、H200を4枚で約3.5時間が一度かかる。ただしこれは一度きりの準備コストだ。論文はこうして合わせた重みを、新しい環境のEgoHumans・Nymeriaへ再学習なしでそのまま適用した。まったく異なる光学系にも合わせ直す必要があるのか、そしてそのコストがどれくらいかは測定されていない。
信頼度ゲートが保持するレンダーが約15%という数字は、残りの領域が何の手がかりもなく純粋に生成される、という意味ではない。信頼度が低い場所で隠されるのは合成器レンダーというひとつの入力だけで、生成器はその場所でも元の三人称トークンとテキスト条件を併せて受け取る。ARCもまた、マスキング前のレンダーを信頼度に応じて連続的に反映する仕組みなので、信用できる場所とそうでない場所をきっぱり切ってオン・オフするわけではない。だから保持率をそのまま「ハルシネーションが起こりうる領域の割合」と読む根拠はない。ただし、重なりがほとんどない課題の本質上、モデルが自ら埋めなければならない分が大きいこと、そして「わからないと示すこと」と「正しく埋めること」が違う、という緊張はそのまま残る。
転移の範囲も開かれている。ファインチューニングは魚眼の一人称カメラに合わされている。著者たちは、適応がカメラモデルと視点変化という共有要素を狙うものだからデータセットを越えて転移する、と論証するが、画角の狭い普通の一人称カメラのようなまったく異なる光学系への転移は確認されていない。
最後に、このすべての論理は「モデルがぼやけをディテールへよみがえらせる」という前提の上に立つ。その前提は、手がかりが正しく位置合わせされているときにのみ成り立つ。位置合わせそのものが崩れる極端な視点では、ARCが間違ったレンダーをかえって強化する危険が残る。ARCを点群レンダーに付けたとき成績がより悪くなった結果が、その敏感さを裏返しに示している。
ここまではカメラとピクセルの話だった。だが「位置合わせが先」という原則は、空間の問題だけに縛られているのだろうか。不完全な文脈を手がかりに受け取り、残りをこしらえなければならない仕事であれば、くっきりした単一の正解を入れるのか、位置だけ合った下絵を入れるのか、そして確信のない場所をどう空けておくのかが、同じように問題になる。ONTLEが作るAIアシスタントが、まさにそういう仕事をしている。
具体的な場面をひとつ、最後まで追ってみよう。ONTLEのAI PM(人の代わりに業務を分解し、スケジュールを組んでくれるAI担当者)へSlackで指示が入ってくる。「今回のカードニュース、前回のトーンで4枚、来週中に」。人どうしなら通じるが、機械が実行可能なタスクリストとスケジュールに変えるには空欄が多い言い方だ。この場面でたいていはRAG(過去の記録を検索し、いまの文脈に添える手法)が似た過去の作業を探し、文章を生成するAI(LLM)へ手がかりとして渡す。
よくあるやり方は、この手がかりを「精密に」埋めることだ。最も似た過去の指示をひとつ選び、そのスケジュールと担当者、成果物をそのままコピーして入れる。これは点群レンダーがはまった落とし穴に似ている。その過去の事例がいまの状況と微妙にずれていると、間違った担当者と間違った締め切りが確信を持って下書きに刻まれる。どこが間違っているのか、何の手がかりもなしに。
LEGO式にひっくり返すとこうなる。検索結果を鮮明な単一の正解として入れる代わりに、複数の過去事例にわたって平均した「構造的な下絵」として入れる。具体的な日付や名前はつぶれても、「カードニュースは企画から画像生成、編集、配信の順で、たいてい二、三段階に分かれる」という骨格はその場所に残る。そして検索の信頼度が低い場所、たとえば参照できる過去事例が乏しい新規作業は、信頼度ゲーティングのようにグレーで空けておく。でっち上げた日付を確信する代わりに「未定」と残すのだ。
ここで比喩の限界をはっきりさせておかねばならない。映像の空間的な位置合わせと、業務文脈の適合性は同じ問題ではない。だからこの原則は「正解をもっとうまくこしらえろ」と翻訳されてはならない。むしろ逆だ。担当者と締め切りの根拠が足りなければ確定しない。枠を先に立てて人と合意し、空だと示された欄だけ人の確認を経て埋める。これはONTLEのワークフローがすでに使っているやり方でもある。
まだ実証された設計ではなく、私たちが検証してみようとしている仮説である点ははっきりさせておく。位置合わせが先、鮮明さは後、という原則でAI PMの下書き生成を組み直せばハルシネーションが減るのか、その答えを実際に測ってみるつもりだ。
深度をいくら高めても、残る誤差の「性質」が問題だ。点群方式では、残った距離の誤差がそのまま「確信に満ちた位置の誤差」に変わる。取り戻す信号のないこの種のミスは、推定精度を上げたからといって消えるものではない。LEGOは精度競争の代わりに誤差の性質を変えたわけである。平均を取ってぼやけても、位置はその場所の近くに残す方へと。
楽になる。ただしそれは別の(より易しい)課題だ。初期のシステムは、周囲を囲む複数のカメラや、正解一人称の最初のフレームのような特権的な入力に頼っていた。LEGOが狙った設定は単一の三人称映像だけである。追加入力を要求しない、という点がこの手法の前提だ。
学習になかった場面でスコアが下がるのは当然だが、そのunseen区間でもLEGOは比較対象を上回った。より重要な根拠は、学習に使っていないEgoHumans・Nymeriaデータセットで、重みに手を加えずとも成績を維持した点である。ただし、これは魚眼の一人称カメラという共通条件の内側での話だ。