画像を直すときに本当に面倒なのは「どう変えるか」ではなく、「どれを変えるか」を言葉で指し示すことだ。VibeEditはこの作業を、言葉から手へと移す。変えたい対象に直接、丸や落書きや矢印で印をつけ、その横に「もっと濃く」といった短いメモで望む変化を書き込む。印が「どれ」を指し、メモが「何を」を語る。著者らはこの印のまとまりをキャンバス指示(canvas instruction)、つまり絵の上に直接描き込む編集指示と呼ぶ。
このまとまり一つで、オブジェクトを加える・消す・置き換える・色や質感を整える・位置を動かす、という五種類の編集が片付く。長い説明文はいらない。
成果から言えばこうだ。著者らが作った419件の試験で、VibeEditは総合編集スコア(編集が要求どおりにできたか)79.9、原本保存画質(触ってはいけない箇所を触らなかったか)32.8dBを記録した。対象の位置と要求を丁寧に書き込んだテキストまで与えられた最強の競合編集器FireRedは、同じ試験で67.4 / 24.0dBにとどまった。絵の上の印だけを受け取った側が、親切な説明を受け取った側を、二つの指標の両方で上回ったのだ。(ただし、この採点は著者らが自ら設計した試験と審判モデルの上で行われた。)
そしてこの問題は、画像編集だけにあるのではない。ONTLEのPMが顧客の修正依頼を受けるたびに直面する「これではなく、あれ」の問題でもある。
テキストで画像を編集するとき難しいのは「どう」ではなく「どれ」だ。「色を赤く」は簡単だ。問題は、画面に似たような椅子が五つあるときだ。そのうちの一つを言葉だけで指そうとすると、「左から三番目、窓際へ半分向きを変えた椅子」のように位置と周囲の関係をくどくど描写しなければならず、それでもモデルは見当違いの椅子を塗ってしまいがちだ。
指でその椅子を指させるなら、この手間は消える。空間を指し示す仕事は点や線のような直接的な印が得意で、望む変化を語る仕事は言葉が得意だ。VibeEditはこの二つを画像の上で一度に束ねる。丸は対象領域を指し、落書きは削除を、矢印は移動を意味する。その横の短いメモが望む内容や属性を書く。重要なのは、これらの印がオブジェクトの境界を正確になぞって描く必要がないという点だ。ざっと描いても構わない。
「絵の上の指示」という発想そのものは初めてではない。点をドラッグして移す方式(DragGAN・DragDiffusion系)は、ハンドル点と目標点を打ってオブジェクトを押し引きするが、扱える編集の種類が狭い。位置だけを印で打ち、「何を」はテキストで受ける方式(マスク・ボックス・落書きベースのInter-Edit・FineEdit・VIBEなど)では、意味を依然として文章が運ぶ。ブラシ操作に編集プロンプトを組み合わせたシステム(MagicQuill系)もある。VibeEditの違いは、「何を」までを手書きの短いメモの形でキャンバスに一緒に載せた点にある。だから印とメモが一つのまとまりとして「どこ」と「何を」を同時に指定する。著者らはこれを、テキストを置き換えるというよりも、言葉にすると面倒だったり曖昧になったりする瞬間に空間指示を重ねて補うものと見ている。
キャンバス指示の発想は直感的だが、実装は厄介だ。モデルは印を「読んで」編集に反映しつつ、その印を結果画像に「描き込んで」はいけない。丸が描かれた写真をそのまま編集器に入れると、編集器はその丸を消すべき指示と見るか、絵の一部と見るかで迷う。原本の内容と指示用の印が一枚のなかで混ざり合うからだ。位置だけを白黒の領域で打っていたマスクベースの方式ではこの混ざり合いが少なかったが、手書きのメモまで絵の上に載せるVibeEditでは、この区別がただちに核心的な難題になる。
この論文の核心的な仕掛けがレイヤー分離条件づけ(layer-decoupled conditioning)、つまり原本と指示用の印を別々の層に切り分けて入力する方式だ。校正刷りを思い浮かべると分かりやすい。編集者が赤ペンで「この単語を太く」と書き込んでおくと、植字工はその印を読んで指示どおりに組版するが、印刷された本に赤ペンの跡を残してはならない。VibeEditも役割を同じように分ける。一方では、画像と文章をあわせて理解するAIが、印の描かれた写真を解釈して「何をせよという指示なのか」を取り出す。もう一方では、実際にピクセルを描く生成AIが、きれいな原本と印を別々の層(レイヤー)として分けて入力される。印は中立的なグレーの背景の上に別途描かれ、独立したレイヤーとして入れられる。おかげでモデルは印の意味を理解しつつも、手をつけていない原本をつねに参照点として握っていられる。
構造を立てたら、教えなければならない。学習は二段階だ。
第1段階は手本で教える(教師あり学習)。局所編集(写真の一部だけに手を入れる編集)では写真の大部分がそのまま保たれるので、すべてのピクセルを同じように扱うと、肝心の変わるべき小さな部分が埋もれてしまう。そこで編集対象と印のある場所により大きな重みを与え、モデルが「変わる場所」に集中するようにする。
第2段階はよくできた編集にご褒美を与える(強化学習)。それらしく見えても見当違いのオブジェクトに触れたり、問題のない背景を変えてしまったりする結果があるが、第1段階だけではこれをうまく捕まえられない。そこで三つを別々に採点して報酬を与える。要求された編集が然るべき位置でできたか(完了)、周囲はそのままか(保存)、変わった部分が自然か(品質)だ。とくに保存の側には、しきい値を設けた安全装置がつく。余裕を持たせた編集領域の外側の画質(原本に対するPSNR)が、基準線である25dBを下回ったときにだけ、報酬から0.3点を差し引く。外側が少し変わったからといって無条件に罰するのではなく、基準線の下に目立って崩れたときにだけ減点がかかる。
モデル全体を一から学習させるわけではない。土台となる編集AIはほぼそのまま凍結しておき、その上に小さなアダプターだけを付け足して「印を読む能力」だけを教える。こうして大きなモデルを丸ごと作り替えず、最小限の部品だけを足して新しい技能を教える効率的な手法を、LoRAと呼ぶ。
| 設定 | 総合編集スコア | 原本保存画質(PSNR) |
|---|---|---|
| VibeEdit 最終(印のみ) | 79.9 | 32.8dB |
| VibeEdit 第1段階のみ(印のみ) | 67.8 | 27.0dB |
| FireRed(説明文あり) | 67.4 | 24.0dB |
結果から三つのことが見えてくる。
第一に、印だけで説明文に勝った。最終のVibeEditは79.9 / 32.8dB、対象の位置と要求まですべて書き取った最高の競合モデルFireRedは67.4 / 24.0dBだ。この差を著者らは「対象を指し示すコストは、説明文では思ったより大きい」というシグナルとして読む。二つの方式は入力の形そのものが違うため単一の原因に帰すのは難しいが、少なくとも印の方式が説明文に引けを取らないことははっきりしている。
第二に、強化学習が実際に効いた。第1段階(手本学習)だけを経たVibeEditは67.8 / 27.0dBだったが、第2段階(ご褒美づけ)を重ねると79.9 / 32.8dBへ跳ね上がった。編集スコアは約12点、外側領域の画質は5.8dB上がった。もう一つ目を引く点がある。第2段階を重ねる前の67.8点が、すでに説明文を受け取ったFireRedの67.4点と実質的に互角で、外側の画質はむしろ高かった(27.0対24.0dB)のだ。印の方式の競争力は、強化学習より前にすでに現れていたわけだ。
第三に、印は「ただ入れれば」読んでもらえるものではない。学習していない公開編集器にキャンバスの印つき画像をそのまま入れると、スコアが大きく崩れた。同じモデルがテキストの説明を受け取れば60点台に跳ね上がる。
| 未学習の公開編集器 | 印つき画像のみ | 説明文あり |
|---|---|---|
| Qwen-Image-Edit-2511 | 19.8 | 62.5 |
| FireRed | 22.8 | 67.4 |
| JoyAI | 46.4 | 65.4 |
観察された事実はここまでだ。著者らの解釈はこうだ ― 印を読むのは生まれつきの能力ではなく学習すべき能力であり、学んでいないモデルは印を絵の一部と誤解する。これは、この論文がレイヤー分離を設計した理由とぴたりと重なる。
編集の種類別に見ると、移動(move)が誰にとってもいちばん難しかった。テキスト競合モデルの移動スコアは54点台を越えられなかったが、VibeEditは76.4だった。「どこからどこへ」という移動の本質を、矢印という空間の印が言葉より直接伝える、と著者らは見る。残りの四種類(追加・削除・属性・置換)でもVibeEditが満遍なく上回った(具体的な数値は下の技術詳細)。
では、この成績はどんな試験から出たのか。
採点用の試験セットは419件で、学習データと重ならないよう人が自ら集めて選んだ。肝は「似たようなオブジェクトが複数ある場面」をわざと多く入れた点だ。「要求された変化を理解するか」だけでなく「その変化を、狙ったまさにその一つに適用するか」を試そうというもの ― 先に述べた「どれ」の問題を狙い撃ちにした設計だ。公平な比較のため、テキスト編集器には対象の位置と要求を丁寧に書き込んだ説明文(平均21.3語)を別途こしらえて渡した。
成績は二つで測る。一つは総合編集スコアだ。画像と文章をあわせて理解するAIを固定の審判に据え、編集の成功・周囲の保存・局所の品質を「はい/いいえ」で採点した通過率である(この採点基準表をルーブリックと呼ぶ)。もう一つは原本保存画質(PSNR)で、編集領域の外側が原本とどれだけ同じかをピクセル単位で測った値だ ― 高いほど触っていないという意味になる。二つは別々のものを見る。前者は「編集がきちんとできたか」、後者は「触ってはいけない箇所を触らなかったか」だ。
学習データは155万ペアに及ぶ。人が一つひとつ作ったのではなく、既存のAIツールを複数つなげた自動工程で量産した。大枠は、編集に向いたオブジェクトを探し、それらしい編集要求をこしらえたうえで、品質の低い結果を取り除く自動工程だ(ツール構成は下の技術詳細)。著者ら自身、この工程がすべての誤りを取り除けるわけではないと認め、残ったノイズは第2段階の強化学習で補正すると述べている。
著者らが自ら認めた限界はデータだ。自動で量産した編集ペアは、いくら濾しても誤りが残り、だからこそ強化学習で補正する ― 学習データにノイズがあるという前提を敷いて設計したわけだ。
もっと気がかりなのは評価の構造だ。試験セットは人が手間をかけて選んだ質の高いものだが、いずれにせよ著者らが自ら仕立てたものだ。しかも最終採点の審判に使ったモデルは、データを作る段階 ― オブジェクトを選び、編集要求をこしらえ、品質を濾す仕事 ― にも使われた、まさにそのモデルだ。試験の出題者が、自分で作った模試で自分の実力を採点するのに似ている。その審判がうまく解けるタイプの編集だけがデータに入り、そのデータで学習したモデルを再び同じ審判が採点すれば、スコアが膨らむ余地が生まれる。強化学習の報酬審判は別のモデルに切り分けたが、最終成績をつけた審判の独立性は、やはり考えてみるべき点だ。
土台への依存もある。VibeEditは既存の編集AIの上に小さなアダプターを載せた構造なので、ベースとなった編集器の実力と癖をかなりの部分受け継ぐ。「印で指示する」というインターフェースの新しさと、その下で実際に絵を描くエンジンの品質は、別々の軸だ。
リアルタイム性は開かれた問いだ。キャンバス編集は本質的に、ユーザーが描いて即座に結果を受け取るインタラクティブなツールを前提とする。丸を描いてから結果が出るまでの体感速度が、実際のワークフローのなかで快適かどうかは、ツールとして自分で使ってみなければ分からない領域だ。
ONTLEは、顧客プロジェクトごとにAIプロジェクトマネージャー(PM)を派遣し、依頼の受付から分析・開発・サービス公開までを管理する仕組みだ。この流れのなかで摩擦がもっとも多い地点を一つ挙げるなら、成果物のレビュー段階だ。
AIのPMがランディングページやカードニュースのようなウェブ成果物を顧客に見せ、修正依頼を受け取る。顧客はたいていこう書く。「上部バナーの右のボタンではなく、その横の小さいボタンの色をもっと濃く」。画面にボタンが複数あると、PMは聞き返す。「どのボタンのことでしょうか?」受付ループに往復が一回増え、ときにはPMが早合点して見当違いの要素を直した成果物が再び上がってくる。この論文が突いたあの非対称 ―「何を変えるかは易しく、どれなのかは難しい」― が、ONTLEの受付窓口で毎日再生されているわけだ。
顧客が成果物のプレビューの上で、まさにその小さいボタンに丸をつけて「もっと濃く」と書けば、依頼が受け付けられた瞬間に、少なくとも「どれ」は絞り込まれる。ONTLEにはすでに画像・PDF・エクセルを表示する成果物ビューア(/artifacts)があるので、そのプレビューの上に印のレイヤーを重ねる方向は自然な拡張だ。
ここで、この論文のもっとも実用的な教訓がそのまま使える ― レイヤー分離だ。顧客が印をつけたスクリーンショットをPMが実行段階へ回すとき、受け取る側はその丸とメモを「指示」として読むべきで、「成果物に描き込む絵」と誤解してはいけない。指示レイヤーと原本の成果物を構造的に切り分けて渡してこそ、「直してほしいという印」が「直った成果物」のなかへ漏れ込まない。
ただし、印一つですべてが片付くわけではない。残るのは二か所だ。一つ、印が消してくれるのは「どれ」を説明するために生じていた往復であって、「もっと濃くとはどの程度か」のような「何を」に込められた要求そのものの曖昧さではない。二つ、顧客が画面の上に描いた丸は、結局のところ座標にすぎない。その座標を、実際に直すべき要素 ― そのボタンのコードやコンポーネント ― に結びつける仕事は、画像編集にはなかった、ONTLEが別途解かねばならない問題だ。だからキャンバス受付は、単なる画面の便利機能ではなく、依頼を収めるデータ構造そのものを変える仕事なのだ。
この論文の結果を自分のサービスに当てはめるなら、役割ごとにこう点検してみる価値がある。
- データの自動生成:オープン語彙の物体検出ツール(Florence-2)で物体候補を抽出し、小さすぎたり大きすぎたりする候補を除いて番号を振ったうえで、審判モデル(画像・言語理解AI)が見分けやすく周囲から分離したオブジェクトを選ぶ。選ばれたボックスから分割ツール(SAM 3)がオブジェクトのマスクを作る。追加・削除はオブジェクト除去ツール(ObjectClear)でペアを作り、消した向きは削除、逆向きは追加の学習に使い、置換はインペインティングツール(FLUX.1 Fill)で、属性変更と移動は土台の編集器(Qwen-Image-Edit)で生成する。生成されたペアは、ふたたび同じ審判モデルで品質を評価して濾す。 - 教師あり学習(第1段階):領域重みづけ教師あり学習。編集対象と印の領域に大きな重みを与えつつ全体の教師信号は維持し、移動編集は出発・到着の位置マスクを合わせて重みづけする。印・境界の周辺へマスクを少し広げ(dilation)、おおまかな印や境界付近の効果、ダウンサンプリングを吸収する。この教師マスクは学習の損失にだけ使い、推論時には与えない。キャンバスの印は保存しておかず、学習中にその場で描き(online rendering)、線の形・太さ・手書き/印刷体の書体を多様に変えて、同じ編集のさまざまな表記を見せる。 - 強化学習(第2段階):ルーブリックベースの報酬。報酬審判は、データ生成・最終採点に使ったモデルとは別の、独立した審判モデルだ。最適化には、デノイジングの全軌跡を保存しないDiffusionNFTを使う。強化学習の集合は、報酬のばらつきが大きい条件3,520個(編集の種類五つ × 704個)で構成した。 - モデル構成:画像・言語理解エンコーダ(Qwen2.5-VL)とピクセル生成部(VAE・DiT)はすべて凍結し、DiTのアテンション射影・変調層にrank-128のLoRAアダプターだけを学習する。土台のモデルはQwen-Image-Edit。 - リソース・推論:両段階ともNVIDIA A100を32枚使用。強化学習は12,000ステップの教師あり学習チェックポイントから始めて220ステップで評価、条件あたりロールアウト12個。推論は事例ごとに1枚出力で、基準モデルはデノイジング30ステップ(CFG 4)、強化学習モデルは16ステップ(CFG 1)。 - 総合編集スコアの算出:編集の成功・周囲の保存・局所の品質についての二択質問の通過率を編集の種類別に平均したうえで、五種類にわたって等重みで平均(%)。これに編集領域の外側の、原本-出力間のPSNRを併せて見る。 - 編集の種類別VibeEditスコア:追加 80.3 ・ 削除 85.4 ・ 属性 77.4 ・ 置換 79.9 ・ 移動 76.4。
論文にプロジェクトページ(https://zhaojingjing713.github.io/VibeEdit/)が公開されています。ただし、この記事で抜粋した範囲では、公開された重みや配布ツールの有無までは確認できないため、プロジェクトページと論文のリンクでご自身で確認されることをおすすめします。
すべて下の参考資料のarXiv公開版とプロジェクトページに基づいています。本文の成績は著者らが報告した値であり、そのスコアが著者ら自身の設計した試験と審判モデルの上で出たという前提は、「限界と残された問い」で指摘したとおり踏まえて読まれることをおすすめします。