画像編集AIに「この写真を夜の時間帯に変えて」と頼んでみよう。出てくる絵は、見た目にはそれらしい。問題はその先だ。このモデルは『夜』をちゃんと理解したのか、それとも単に画面を暗く落として青いフィルターを重ねただけなのか。流暢に話すのに、聞かれたことと違う答えを返す人がいる。最近の編集AIは、まさにそれだ。
最新の編集AI 58種を一堂に集めて競わせたところ、最も優秀なモデルですら、すべての評価軸で満点を取れた課題は56.6%にとどまった。かろうじて半分を超えた程度の数字だ。注目すべきは、どこで詰まったかである。成果物の画質や元画像との一貫性は、すでに相当な水準にあった。足を引っ張ったのは、指示に込められた意図を推論して汲み取る能力だった — その指示推論のスコアだけを取り出すと、首位モデルでも100点満点中68.1点だ。
この数字を出したのがRISEBench++だ。上海交通大学をはじめとする5つの大学の研究陣が作ったベンチマーク(複数のモデルを同じ基準で競わせる標準テスト)で、『正しく汲み取って直す能力』を画質や一貫性と混ぜず、切り分けて1,000個の課題で測る。これまでこの能力を公正に測るものがなかった、という問題意識から生まれた。
画像生成モデルはここ数年で二つのことが得意になった。絵を理解すること、そして新しい絵を作ること。ところが「すでにある絵を直して」という要求の前では、いまだにつまずく。
研究陣が注目したのは、単なる補正より一段上の能力だ。彼らはそれをRISE(Reasoning-Informed viSual Editing)、日本語で言えば『推論に基づく視覚編集』と呼ぶ。文脈を読み、筋を通して賢く直す能力である。シーンの時間帯に合わせて照明を変えること。意味が不自然にならないよう物を加えたり消したりすること。ユーザーが言葉にしきれなかった意図まで推論して反映すること。主要な商用モデル(GPT-Image系など)はこうした作業でオープンソースを大きく引き離し、推論を使わない従来型の編集モデルは、そもそも手も足も出なかった。
問題は、この能力をきちんと測るものがなかった点だ。既存の編集ベンチマークの多くは、「空を青く」「帽子をかぶせて」のように、やるべきことがあからさまに決まった課題を扱う。指示どおりきれいに塗り分ける腕前は測れても、「なぜこう直すべきなのか」まで考える能力はすり抜けてしまう。RISEBench++は、まさにその空白を狙う。
RISEBench++は『推論』を性質によって三つに分ける。持っている知識を使う推論、絵から手がかりを読み取る推論、想像力を使う推論だ。
第一に、知識主導型。知っている常識を当てはめるだけで答えがすぐ出る。「10年後のこの木」を描けと言われれば、木は育つという常識一つで解ける。
第二に、知覚主導型。まず絵の中の空間構造や隠れた規則を目で読み取り、その上で考えなければならない。言葉だけで当てずっぽうに当てることはできず、絵が与える手がかりに足をつけなければならない。
第三に、想像主導型。常識を引いてきつつ、あえて覆す。もっともらしいが現実にはありえないシーンを、辻褄が合うように作り上げなければならない。
この三つの性質をより精密に測るため、ベンチマークは性質を六つの具体的な次元に分けて課題を設計する。知識主導型は時間と因果に、知覚主導型は空間と論理に、想像主導型は反事実(現実と反対の状況を仮定すること)に分かれる。ここに、複数の推論を複数ターンにわたって混ぜるハイブリッドが加わる。一度直してまた直す過程で、途中の変換を一つずつ正しく解きながら、シーンの一貫性まで最後まで保たなければならない、息の長い課題だ。
規模は明快だ。1,000個の課題をすべて人間が自ら作った。知識・知覚系の四次元はそれぞれ200個ずつ、想像とハイブリッドはそれぞれ100個ずつ。六つの次元はさらに65個の細分類に分かれる。ひとまとめにした平均一つではなく、能力を細かく分けて、どこで崩れるのかを突き止めようとする設計だ。
ここがこのベンチマークの真の設計だ。結果の画像を一つのスコアにまとめず、三つの軸に分けて採点する。指示が求めた推論をきちんと実行したか(指示推論)。元画像の見た目を一貫して保ったか(外形一貫性)。結果が見た目にそれらしいか(視覚的妥当性)。
なぜわざわざ分けるのか。一つにまとめたスコアでは、最も危険な失敗を見落とすからだ。見た目は問題ないのに、肝心の指示を守っていない場合である。外形もきれいで絵も自然なのに、指示推論だけ外していたら、その編集は事実上の失敗だ。三つの軸を別々につければ、その食い違いが数字で表れる。
採点には人間の審判とAIの審判を併用する。『AIがAIを採点する』という構図には、とかく不信がつきまとう。研究陣は、自動スコアが人間の専門家のスコアとどれだけ一致するかを別途測り、その不信を解こうとした。評価の枠組みそのものが信頼できるかを、先に検証したわけだ。
このベンチマークがどこに位置するかは、比較表にくっきりと表れる。推論・マルチターン・マルチイメージ・エージェント対応の四つをすべて備えるのはRISEBench++だけだ(マルチターンは一度直してまた直す複数ターンの編集、マルチイメージは複数枚を一緒に入力する方式を指す)。
| ベンチマーク | 推論 | マルチターン | マルチイメージ | エージェント対応 | 課題タイプ | サンプル | 評価モデル | 言語 |
|---|---|---|---|---|---|---|---|---|
| KRIS-Bench | ✓ | ✓ | 22 | 1,267 | 10 | EN | ||
| WiseEdit | ✓ | ✓ | 4 | 1,220 | 22 | EN, ZH | ||
| RISE-Bench | ✓ | 16 | 360 | 9 | EN | |||
| RISEBench++ | ✓ | ✓ | ✓ | ✓ | 65 | 1,000 | 58 | EN, ZH |
表のRISE-Benchは、この研究の前身だ。RISEBench++はそこにマルチターン・マルチイメージ・エージェント対応を加え、四つだった推論カテゴリを六次元の体系へ組み直しながら、課題を360個から1,000個へ増やした拡張版である。前身はNeurIPS 2025のデータセット・ベンチマークトラックに、口頭発表(上位0.35%)として選ばれた。
研究陣はRISEBench++で最新の編集アプローチ58種を評価した。オープンソース34種、非公開の商用19種、エージェント方式5種(モデル一つで終わらせず、計画・検証の段階を被せた方式)だ。これだけの幅を一堂に並べて突き合わせた比較そのものが珍しい。
スコアには発展の軌跡が見える。初期のオープンソースモデルは推論が弱く、広く苦戦した。最近のオープンソースはその差をかなり縮めた。それでも全体としては商用モデルのほうが強かった。そのうちの一つの商用モデルが総合首位で、先に述べた『かろうじて半分を超えた』成績は、まさにそのモデルのものだ。
重要なのは『どこで』詰まるかだ。最近のモデルは外形一貫性と視覚的妥当性ではすでに強い。元画像とずれたり、奇妙に歪んだりする問題は、かなりの部分が解けたということだ。一方、指示推論は依然として大きな難題として残り、とりわけ論理推論とハイブリッドで際立つ。どちらも複数の段階を鎖のようにつないで考え、その間シーンの辻褄を最後まで合わせなければならない課題だ。頭を長く使わなければならない側で、モデルは崩れる。
ここから、この記事の一行が出てくる。最近の編集モデルの弱点は『描けない』ではない。『きれいに描けるのに、見当違いに描く』に近い。この診断は、プロダクトを作る側にとって特に役立つ。成果物の見た目をさらに磨くことに投資するのか、指示をちゃんと理解したかを検証する仕組みに投資するのかが、分かれるからだ。
この論文の二つ目の軸が、その検証の側にヒントをくれる。研究陣は、実行するモデルをより賢く再訓練する代わりに、賢くない実行器(実際に絵を描き出すモデル)の周りを『計画』と『検証』で包む方法を持ち出した。名前はRISE-Agent、追加の学習は要らない。計画者が指示を推論して目標を定め、実行者がその目標を画像にし、検証者が結果を見て、受け入れるか・さらに磨くか・最初から計画し直すかを決める。この三つの役割がぐるぐると回る。再学習を一度もせずに、ほとんどの商用モデルと既存のエージェント方式を上回った。『より大きなモデル』だけが答えとは限らない、という話だ。
ONTLEのAI PMが実際に直面する一場面を、最後まで追ってみよう。顧客がこう依頼する。「今回のキャンペーンバナーを夕方の雰囲気に変えてください。前回の製品のトーンはそのままで」。言葉にしきれていない条件が三つも混じっている。『夕方』という時間帯の推論、製品の見た目の一貫性、『前回のトーン』という文脈参照だ。
AI PMがこの依頼を実行器に渡し、結果を受け取る。絵はきれいに出てくる。まさにその点が落とし穴だ。きれいなのに、『夕方』を単なる暗い夕焼けフィルターと取り違えているかもしれないし、『前回のトーン』はまるごと聞き流したかもしれない。ここで「完了」として顧客に渡せば、見栄えのよい誤答が通ってしまう。私たちが最も警戒する失敗がこれだ。AIは指示を完璧に遂行したと報告するのに、肝心の顧客の核心的な意図は外している、という場合である。
この論文は、その落とし穴を診断するレンズをくれる。三つの軸を別々に測れということ、そして外形でも妥当性でもなく『指示の履行』を合格基準にせよということだ。ONTLEに置き換えるとこうなる。検証者が指示推論を通さなければ、その作業は『完了』へは進まない。『進行中』に戻すか、人の判断が必要なら『決定待ち』に変えて、顧客に質問を返す。検証を実行から切り離した独立の段階として置き、その物差しを画質ではなく指示の履行に合わせること。この二つが核心だ。
もう一つ。性能を上げようとまずモデルを再訓練するより、計画と検証のループを先に厚くしてみるほうが、より安上がりな方法かもしれない。ただし、タダではない。検証の段階も呼び出しのコストと時間を使う。どの作業にこのループを被せるかは、見極めて決める領分だ。
数字を読むとき、気をつけるべきことが二つある。第一に、56.6%は、適用されるすべての軸で満点を取った課題だけを数える厳しい指標なので、課題タイプごとのばらつきが大きい。自分のサービスが扱う作業がどのタイプに属するのかをまず見て、初めてその数字が意味を持つ。第二に、自動評価は結局、審判モデルに頼る。人間との整合性で補強したとはいえ、審判を別のモデルに替えれば順位が揺らぐ余地は、原理上残る。
58という数字も、この論文時点のスナップショットだ。編集モデルは次々と出てくるので、個別の順位よりも『どのタイプでそろって詰まるのか』という構造的な発見のほうが、長く効く。著者たちも、このボトルネックを弱点であり、次の研究の核心的な方向として挙げている。
公開されている。コードはVisionXLab/RISEBenchリポジトリに、データセットはHuggingFaceのVisionXLabコレクションに公開されている。具体的な経路は、下の参考資料のGitHub・HuggingFaceのリンクからたどれる。
いや、評価しない。各課題は英語と中国語の二言語でのみ提供される。日本語はないので、日本語環境にそのまま適用したときの挙動は、この結果だけでは断定しにくい。
いや、扱わない。画像編集に限定したベンチマークだ。動画は評価の範囲外である。