이미지 편집 AI에게 "이 사진을 밤 시간대로 바꿔줘"라고 해보자. 나오는 그림은 보기엔 그럴듯하다. 문제는 그다음이다. 이 모델이 '밤'을 제대로 알아들은 걸까, 아니면 그냥 화면을 어둡게 깔고 파란 필터를 얹은 걸까. 유창하게 말은 잘 하는데 묻는 것과 다른 답을 내놓는 사람이 있다. 요즘 편집 AI가 꼭 그렇다.
최신 편집 AI 58개를 한자리에 모아 겨뤘더니, 가장 잘한 모델조차 모든 평가 축에서 만점을 받은 과제가 56.6%에 그쳤다. 절반을 겨우 넘긴 숫자다. 눈여겨볼 건 어디서 막혔느냐다. 결과물의 화질이나 원본과의 일관성은 이미 상당한 수준이었다. 발목을 잡은 건 지시에 담긴 뜻을 추론해 따라가는 능력이었다 — 그 지시 추론 점수만 따로 보면 1위 모델도 100점 만점에 68.1점이다.
이 숫자를 내놓은 게 RISEBench++다. 상하이교통대학을 비롯한 6개 기관 연구진이 만든 벤치마크(여러 모델을 같은 기준으로 겨루게 하는 표준 시험)로, '제대로 알아듣고 고치는 능력'을 화질·일관성과 뒤섞지 않고 따로 떼어 1,000개 과제로 잰다. 그동안 이 능력을 공정하게 잴 자가 없었다는 문제의식에서 나왔다.
이미지 생성 모델은 최근 몇 년 새 두 가지를 잘하게 됐다. 그림을 이해하는 것, 그리고 새 그림을 만드는 것. 그런데 "이미 있는 그림을 고쳐줘"라는 요구 앞에서는 여전히 삐끗한다.
연구진이 주목한 건 단순한 보정보다 한 단계 위의 능력이다. 이들은 그걸 RISE(Reasoning-Informed viSual Editing), 우리말로 '추론에 기반한 시각 편집'이라 부른다. 맥락을 읽고 따져서 영리하게 고치는 능력이다. 장면의 시간대에 맞춰 조명을 바꾸는 일. 의미가 어색하지 않게 사물을 넣거나 빼는 일. 사용자가 말로 다 하지 않은 의도까지 추론해 반영하는 일. 주요 상용 모델(GPT-Image 계열 등)은 이런 작업에서 오픈소스를 크게 앞섰고, 추론을 쓰지 않는 전통적인 편집 모델은 아예 손도 못 댔다.
문제는 이 능력을 제대로 잴 자가 없었다는 점이다. 기존 편집 벤치마크 상당수는 "하늘을 파랗게", "모자를 씌워"처럼 할 일이 대놓고 정해진 과제를 다룬다. 지시받은 대로 깔끔히 칠하는 솜씨는 재지만, "왜 이렇게 고쳐야 하는지"까지 따지는 능력은 비켜간다. RISEBench++는 바로 그 빈자리를 겨눈다.
RISEBench++는 '추론'을 성격에 따라 셋으로 나눈다. 아는 지식을 쓰는 추론, 그림에서 단서를 읽어내는 추론, 상상력을 쓰는 추론이다.
첫째, 지식 주도형. 아는 상식만 갖다 대면 답이 바로 나온다. "10년 뒤 이 나무"를 그리라면, 나무는 자란다는 상식 하나로 풀린다.
둘째, 지각 주도형. 먼저 그림 속 공간 구조나 숨은 규칙을 눈으로 읽어낸 다음, 그 위에서 따져야 한다. 말로만 때려 맞힐 수 없고, 그림이 주는 단서에 발을 붙여야 한다.
셋째, 상상 주도형. 상식을 끌어오되 일부러 뒤집는다. 그럴듯하지만 현실에선 불가능한 장면을, 앞뒤가 어긋나지 않게 지어내야 한다.
이 세 성격을 더 정밀하게 재려고, 벤치마크는 성격들을 여섯 가지 구체적인 차원으로 나눠 과제를 설계한다. 지식 주도형은 시간과 인과로, 지각 주도형은 공간과 논리로, 상상 주도형은 반사실(현실과 반대되는 상황을 가정하는 것)로 갈린다. 여기에 여러 추론을 여러 턴에 걸쳐 섞는 하이브리드가 더해진다. 한 번 고치고 또 고치는 과정에서 중간 변환을 하나씩 맞게 풀면서, 장면의 일관성까지 끝까지 지켜야 하는 긴 호흡의 과제다.
규모는 분명하다. 1,000개 과제를 전부 사람이 직접 만들었다. 지식·지각 계열 네 차원은 각 200개씩, 상상과 하이브리드는 각 100개씩이다. 여섯 차원은 다시 65개 세부 유형으로 쪼개진다. 뭉뚱그린 평균 하나가 아니라, 능력을 잘게 나눠 어디서 무너지는지 짚어내려는 설계다.
여기가 이 벤치마크의 진짜 설계다. 결과 이미지를 하나의 점수로 뭉뚱그리지 않고, 세 축으로 갈라 채점한다. 지시가 요구한 추론을 제대로 이행했는가(지시 추론). 원본의 생김새를 일관되게 지켰는가(외형 일관성). 결과가 보기에 그럴듯한가(시각적 타당성).
왜 굳이 쪼갤까. 하나로 합친 점수로는 가장 위험한 실패를 놓치기 때문이다. 보기엔 멀쩡한데 정작 지시를 안 지킨 경우 말이다. 외형도 멀끔하고 그림도 자연스러운데 지시 추론만 틀렸다면, 그 편집은 사실상 실패다. 세 축을 따로 매기면 그 간극이 숫자로 드러난다.
채점은 사람 심판과 AI 심판을 함께 쓴다. 'AI가 AI를 채점한다'는 구조에는 으레 불신이 따라붙는다. 연구진은 자동 점수가 사람 전문가의 점수와 얼마나 맞아떨어지는지를 따로 재서, 그 불신을 해소하려 했다. 평가 틀 자체가 믿을 만한지 먼저 검증한 셈이다.
이 벤치마크가 어디에 서 있는지는 비교 표에서 선명하게 드러난다. 추론·멀티턴·멀티이미지·에이전트 지원 네 가지를 모두 갖춘 건 RISEBench++뿐이다(멀티턴은 한 번 고치고 또 고치는 여러 턴 편집, 멀티이미지는 여러 장을 함께 입력하는 방식을 말한다).
| 벤치마크 | 추론 | 멀티턴 | 멀티이미지 | 에이전트 지원 | 과제 유형 | 샘플 | 평가 모델 | 언어 |
|---|---|---|---|---|---|---|---|---|
| KRIS-Bench | ✓ | ✓ | 22 | 1,267 | 10 | EN | ||
| WiseEdit | ✓ | ✓ | 4 | 1,220 | 22 | EN, ZH | ||
| RISE-Bench | ✓ | 16 | 360 | 9 | EN | |||
| RISEBench++ | ✓ | ✓ | ✓ | ✓ | 65 | 1,000 | 58 | EN, ZH |
표의 RISE-Bench는 이 연구의 전신이다. RISEBench++는 거기에 멀티턴·멀티이미지·에이전트 지원을 더하고, 네 개였던 추론 범주를 여섯 차원 체계로 다시 짜면서 과제를 360개에서 1,000개로 늘린 확장판이다. 전신은 NeurIPS 2025 데이터셋·벤치마크 트랙에 구두 발표(상위 0.35%)로 뽑혔다.
연구진은 RISEBench++로 최신 편집 접근법 58개를 평가했다. 오픈소스 34개, 비공개 상용 19개, 에이전트 방식 5개(모델 하나로 끝내지 않고 계획·검증 단계를 덧씌운 방식)다. 이만한 폭으로 한자리에서 붙여본 비교 자체가 드물다.
점수에는 발전의 궤적이 보인다. 초기 오픈소스 모델들은 추론이 약해 넓게 고전했고, 최근 오픈소스는 그 격차를 상당히 좁혔다. 그래도 전반적으로는 상용 모델이 더 셌다. 그중 한 상용 모델이 전체 1위였는데, 앞서 말한 '절반을 겨우 넘긴' 성적이 바로 그 모델의 것이다.
중요한 건 '어디서' 막히느냐다. 최근 모델들은 외형 일관성과 시각적 타당성에서 이미 강하다. 원본과 어긋나거나 괴상하게 일그러지는 문제는 상당 부분 풀렸다는 뜻이다. 반면 지시 추론은 여전히 큰 난제로 남았고, 특히 논리 추론과 하이브리드에서 두드러진다. 둘 다 여러 단계를 사슬처럼 이어 따지고, 그 사이 장면의 아귀를 끝까지 맞춰야 하는 과제다. 머리를 길게 써야 하는 쪽에서 모델이 무너진다.
여기서 이 글의 한 줄이 나온다. 요즘 편집 모델의 약점은 '못 그린다'가 아니다. '잘 그리는데 엉뚱하게 그린다'에 가깝다. 이 진단은 제품을 만드는 쪽에 특히 쓸모 있다. 결과물의 겉모습을 더 다듬는 데 투자할지, 지시를 제대로 이해했는지 검증하는 장치에 투자할지가 갈리기 때문이다.
이 논문의 두 번째 축이 그 검증 쪽에 힌트를 준다. 연구진은 실행하는 모델을 더 똑똑하게 다시 훈련시키는 대신, 똑똑하지 않은 실행기(실제로 그림을 그려내는 모델) 둘레를 '계획'과 '검증'으로 감싸는 방법을 들고 나왔다. 이름은 RISE-Agent, 추가 학습이 필요 없다. 계획자가 지시를 추론해 목표를 정하고, 실행자가 그 목표를 이미지로 만들고, 검증자가 결과를 보고 받아들일지·더 다듬을지·처음부터 다시 계획할지를 정한다. 이 세 역할이 돌고 돈다. 재학습 한 번 없이도 대부분의 상용 모델과 기존 에이전트 방식을 앞섰다. '더 큰 모델'만이 답은 아닐 수 있다는 이야기다.
온틀의 AI PM이 실제로 마주치는 한 장면을 끝까지 따라가 보자. 고객이 이렇게 요청한다. "이번 캠페인 배너를 저녁 분위기로 바꿔 주세요. 지난번 제품 톤은 그대로 두고요." 말로 다 하지 않은 조건이 세 개나 섞여 있다. '저녁'이라는 시간대 추론, 제품 생김새의 일관성, '지난번 톤'이라는 맥락 참조.
AI PM이 이 요청을 실행기에 넘겨 결과를 받는다. 그림은 깔끔하게 나온다. 바로 그 지점이 함정이다. 깔끔한데 '저녁'을 그냥 어두운 노을 필터로 오해했을 수 있고, '지난번 톤'은 아예 흘려들었을 수 있다. 여기서 "완료"라며 고객에게 넘기면, 보기 좋은 오답이 통과된다. 우리가 가장 경계하는 실패가 이것이다. AI는 지시를 완벽히 수행했다고 보고하는데, 정작 고객의 핵심 의도는 비껴간 경우.
이 논문은 그 함정을 진단할 렌즈를 준다. 세 축을 따로 재라는 것, 그리고 외형이나 타당성이 아니라 '지시 이행'을 통과 기준으로 삼으라는 것이다. 온틀에 옮기면 이렇게 된다. 검증자가 지시 추론을 통과시키지 못하면 그 작업은 '완료'로 가지 않는다. '진행중'으로 되돌리거나, 사람의 판단이 필요하면 '결정 기다리는 중'으로 바꿔 고객에게 질문을 돌린다. 검증을 실행과 분리된 독립 단계로 두고, 그 잣대를 화질이 아니라 지시 이행에 맞추는 것. 이 두 가지가 핵심이다.
한 가지 더. 성능을 올리려 모델부터 다시 훈련시키기보다, 계획과 검증 루프를 먼저 두껍게 해보는 게 더 값싼 방법일 수 있다. 다만 공짜는 아니다. 검증 단계도 호출 비용과 시간을 쓴다. 어떤 작업에 이 루프를 씌울지는 따져서 정할 몫이다.
숫자를 읽을 때 조심할 게 둘 있다. 첫째, 56.6%는 적용되는 모든 축에서 만점을 받은 과제만 세는 엄격한 지표라, 과제 유형별 편차가 크다. 내 서비스가 다루는 작업이 어느 유형에 속하는지부터 봐야 그 숫자가 비로소 의미를 갖는다. 둘째, 자동 평가는 결국 심판 모델에 기댄다. 사람 정합성으로 보강했다지만, 심판을 다른 모델로 바꾸면 순위가 흔들릴 여지는 원리상 남는다.
58개라는 숫자도 이 논문 시점의 스냅샷이다. 편집 모델은 계속 쏟아지니, 개별 순위보다 '어떤 유형에서 다 같이 막히는가'라는 구조적 발견이 더 오래 간다. 저자들도 이 병목을 약점이자 다음 연구의 핵심 방향으로 꼽는다.
그렇다. 코드는 VisionXLab/RISEBench 저장소에, 데이터셋은 HuggingFace의 VisionXLab 컬렉션에 공개돼 있다. 구체적 경로는 아래 참고자료의 arXiv·HuggingFace 링크에서 이어진다.
아니다. 각 과제는 영어와 중국어 두 언어로만 제공된다. 한국어는 없으니, 한국어 환경에 그대로 적용했을 때의 거동은 이 결과만으로 단정하기 어렵다.
아니다. 이미지 편집에 한정된 벤치마크다. 비디오는 평가 범위 밖이다.