Arena와 UCLA 연구진이 이미지 AI 하나를 Arena 리더보드의 오픈소스 정상으로 끌어올렸습니다(2026-09-04 스냅샷). 비결은 더 큰 모델도, 더 많은 데이터도 아니었습니다. 품질을 점수 하나로 재던 방식을 버리고, 성격이 다른 여러 보상을, 모델에 맞게 서로 싸우지 않도록 조합한 레시피였죠.
왜 점수 하나로는 안 될까요. 사람이 좋아하는 이미지를 점수 하나로 붙잡으려 하면, 그 점수만 오르고 정작 품질은 제자리걸음을 하다 꺾입니다. 점수만 노리고 실제 품질은 외면하는 이 현상을 '보상 해킹'이라 부릅니다.
사실 이건 이미지 AI만의 문제가 아닙니다. AI가 내놓은 결과물의 품질을 숫자 하나로 재려는 모든 시도가 같은 딜레마에 부딪힙니다. 저희 온틀 팀도 AI 에이전트가 만든 산출물의 품질을 관리하며 매일 이 문제와 씨름하죠. 그래서 이 '보상 조합법'을 끝까지 들여다봤습니다.
텍스트를 넣으면 그림을 그려 주는 모델을 텍스트-이미지(T2I) 모델이라 합니다. 이걸 사람 취향에 맞게 한 번 더 훈련시키는 방법이 강화학습입니다. 좋은 결과에 점수(보상)를 주고 반복시켜, 모델이 점수가 높아지는 쪽으로 스스로 바뀌게 하죠.
문제는 이 훈련에서 보상이 전부라는 데 있습니다. 보상이 조금만 어긋나도 훈련은 모델을 더 나은 곳이 아니라 '보상을 잘 받는 곳'으로 끌고 갑니다. 논문의 그림 한 장(Fig 5)이 이걸 못 박습니다. FLUX.2-dev라는 모델을 보상 하나만 보고 최적화했더니, 측정되는 보상 값은 계속 오르는데 실제 품질은 금세 멈췄다가 오히려 나빠졌습니다. 시험 점수만 올리라고 하면 학생이 실력 대신 요령을 익히는 것과 같습니다.
지금까지 쓰던 보상들은 수백만 건의 사람 비교에서 '대체로 뭘 좋아하는가'를 배웁니다. 미감·구도·전반적 인상을 넓게 잡는 데는 좋지만, 요청한 물체를 빠짐없이 넣었는지, 걸어 둔 제약을 지켰는지처럼 가끔만 드러나는 속성엔 눈이 어둡습니다. 넓게 보는 눈 하나로는 이런 디테일이 그대로 샙니다.
이미지 AI 품질 연구는 크게 두 갈래로 갈려 왔습니다. 하나는 '어떻게 가르칠까'(알고리즘), 다른 하나는 '무엇이 좋은 그림인가'(보상 설계). 이 논문은 두 번째에 섭니다. 가르치는 엔진은 기존 것을 빌려오고, '좋음'의 기준 자체를 단일 점수에서 다차원 조합으로 다시 정의해 길을 냈습니다.
해법은 단순합니다. 한 눈으로 못 보면 여러 눈으로 본다. 요청 하나를 예로 들죠. "눈 내리는 밤, 네온사인 켜진 조용한 뒷골목을 만화풍으로. 사람은 넣지 말 것." 연구진은 이 그림을 네 가지 보상으로 각각 다르게 봅니다.
| 보상 | 한마디로 | 이 예시에서 보는 것 |
|---|---|---|
| 선호 | 전반 인상 | 이 골목 그림, 사람 눈에 매력적인가 |
| 충실도 | 요청한 게 들어갔나 | 눈·밤·네온·뒷골목·만화풍이 실제로 있나 |
| 제약 | 요청 안 한 게 끼었나 | '사람 넣지 말 것'을 지켰나 |
| 반해킹 | 허점을 파고드나 | 깨진 글자·과한 사실감 같은 꼼수가 있나 |
선호 보상은 전반 인상을 봅니다. 두 그림을 맞붙여 어느 쪽이 이길 확률이 높은지를 점수로 바꾸는 고전적 비교법을 쓰죠. 연구진은 Arena에 쌓인 수백만 건의 사람 투표로 자체 선호 모델을 학습했고[^1], 공개 모델 PickScore도 같은 자리에 바로 끼워 쓸 수 있게 열어 뒀습니다. 중요한 건 '어떤 모델이냐'가 아니라 '사람이 전반적으로 더 좋아할 쪽을 점수로 매긴다'는 역할입니다.
충실도 보상은 체크리스트입니다. 먼저 글로 된 프롬프트를 LLM — 글로 된 질문에 답하는 AI — 이 예/아니오 질문 목록으로 쪼갭니다. 그다음 그림을 보고 답하는 AI(비전-언어 모델, VLM)가 그 목록을 하나씩 짚으며 '예'의 비율을 매기죠. 요청한 눈·네온·뒷골목이 실제로 들어갔는지 확인하는, '있어야 할 게 있나'의 눈입니다.
제약 보상은 그 거울상입니다. 같은 체크리스트 틀로, 요청하지 않은 군더더기가 끼었는지 묻습니다. '사람 넣지 말 것' 같은 명시적 금지뿐 아니라, "미니멀하게"처럼 말로는 안 적었어도 지켜야 할 암묵 제약까지 봅니다.
반해킹 보상은 모델이 보상의 허점을 파고드는지 잡는 탐지기입니다. 둘로 나뉩니다. 한 장만 봐도 아는 것은 요청하지도 않은 깨진 글자가 튀어나오는 수법을 잡고, 손대지 않은 원래 모델의 결과와 나란히 놓아야 보이는 것은 만화풍을 시켰는데 슬그머니 사진처럼 사실적으로 흐르는 경향을 잡습니다. 뒤엣것은 비교 대상이 있어야 '지나친지'가 드러나죠.
네 개나 되는 게 과한 설계처럼 보일 수 있습니다. 연구진의 정성 비교(Fig 1)는 반해킹을 아직 켜지 않은 Stage 1, 곧 선호·충실도·제약을 맞물렸을 때의 개선 사례를 보여줍니다. 보상 하나씩만으로는 왜 모자란지가 거기서 드러나죠. 선호 보상만 쓰면 그럴듯한 장식으로 흐르며 요청을 무시합니다. 충실도 보상만 쓰면 디테일이 뭉개지고, 요청한 스타일과 배경이 빠집니다. 요청하지 않은 장식이 그대로 남는 사례는 충실도 단독이 아니라 선호·충실도를 함께 건 Arena-T2I-Hard에서 나오는데, 이게 제약 보상이 필요한 이유죠. 그렇다고 제약을 아무 요청에나 들이대면, 창의가 허용된 자리에서까지 디테일을 납작하게 눌러 버립니다. 그래서 선호·충실도·제약을 맞물리되 제약은 켤 때와 끌 때를 가려야(게이팅) 눈에 띄는 품질 손실 없이 요청을 지켜 냅니다(Fig 1). 네 번째 보상인 반해킹의 필요성은 Fig 1이 아니라 앞서 본 보상 해킹 현상(Fig 5)에서 나오고요. 이게 '왜 조합인가'의 답입니다.
재료 넷을 모았다고 끝이 아닙니다. 그냥 더하면 보상들이 서로 간섭해 최적화가 흔들리죠. 연구진은 보상들이 싸우지 않고 시너지를 내도록 세 겹의 안전장치를 뒀습니다.
정규화. 보상마다 타고난 숫자 범위가 다릅니다. 그대로 더하면 범위 큰 보상 하나가 최적화를 독식하죠. 그래서 각 축을 한 묶음(배치) 단위로 따로 정규화해 — 숫자 눈금을 같은 기준으로 맞춰 — 같은 저울에 올립니다. 합친 뒤가 아니라 축마다 먼저 맞추는 게 요령입니다.
게이팅, 곧 상황에 맞게 켜고 끄기. 모든 보상이 모든 요청에 맞는 건 아닙니다. "인상주의 화풍의 시골길"처럼 열린 요청에 제약 보상을 들이대면, 꽃 한 송이 더한 정당한 창작까지 벌점을 받습니다. 그래서 요청 의도를 스펙 고정(strict)·중립(neutral)·창의 재량(open) 셋으로 나누고, 제약 보상은 strict에만 켭니다. 반해킹도 같은 원리입니다. 사실적 묘사는 사진 요청에선 정상이지만 만화 요청에선 실패이니, 요청 의도와 충돌할 때만 작동하게 했죠. 이 의도 분류가 믿을 만한지는 사람 둘에게 블라인드로 라벨을 달게 해 분류기와의 일치도로 확인했습니다.
거부권(veto). 반해킹 신호는 점수를 더해 주는 상으로 쓰지 않고, 거부권으로 씁니다. 꼼수가 잡히면 그 그림이 벌어들인 선호 점수를 몰수할 뿐, 꼼수를 안 했다고 상을 주지는 않습니다. 왜 한 방향이어야 할까요. '꼼수 안 함'에 상을 주는 순간, 모델은 그 상을 최대로 받는 법 — 탐지기를 속여 '안 한 것처럼 보이는 법' — 을 새 공략 과제로 삼습니다. 거부권은 보상에 새 목표를 얹지 않고 나쁜 행동 자체만 눌러, 모델이 엉뚱한 길로 새는 걸 막습니다.
마지막 두 손질은 의외로 싱겁습니다. 세 장치를 거친 보상들을 합칠 때 연구진은 모든 축에 똑같은 가중치를 줍니다. 따로 튜닝하지 않고요. 그런데도 선호 모델 두 종류와 베이스 모델 둘 전부에서 일관되게 작동했습니다. 이건 이 조합법이 특정 조건에만 들어맞는 예민한 레시피가 아니라, 여러 모델에 두루 통하는 '만능 양념'에 가깝다는 뜻입니다 — 적어도 논문이 시험한 범위 안에서는요.
그리고 '웨이트 수프'. 반해킹을 켠 학습과 끈 학습에서 나온 두 결과물을 1:1로 평균해 하나로 합칩니다. 여기서 합쳐지는 건 모델 전체가 아니라 LoRA예요. LoRA는 원래 가중치는 그대로 두고 작은 추가 모듈만 학습하는 방식이죠. 추가 학습 없이, 서로 다른 구성에서 배운 장점만 섞어 담는 겁니다.
최적화 엔진 자체는 새로 만들지 않았습니다. 확산 모델을 강화학습으로 튜닝하는 기존 알고리즘(DiffusionNFT)을 그대로 가져왔죠. 이 논문의 기여는 '어떤 알고리즘으로 미느냐'가 아니라 '무엇을 보고 미느냐', 그리고 '그 여럿을 어떻게 한데 묶느냐'에 있기 때문입니다.
이 조합 설계가 서로 다른 모델에서도 통하는지, 그리고 그 개선을 어떻게 믿을 만하게 쟀는지가 검증의 핵심입니다.
베이스 모델은 둘입니다. FLUX.2-dev(320억 파라미터)와 Ideogram 4(93억 파라미터). 크기도 내부 구조도 꽤 다릅니다. Ideogram 4는 베이스 상태에서 이미 리더보드의 오픈소스 1위 모델이고요. 두 모델 모두 원래 가중치는 동결하고 LoRA만 학습했습니다. 구조가 다른 둘에서 이 조합 설계가 통한다면, 설계가 한 모델에 맞춘 꼼수가 아니라는 증거가 됩니다. 다만 두 모델에 얹은 보상 구성이 똑같지는 않았습니다.
학습에 쓸 프롬프트는 Arena의 실제 사용자 분포에서 뽑되, 강화학습이 데이터 품질에 특히 예민하다는 관찰에 따라 공격적으로 걸렀습니다. 편집 요청, 한 줄짜리 빈약한 프롬프트, 희귀 고유명사 위주, 비영어를 덜어내 학습 1만 개·검증 1천 개를 남겼습니다.
평가는 두 층위이고, 섞어 읽으면 안 됩니다. 하나는 자동 채점기가 매기는 승률입니다. 검증용 1천 개에서 학습 중인 모델을 원래 모델과 맞붙여 어느 쪽이 더 자주 이기는지 세고, 서로 다른 두 채점기로 돌려 결과가 한 채점기에만 기대지 않는지 확인했죠. 다른 하나는 외부 검증입니다. Arena 리더보드에서 실제 사용자가 블라인드로 던진 표, 곧 Elo입니다. Elo는 체스에서 온 상대 실력 점수로, 높을수록 사람들이 더 자주 골랐다는 뜻이죠.
이 둘의 무게가 다릅니다. 자동 채점기 승률은 '채점기가 느끼는 개선'이지 사람의 최종 판단이 아닙니다. 그래서 헤드라인 숫자는 사람 투표에서 가져옵니다. 이 레시피를 온전히 적용한 FLUX.2-dev는 원래 모델보다 Elo가 69점 높았습니다. 반면 이미 오픈소스 1위이던 Ideogram-4에는 선호·충실도·제약 보상에 글자가 제대로 박혔는지 보는 OCR 보상을 더하되, 반해킹 보상과 웨이트 수프는 얹지 않은 구성을 썼고, 그렇게 다듬은 Ideogram-4가 1223.5점으로 리더보드의 오픈소스 모델을 전부 앞질렀습니다.
범위는 정확히 짚고 갑시다. 같은 리더보드엔 nano-banana-2, seedream-5.0-pro, nano-banana-pro, Qwen-Image-2.0-Pro 같은 강력한 비공개 모델도 함께 올라 있습니다. Ideogram-4 결과가 앞선 건 어디까지나 오픈소스 범위 안입니다. 재현성도 챙겼습니다. 연구진은 전체 학습 효과의 일부를 되살리는 1천 개 규모의 서브셋을 공개해, 남들도 이 레시피를 가볍게 재현해 볼 수 있게 열어 뒀습니다.
연구진은 한계를 따로 짚습니다. 구조에서 분명히 읽히는 의존성 셋만 정리하죠.
첫째, 한 생태계 안이라는 점. 선호 보상은 Arena 투표로 학습됐고, 헤드라인 평가도 Arena 리더보드에서 이뤄지며, 저자 소속도 Arena입니다. 연구진도 이를 의식해 공개 PickScore를 함께 쓰고 채점기를 바꿔 결과가 옮겨가는지 확인했지만, 입증된 이득이 주로 하나의 취향 분포 위에서 나온 만큼 다른 취향으로의 전이는 열린 질문입니다.
둘째, 채점기 의존. 충실도·제약·반해킹이 모두 AI 채점기(앞서 본 LLM·VLM)의 답 위에 얹혀 있습니다. 보상의 품질은 채점기의 품질을 넘지 못합니다. 채점기가 특정 질문을 틀리면 보상도 그만큼 왜곡되죠.
셋째, 탐지기는 '이미 아는' 실패만 겨냥합니다. 깨진 글자나 과한 사실감처럼 관찰된 꼼수를 막는 방어라, 최적화가 새 허점을 찾아내면 새 탐지기가 필요합니다. 거부권은 탐지기 자체가 공략 대상이 되는 것은 막아 주지만, 아직 아무도 모르는 꼼수까지 선제적으로 막지는 못합니다.
처음 질문으로 돌아옵니다. 이미지 모델에서 통한 이 설계를 저희 온틀 같은 AI 에이전트 제품에 옮기면 어떤 모습일까요. 먼저 못 박아 둘 게 있습니다. 아래는 검증된 결과가 아니라 적용 가설입니다. 이미지 모델에서 통한 설계가 제품 운영에서도 같은 효과를 낸다는 보장은 아직 없습니다. 다만 설계의 원리는 그대로 빌려올 수 있습니다.
장면 하나를 끝까지 따라가 보죠. 한 고객이 상세페이지 제작을 의뢰했습니다. "모던하게, 과장 광고 문구는 빼고." 온틀의 AI PM이 요청을 접수·분석해 초안을 만든 뒤, 고객에게 내보내기 직전 스스로 수용 판정을 하는 순간입니다.
가장 손쉬운 구현은 판정 모델에게 "이 산출물 괜찮아? 1~10점"을 묻고 그 점수가 오르도록 파이프라인을 조이는 겁니다. 그런데 이게 바로 Fig 5가 경고한 함정이죠. 단일 점수를 목표로 삼으면 점수는 오르는데 고객 체감 품질은 어느 순간 꺾일 수 있습니다. PM이 '점수 잘 받는 산출물' 만드는 요령부터 익힐 테니까요.
조합 구조를 이 수용 판정에 옮기면, 단일 숫자였던 판정이 다차원 보고서로 바뀝니다. 이 상세페이지로 치면 이렇습니다.
이 고객 요청에도 스펙이 고정된 부분('과장 문구 금지')과 창의 재량이 열린 부분('모던하게')이 섞여 있습니다. 그러니 게이팅도 자연스레 맞습니다. 닫힌 요청에만 '군더더기 금지'를 켜고, 열린 부분에선 디자이너의 재량을 벌주지 않는 식이죠. 꼼수 탐지 역시 가점이 아니라 몰수(거부권)로 걸면, 형식만 채워 점수를 부풀리는 길이 막힙니다.
목표가 복합적일수록, 팀은 점수 따는 요령보다 진짜 실력 쪽으로 움직이리라 기대할 수 있습니다. 어디까지나 가설입니다. 이 논문을 에이전트 제품의 눈으로 끝까지 읽은 이유가 여기 있습니다.
아니요. 베이스 모델의 원래 가중치는 동결하고 작은 추가 모듈(LoRA)만 학습합니다. 마지막 '웨이트 수프' 단계도 이미 학습된 두 결과물을 평균하는 것이라 추가 학습이 없고요. 연구진이 1천 개 규모의 서브셋을 공개한 것도 무겁지 않게 재현해 보라는 취지입니다.
논문은 모든 축에 똑같은 가중치를 주고(튜닝 없음) 여러 모델에서 일관되게 작동했다고 보고합니다. 더 정교한 상황별 튜닝이 추가 이득을 주는지는 논문이 시험한 범위 밖입니다. 확인된 건 '균등 가중이 안정적인 출발점'이라는 데까지예요.
이 논문이 입증한 범위는 오픈소스 모델입니다. 더 강력한 비공개 상위 모델과의 우열은 논문이 주장하지 않았고, 따라서 넘을 수 있는지도 열린 질문으로 남습니다.
[^1]: 자체 선호 모델은 최신 거대 이해 모델 위에 '선호 점수 하나만 내놓는 작은 출력부'를 얹은 구조다. Arena 리더보드의 약 500만 건 투표 쌍(2025-04-16~2026-06-07, 부주의한 투표와 저품질 프롬프트는 제외)으로 학습했다.