RULER는 "글로 된 지시를 받아 SVG(벡터 그래픽) 코드를 만드는" 과제를 다룬 논문이다. 핵심 질문은 하나다. 정답 이미지가 하나로 정해져 있지 않은데, 모델을 어떻게 제대로 학습시킬 것인가. RULER의 답은 지시문마다 6개 항목짜리 채점 기준표(루브릭)를 자동으로 만들고, 그 기준표로 매긴 점수를 강화학습의 보상으로 쓰는 것이다. 이 방식은 기존 지표를 쓰던 방법들을 뚜렷하게 앞질렀다. 얼마나, 어떻게 앞질렀는지는 뒤에서 수치로 확인한다.
먼저 SVG가 무엇인지부터 짚자. 우리가 흔히 쓰는 JPG나 PNG는 점(픽셀)을 격자에 촘촘히 찍어 그림을 만든다. 반면 SVG는 "여기서 저기까지 선을 긋고, 이 원을 파란색으로 채워라" 같은 명령어(코드)로 그림을 그린다. 그래서 아무리 크게 확대해도 깨지지 않고, 아이콘이나 일러스트에 많이 쓰인다.
문제는 "고양이 아이콘을 그려줘" 같은 자연어 지시로 이 SVG 코드를 생성할 때다. 이것은 절대적인 정답 그림이 없는 열린 과제(open-ended task), 즉 정답이 하나로 정해지지 않은 과제다. 수학 문제라면 정답이 딱 하나지만, 고양이 아이콘은 수백 가지가 다 정답일 수 있다. 정답이 없으니 두 가지가 동시에 막힌다. 하나는 잘 그렸는지 평가하는 일, 다른 하나는 강화학습으로 모델을 개선할 때 줄 보상 신호(어떤 결과를 더 좋게 쳐줄지 알려주는 점수)를 정하는 일이다.
기존 방법은 CLIP 점수나 미학(Aesthetic) 점수 같은 스칼라 지표, 즉 숫자 하나로 요약되는 점수를 썼다. 그런데 이 지표들은 실제 사진을 기준으로 보정된 것이라, 양식화된 벡터 그래픽에는 잘 맞지 않는다. 사진용 자를 들고 만화 그림을 재는 셈이다. 더 나쁜 건, 이런 지표를 강화학습 보상으로 그대로 쓰면 보상 해킹(reward hacking)이 일어난다는 점이다. 보상 해킹이란 모델이 그림을 진짜 잘 그리는 대신, 그 점수만 높게 나오게 하는 편법을 찾아내는 현상이다. 시험의 빈틈을 파고들어 공부 안 하고 점수만 올리는 학생을 떠올리면 된다.
RULER의 발상은 학교 수행평가의 채점 기준표와 똑같다. 선생님이 "그냥 잘 썼는지 하나의 점수로 매긴다"고 하면 기준이 모호하지만, "주제가 명확한가(2점), 문단 구성이 좋은가(2점), 맞춤법이 맞는가(1점)"처럼 항목을 쪼개 채점하면 훨씬 공정하고 사람 판단과 잘 맞는다.
논문은 먼저 이 점을 실험으로 확인했다. 시각-언어 판정자(VLM, 이미지와 글을 함께 이해하는 AI)에게 여러 축으로 된 루브릭을 주고 채점시키면, 숫자 하나짜리 지표보다 사람 판단과 훨씬 더 잘 일치했다. 그것도 서로 다른 결과물들을 줄 세울 때도, 같은 지시문 안에서 좋고 나쁨을 가를 때도 모두 그랬다.
이 발견 위에 세운 것이 RULER(Instance-aware Rubric Rewards for Reinforcement Learning)다. 작동 방식을, 이해를 돕기 위한 가상의 예 "웃고 있는 노란 해 아이콘을 그려줘"로 따라가 보자.
가장 큰 실용적 장점은 이 모든 과정에 '정답' 그림이나 사람이 일일이 채점한 데이터가 전혀 필요 없다는 점이다. 채점표가 오로지 지시문 텍스트에서만 만들어지기 때문에, 정답 SVG를 미리 짝지어 둘 필요도, 사람이 선호를 라벨로 달아둘 필요도 없다. 정답 데이터를 모으는 비용이 통째로 빠지면서 데이터 구축 부담이 크게 줄어든다.
이제 수치를 보자. 두 벤치마크(모델 성능을 재는 표준 시험 세트)에서 평가 점수는 다음과 같이 올랐다.
| 벤치마크 | 기존 | RULER 적용 후 |
|---|---|---|
| MMSVG-Illustration | 0.432 | 0.693 |
| MMSVG-Icon | 0.395 | 0.683 |
여기서 짚어둘 것이 있다. '기존'은 학습 전 기본 모델의 성능이고, 이 표의 점수는 학습에 쓴 보상과는 별개로 매겨진 값이다. RULER의 학습 보상은 지시문마다 다르게 만들어진 개별 루브릭으로 주지만, 성능 평가는 모든 결과물을 하나의 공통 루브릭으로 재는 독립된 판정 절차를 따른다. 즉 가르칠 때 쓴 자와 성적을 잴 때 쓴 자가 서로 다르다. 점수는 1에 가까울수록 좋고, 두 벤치마크 모두 크게 뛰었다. 게다가 RULER는 SVG 생성만 전문으로 파고든 모델들을 앞질렀고, 몸집이 훨씬 큰 DeepSeek-V3에 필적하는 성능까지 냈다. 더 가벼운 방법이 정면승부에서 거대 모델과 어깨를 나란히 한 것이다.
무엇이 이 성능을 만들었을까. 논문은 절제 실험(ablation, 구성 요소를 하나씩 빼보며 어느 것이 결정적이었는지 가려내는 실험)으로 그 답을 짚는다. 성능을 끌어올린 진짜 원인은 강화학습 기법 자체가 아니라 루브릭 설계였다. 무엇을, 어떤 항목으로, 어떻게 쪼개 채점했느냐가 핵심이었다는 뜻이다.
요약하면 이렇다. 정답이 하나로 정해지지 않는 창의적·개방형 생성 과제에서도, '무엇을 잘한 것으로 볼지'를 항목으로 또렷하게 쪼개 정의하면 믿을 만한 보상 신호를 만들 수 있다.
물론 이 접근법에는 분명한 한계와 남은 질문도 있다.
RULER의 발상은 '정답이 없는 일을 AI가 잘하게 하려면 어떻게 평가해야 하는가'라는, 우리 실무의 핵심 질문과 곧장 맞닿아 있다. 우리는 산출물의 특성과 무관한 단일 지표로 품질을 재려는 오류를 늘 피해야 한다. 요청 반영도, 사실 정확성, 톤, 실행가능성은 서로 다른 축인데 이를 점수 하나로 뭉뚱그리면 정작 중요한 결함이 묻힌다. RULER는 이 축들을 쪼개 채점하는 편이 사람 판단과 더 잘 맞는다는 것을 실증으로 보여줬다. 또 정답을 미리 달아두기 어려운 산출물에서도 요청문 자체로부터 평가 항목을 뽑아낼 수 있고, 성과를 단일 지표 하나로 몰아붙이면 그 지표만 높이는 편법(보상 해킹)이 생긴다는 경고도 함께 준다.
구체적인 장면으로 옮겨 보자. AI PM이 고객 회의록 초안을 작성했다고 하자. 여기에 같은 평가 절차를 그대로 적용한다. ① 이 회의의 지시·맥락에서 "결정 사항이 빠짐없이 담겼나, 발언과 사실이 어긋나지 않나, 고객에게 보낼 톤인가, 다음 할 일이 실행 가능하게 적혔나" 같은 항목표를 만든다. ② 작성된 초안을 항목별로 채점한다. ③ '실행가능성'만 유독 낮게 나왔다면 그 항목을 집어 "담당자와 기한을 명시하라"는 피드백으로 재작성시킨다. 뭉뚱그린 "다시 써줘"가 아니라, 어디가 왜 부족한지를 가리키는 신호다. 다만 이 모든 채점을 AI 판정자에게 맡기려면, 그 판정자가 사람 판단과 실제로 맞는지를 먼저 확인하는 절차가 전제되어야 한다. RULER가 본 학습에 앞서 이 상관부터 검증했다는 점이 그래서 중요하다.
RULER가 실제로 검증한 범위는 SVG 생성 두 벤치마크입니다. 다만 그 원리 자체(정답이 없는 일을 항목별 채점표로 평가·개선)는 회의록·응대 초안처럼 정답이 하나로 정해지지 않는 다른 과제에도 옮겨볼 만합니다. 단, 과제가 바뀌면 그만큼 다시 검증해야 한다는 점은 논문이 남긴 열린 질문이기도 합니다.
점수 하나만 높이면 되는 구조에서는 그 숫자만 공략하는 편법이 생기기 쉽습니다. 반대로 여러 항목을 나눠 보고 가중치를 두면, 한 항목만 억지로 끌어올려도 다른 항목에서 깎이기 때문에 결과물 자체를 고르게 잘 만드는 쪽이 유리해집니다.