영상 생성 모델이 만든 결과물은 종종 이렇다. 무대 세트는 완벽하게 꾸며 놓고, 소품으로 걸어둔 간판에는 알아볼 수 없는 낙서를 적어둔 셈이다. 영화처럼 매끈한 광고 영상인데, 정작 제품 패키지의 글자는 철자가 틀려 있다. VTR-Bench는 바로 이 '화면 속 글자 쓰기(visual text rendering, 영상 안에 글자를 정확히 그려 넣는 능력)'만 따로 떼어 재는 체계적 벤치마크다.
핵심부터 말하면, 측정 결과는 세 가지로 압축된다.
측정 범위는 5개 활용 시나리오에 걸친 300개 프롬프트, 대상은 최신 모델 11종이다.
영상 생성 모델 평가는 그동안 거의 한쪽만 봤다. 화질이 좋은가, 보기 좋은가, 물리 법칙에 안 어긋나는가. VBench, EvalCrafter 같은 기존 벤치마크들이 재는 건 대체로 이런 축이다. 그런데 현실의 영상에는 글자가 가득하다. 광고의 제품 설명, 과학 영상의 수치, 화면 속 버튼 라벨. 글자 하나가 틀리면 전달되는 정보 자체가 바뀐다.
문제는 영상이 아무리 사실적으로 보여도 그 안의 글자가 맞다는 보장이 없다는 것이다. 논문 서두의 예시가 이 간극을 날카롭게 보여준다. 약 10초짜리 영상 하나가 장면·모션 요구사항 체크리스트에서 Video Score 0.90을 받았는데, 같은 영상의 WER은 0.552였다. 철자 오류, 반복되고 엉뚱한 글자, 아예 읽을 수 없는 문구가 섞여 있었다는 뜻이다.
글자를 평가한 벤치마크가 없진 않았지만 한계가 뚜렷했다. T2VTextBench는 전적으로 사람 평가에 의존해, 모델을 반복해서 재려면 사람 손이 계속 들어간다. EvalCrafter나 AVGen-Bench도 글자를 다루긴 하지만 짧은 텍스트 위주라, 긴 문장은 제대로 재지 못한다. 한편 모델 자체를 뜯어고쳐 글자를 잘 그리게 하려는 시도도 있었다. HunyuanVideo 1.5는 글자 모양 정보를 인코딩해 넣었고, 다른 연구는 글자 많은 합성 영상으로 모델을 추가 학습시켰다.
VTR-Bench의 자리는 이들과 다르다. 이건 모델을 고치는 기법이 아니라 '자(측정자)'다. 긴 문장을 포함한 장면 텍스트를, 사람 손 없이 자동으로, 모델만 늘려도 그대로 돌릴 수 있게 재는 쪽을 택했다. 그리고 측정에 그치지 않고, 모델의 무게(가중치)는 그대로 둔 채 '생성하는 방식'만 바꿔 글자 오류를 줄이는 길도 함께 제안한다. '정확히 재고, 학습 없이 개선한다' — 이게 VTR-Bench가 선 자리다.
결과 표가 전하는 메시지는 명확하다. 글자 쓰기는 지금 모델들에게 공통으로 어렵다.
전체 1위는 상용 모델 Wan3.0였다. 다섯 시나리오(광고·과학·UI·문화·일상) 모두에서 글자 정확도를 주도하며 WER 0.250을 기록했다. 흥미로운 건 2위다. 비공개 상용 모델이 아니라, 오픈소스인 Minimax H3(0.447)가 상용 Seedance2.5(0.641)를 제치고 전체 2위에 올랐다. 공개 모델이 여러 상용 모델보다 글자를 더 정확히 쓴 것이다. 반대로 상당수 모델은 WER이 상한(약 1)에 거의 붙어 있었다. Wan2.2-5B와 LTX-2.3이 나란히 0.996으로, 오류 점수가 상한(1)에 거의 붙어 있었다.
두 번째 발견이 이 벤치마크의 존재 이유를 증명한다. 영상 점수가 높아도 글자가 맞다는 보장은 없다. 가장 선명한 대조는 Kling v3.0과 Seedance2.5다. 둘 다 Video Score가 약 0.79로 거의 같다. 그런데 WER은 Kling v3.0이 0.979, Seedance2.5가 0.641이다. 장면과 모션 요구를 똑같이 충족하면서도 글자 정확도는 크게 벌어진다. 두 능력을 한 점수로 뭉치면 이 간극이 통째로 가려진다.
실패를 뜯어본 분석도 실용적이다. 저자들은 13,213개 텍스트 타깃을 세 상태로 나눠봤다. 글자 올릴 자리(운반체)를 못 찾음, 자리는 찾았지만 글자를 못 읽음, 전사됨. 전체 모델에서 '자리는 찾았는데 글자를 못 읽은' 비율이 23.31%로, '자리 자체를 못 찾은' 9.34%보다 훨씬 높았다. 글자 둘 곳은 찾아놓고도 그 위에 알아볼 수 있는 글자를 그리는 데서 더 많이 넘어진다는 신호다. 게다가 읽혔다고 맞는 것도 아니다. Kling v3.0은 글자가 읽힌 비율이 79.62%나 됐지만 WER은 0.979였다. '읽힌다'와 '맞다'는 다른 문제다.
해상도와 길이의 영향도 짚을 만하다. Minimax H3와 LTX-2.3을 해상도 고/저 × 길이 10초/5초의 네 조합으로 비교했더니, Minimax H3는 해상도를 높이면 두 길이 모두에서 WER이 줄었다. 글자에 더 많은 픽셀이 할당되자 원래 있던 능력이 더 발휘된 것이다. 반면 LTX-2.3은 네 조합 모두 WER이 1에 가깝게 붙어 있었다. 저자들의 해석은 설득력 있다. 설정을 바꿔 얻는 이득은 모델에게 애초에 글자 쓰기 능력이 있을 때만 나온다. 능력이 없으면 해상도를 올려봐야 틀린 글자가 더 또렷해질 뿐이다.
마지막으로 '생성 방식만 바꾸는' 개선의 효과다. Minimax H3를 두고 세 방식을 비교했다. 그냥 생성(Original), 첫 이미지 한 장만 주고 영상을 만들게 하는 방식(image-to-video, I2V), 그리고 전체 프레임워크(Agentic)다. 전체 프레임워크는 WER을 0.4468에서 0.3015로 32.5% 낮췄고, Video Score는 0.7562에서 0.8315로 올렸다. 두 지표가 다섯 시나리오 전부에서 함께 좋아졌다. 첫 이미지만 주는 I2V도 그냥 생성보다는 나았지만, 전체 프레임워크는 I2V보다 WER을 추가로 9.4% 더 줄였다. 첫 프레임을 공급하는 것만으로는 부족하고, 반복해서 피드백을 받아 조율하는 과정이 보탬이 됐다는 뜻이다.
VTR-Bench의 설계를 관통하는 생각은 하나, '분리'다. 영상이 요구된 장면과 움직임을 잘 구현했는지와, 그 안의 글자가 정확한지를 서로 다른 두 축으로 나눠서 잰다. 하나로 뭉치면 '그럴듯해 보임'이 '글자 정확함'을 가려버리기 때문이다.
첫 번째 축은 Video Score다. 프롬프트마다 20개 질문을 준비해 두고, 영상·언어를 함께 다루는 AI(VLM, 영상을 보고 글로 답하는 모델)가 영상을 보며 '예/아니오'로 채점한다. 질문은 장면 속성·모션 준수·공간 관계·개체 존재·시간적 일관성의 다섯 차원을 덮는다. Video Score는 충족된 요구사항의 비율이다.
두 번째 축이 이 논문의 핵심인 글자 평가다. VLM이 글자가 올라가는 표면, 즉 '운반체(carrier)' — 간판이든 패키지든 화면이든 — 가 영상에서 가장 선명하게 보이는 순간을 골라 글자를 받아적는다. 이때 정답은 가려둔 채 보이는 대로만, 철자 오류는 그대로, 못 읽는 부분은 비워서 전사한다. 그걸 정답과 WER로 비교한다.
여기에 한 가지 장치가 더 있다. 바로 '유계(bounded) WER'이다. 모델이 엉뚱한 글자를 끝없이 뱉어내 오류 점수가 무한정 치솟는 걸 막으려고, 정답 길이를 기준으로 점수에 상한선을 둔 방식이다. 그래서 WER이 약 1 근처에서 멈춘다.
데이터셋을 만드는 과정에서 가장 돋보이는 대목은 '미리 그려보고 거르기'다. 프롬프트를 글로만 짜고 끝내는 게 아니라, 이미지 생성 모델로 그 장면을 미리 그려본 뒤 "이 글자와 이 간판이 한 장면 안에 실제로 담길 수 있는가?"를 VLM으로 검증하고 고친다. 세 번 연속 실패하면 프롬프트를 아예 새로 짠다. 애초에 구현 불가능한 과제로 모델을 시험하는 일을 사전에 걸러내는 영리한 절차다.
개선용으로 제안한 프레임워크의 뼈대도 같은 발상이다. 'Director'라는 지휘 역할이 먼저 첫 프레임 후보를 여러 장 받아, 글자 정확도·가독성 등을 검사해 가장 나은 한 장을 고르거나 고쳐 쓴다. 이렇게 다듬은 첫 프레임을 조건으로 영상을 생성한다. 모델의 가중치는 전혀 건드리지 않고, 생성 '시점'의 제어만으로 품질을 올린다는 게 요점이다.
실험 조건은 통제돼 있다. 대상은 최신 오픈소스 6종과 비공개 상용 5종, 모두 11종. 영상은 10초·24FPS로 통일했고, 상용 모델은 해상도를 720p로 고정했다. 데이터셋은 300개 프롬프트가 5개 시나리오에 60개씩 고르게 분포하고, 그 아래 25개 세부 장면을 덮는다. 짧은 라벨부터 긴 문단까지 섞어(블록당 1~275 토큰, 중앙값 23), 여러 글자를 동시에 그리는 능력과 긴 문장을 정확히 재현하는 능력을 함께 시험하도록 짰다.
한 가지 분명히 해둘 점. 이 벤치마크는 글자가 '정답과 일치하는가'를 잴 뿐, 폰트가 예쁜지·자연스러운지는 관심사가 아니다. 또 전사를 '가장 선명한 순간' 기준으로 하므로, 글자가 영상 내내 흔들리지 않고 유지되는지는 WER이 아니라 다른 항목에서 다룬다.
저자들이 직접 인정하는 한계부터. 설정 조정만으로는 글자 오류가 풀리지 않는다는 점을 LTX-2.3 사례로 못 박는다. 결국 모델의 근본적인 글자 쓰기 능력이 중심이고, 해상도·길이는 그 능력이 있을 때 이득을 키우는 보조 레버라는 입장이다. 솔직한 선 긋기다.
더 구조적인 한계는 평가가 VLM에 기대고 있다는 점이다. 글자 전사와 영상 채점을 모두 같은 평가용 모델이 수행한다. 저자들은 사람 평가와의 정렬, 그리고 다른 평가자를 써 본 결과(부록)로 이를 교차 검증했다. 그럼에도 '평가자가 못 읽은 글자'와 '모델이 못 그린 글자'를 완전히 가르기는 쉽지 않다. 전사율과 WER을 함께 보도록 설계한 것도 이 경계를 다루려는 장치로 읽힌다.
또 하나, 생성 방식 개선의 효과는 Minimax H3 한 모델에서 확인된 결과다. WER이 상한에 붙어 있던 LTX-2.3처럼 바닥 능력이 부족한 모델에서도 같은 폭의 개선이 날지는 이 실험만으로 단정하기 어렵다. 해상도 분석이 시사하듯, 바닥 능력이 없으면 생성 시점의 제어도 효과가 제한될 가능성이 있다. 이 방법이 어느 수준 이상의 모델에서만 작동하는지, 보편적인지는 더 넓은 검증이 필요하다.
AI PM이 고객에게 낼 산출물을 만드는 장면을 떠올려 보자. 수치가 박힌 요약 리포트, 제품을 소개하는 마케팅 카드뉴스. 레이아웃이 깔끔하고 섹션도 다 채워져 '완성된 것처럼' 보이면, 사람 검수자는 그 완결감에 기대 내용 점검을 건너뛰기 쉽다. 그 틈에 도표의 수치가 틀린 채로, 혹은 제품명에 오타가 난 채로 리포트가 고객에게 나간다.
이게 영상 속 글자 오류와 '똑같은 문제'라는 뜻은 아니다. 닮은 건 함정의 구조다. 겉이 그럴듯하게 완성돼 보이면 속의 정확도 점검을 생략하게 된다는 것. Kling v3.0이 Video Score 0.79를 받으면서 WER 0.979였던 바로 그 간극이, 산출물 검수에서도 똑같이 벌어질 수 있다.
그래서 ONTLE의 검수 파이프라인은 두 평가를 구조적으로 나눠야 한다. 하나는 '형식·완결성'(요구된 섹션이 다 있는가, 톤이 맞는가), 다른 하나는 '내용 정확성'(제품명 철자, 가격 숫자, 인용 수치가 원본과 일치하는가). 후자는 VTR-Bench가 운반체 위 글자만 뽑아 정답과 맞춰보듯, 산출물에서 '검증 대상 텍스트(숫자·고유명사·인용)'만 추려 원천 데이터와 글자 단위로 대조하는 식으로 자동화할 수 있다. 두 점수를 한 덩어리로 합쳐 '통과/보류'만 내면, 내용 오류가 형식 완결감에 가려져 그대로 나간다.
개선 루프도 PM의 작업 방식과 결이 맞는다. 논문이 가중치를 안 바꾸고 반복 피드백만으로 WER을 32.5% 낮췄듯, 산출물도 '한 번 뽑고 끝'이 아니라 '초안 → 내용 검증 → 틀린 부분만 지목 편집 → 선택'의 루프로 돌릴 때 품질이 오른다. 특히 전체를 다시 생성하지 않고 틀린 텍스트만 집어 고치는 방식은, 매번 새로 뽑다가 또 다른 오류를 만드는 낭비를 줄인다. 다만 해상도 분석의 교훈도 함께 새겨야 한다. 바닥 능력이 없는 생성기에는 루프를 아무리 돌려도 한계가 있고, 검증 루프는 쓸 만한 초안을 내는 모델 위에서만 레버가 된다.
아닙니다. WER은 '맞힌 비율'이 아니라, 삽입·삭제·치환을 합산한 토큰 단위 편집 거리를 정답 길이로 정규화하고 영상별로 최대 1까지만 세어 계산한 오류 점수입니다. 그래서 1−WER을 '정답률'로 환산할 수 없습니다. 0.250은 '정규화한 편집 오류 점수가 0.250'이라는 뜻이고, 값이 낮을수록 글자를 정확히 쓴 것입니다. 1에 가까운 0.996 같은 값은 오류 점수가 상한(1)에 거의 붙었다는 의미입니다.
아니요. WER은 글자가 정답과 얼마나 일치하는지만 잽니다. 폰트가 자연스러운지·보기 좋은지 같은 미적 품질은 이 지표의 대상이 아닙니다. 또 전사를 '가장 선명한 순간' 기준으로 하기 때문에, 글자가 영상 전체에서 흔들림 없이 유지되는지(시간적 안정성)는 WER과 별개로 다룹니다.