빠른 영상 생성 모델은 장면이 매끄럽게 이어지도록 전체 흐름은 잘 맞추지만, 프레임 한 장 한 장의 디테일은 놓치는 편집자와 같다. DuoMatching은 여기에 '한 장의 화질만 전담하는' 이미지 생성 모델을 교사로 한 명 더 붙였다. 그 결과 움직임은 거의 건드리지 않으면서 화질을 끌어올렸고, 사람 평가에서 비교한 모든 기준 모델을 상대로 종합 선호율 80% 이상을 받았다. 다만 뒤에서 보듯, 특정 조건에서는 움직임 점수가 조금 내려가기도 한다. '화질은 올리되 움직임은 지킨다'는 약속이 어디까지 지켜졌는지를 중심으로 따라가 보자.
영상을 만드는 확산(diffusion) 모델 — 노이즈를 조금씩 걷어내며 그림을 완성하는 방식 — 은 화질은 좋지만 느리다. 그 걷어내는 단계를 수십 번 반복해야 한 편이 나오기 때문이다. 실시간 상호작용이나 스트리밍처럼 즉시 반응해야 하는 자리에선 이 지연이 치명적이다.
그래서 나온 기법이 분포 매칭 증류(DMD, distribution matching distillation)다. 쉽게 말해, 느리지만 잘 만드는 '교사' 모델의 솜씨를 한두 단계 만에 영상을 뽑는 가벼운 '학생' 모델에게 압축해 전수하는 방법이다.
여기에 자기회귀(autoregressive) 방식 — 프레임을 앞에서부터 하나씩 이어 붙여 긴 영상을 만드는 방식 — 특유의 고질병이 하나 있다. 뒤로 갈수록 화질이 서서히 무너지는 '드리프트(drift)' 현상이다. 기존 DMD는 전체 프레임을 한 덩어리로 묶어 맞추는 방식으로 이 드리프트를 상당히 눌렀다.
그런데 논문은 여기서 한 겹 더 들어간다. 드리프트는 잡았는데, 정작 첫 프레임부터 화질 개선은 제한적이더라는 것이다. 어떤 예시에서는 프롬프트가 지정한 깃털 하나가 사라지고, 털의 미세한 질감이 뭉개진다. 원인은 이렇다. 기존 조인트 방식도 전체를 묶어 맞추는 과정에서 개별 프레임의 분포까지 함께 제약하긴 한다. 다만 프레임 한 장을 따로 겨냥해 그 품질을 책임지는 독립적인 학습 목표가 없다는 게 문제다. 한 프레임만 고쳐 깃털을 그려 넣으면 주변 프레임과 어긋날 수 있으니, 전체를 맞추는 과정에서 그런 개선이 오히려 퇴짜를 맞는다.
이건 우리에게도 익숙한 장면이다. 보고서 전체의 흐름과 톤만 다듬느라, 정작 개별 항목 하나하나의 부실함은 놓치는 상황 말이다. 이 이야기는 글 끝에서 다시 꺼내겠다.
DuoMatching의 발상은 간단하다. 교사를 둘로 나눈다.
이미지 생성 모델은 애초에 '정지 화면 한 장'을 아주 잘 그리도록 훈련된 모델이다. 세밀한 외형, 프롬프트가 지정한 색·속성·공간 배치를 잡아내는 감각이 뛰어나다. 그 감각을 영상 학생에게 넘겨주자는 것이다.
실제로 두 교사가 내는 교정 신호를 비교해 보면 역할이 갈린다. 마지널(개별 프레임) 쪽 신호는 특정 프레임의 결함 부위 — 예컨대 지나치게 매끄럽게 뭉개진 부분 — 에 또렷하게 뭉쳐 반응하고, 조인트(전체 관계) 쪽 신호는 더 넓게 흩어진다. 프레임 단위 결함을 콕 집어내는 데는 개별 프레임 신호가 낫다는 뜻이다.
최종 목표는 두 신호를 적절한 가중치로 섞는 것이다. 저자들은 이상적인 조건에서 가중치만 잘 잡으면, 둘을 섞은 쪽이 영상 교사 하나만 쓸 때보다 실제 영상 분포에 더 가까워질 수 있음을 증명했다. 직관적인 아이디어가 수학적으로도 탄탄하다는 걸 입증한 대목이다.
문제는 이 발상을 그대로 갖다 붙일 수 없다는 데 있다. 두 가지 장치가 그 틈을 메운다.
먼저 용어 한 줄. 영상이나 이미지 생성 모델은 원본 픽셀을 그대로 다루지 않고, VAE라는 변환기로 꾹 압축한 '잠재(latent)' 상태에서 작업한다. 잠재는 압축 파일 같은 것이라고 보면 된다.
문제는 영상과 이미지의 압축 방식이 다르다는 점이다. 영상 VAE는 여러 프레임을 묶어 잠재 하나로 뭉치는 '시간 압축'을 쓴다. 반면 이미지 쪽은 한 장에 잠재 하나씩이다. 게다가 두 압축 '언어'는 서로 호환되지도 않는다.
가장 단순한 해법은 영상 잠재를 픽셀로 풀었다가 이미지 VAE로 다시 압축하는 것이다. 하지만 이러면 변환기 두 개를 통과하며 학습 신호를 거꾸로 흘려보내야 해서 메모리가 폭발한다(논문 실험에서도 이 방식은 메모리 부족으로 아예 실패했다).
LatentBridge는 이 통역을 가볍게 해내는 작은 학습 모듈이다. 시간 압축된 영상 잠재 한 조각과 바로 앞 조각(맥락), 그리고 '몇 번째 프레임인지'를 입력받아, 그 프레임에 해당하는 이미지 교사용 잠재를 바로 예측한다. 프레임 번호를 알려주기 때문에, 여러 프레임이 뭉쳐 있는 잠재 하나에서 원하는 프레임만 콕 집어 복원할 수 있다.
마지널 쪽은 '샘플로 뽑은 몇몇 프레임'을 지도한다. 그런데 거의 변화가 없는 구간에 샘플이 몰리면, 똑같은 장면을 반복해서 가르치게 된다. 계산만 낭비할 뿐 아니라, 정지된 화면을 과하게 강조해 오히려 움직임을 억눌러 버릴 수 있다.
LVS(Latent Variation Sampling)는 이웃한 잠재 조각끼리 얼마나 달라졌는지를 재서, 변화가 큰 지점을 경계 삼아 영상을 여러 구간으로 나눈다. 그리고 각 구간에서 한 조각씩만 뽑는다. 한정된 '지도 품'을 정지 구간에 중복해 쓰지 않고, 실제로 달라지는 대목들에 고루 뿌리는 것이다.
빠른 영상 생성 연구들은 대체로 '전체 분포를 어떻게 더 잘 맞출까'에 집중해 왔다. 극저 계산에서 프레임이 뭉개지는 걸 적대적 방법 — 진짜 영상인지 판별하는 모델을 세워 생성기와 겨루게 하는 방식 — 으로 완화하거나(One-Forcing), 선호되는 출력에 점수를 줘 유도하는 보상 신호를 쓰거나(Reward Forcing·DMDR), 노이즈 구간을 쪼개 최적화를 안정화하는(Phased DMD) 식이다. 이미지의 사전지식(잘 훈련된 이미지 모델이 쌓아 둔 '그림 보는 눈')을 영상에 들여온 선행 연구도 있었지만(MCM, AVDM2), 주로 이미지에서 파생된 영상 모델을 대상으로 했다.
DuoMatching의 차별점은 둘이다. 하나, 문제를 '조인트-마지널'이라는 분포 관점에서 다시 짜고 둘의 관계를 이론으로 분석한 뒤, 양쪽을 모두 분포 매칭 목표로 세웠다는 점. 둘, LatentBridge로 이 틀을 '시간 압축 잠재를 쓰는 요즘 영상 생성기'에까지 넓혔다는 점이다. 보상이나 적대적 손실 같은 '추가 신호'를 덧대는 대신, 실제 분포에 더 가까워지는 것 자체를 목표로 삼았다는 결이 다르다.
평가의 중심은 공개 벤치마크 VBench다. 공식 프롬프트와 평가 방식을 그대로 썼고, 화질·의미 정합·움직임 등을 항목별로 나눠 측정한다. 여기에 더해, 더 까다롭게 재기 위해 풍부한 디테일과 복잡한 움직임을 담은 도전적 프롬프트 400개를 직접 골라 테스트셋으로 썼다.
읽는 요령이 하나 있다. 생성 방식과 계산 예산(NFE — 생성 한 번에 드는 연산 횟수)이 같은 그룹 안에서만 모델을 비교한다는 원칙이다. 체급이 다른 선수를 같은 경기에 올리지 않듯, 1스텝 생성과 4스텝 생성을 뭉뚱그려 비교하지 않는다. 숫자를 읽는 우리도 이 규칙을 지켜야 한다.
또 하나. '화질은 올리되 움직임은 지킨다'는 주장은 반드시 두 축을 나눠 봐야 검증된다. 움직임 지표(움직임이 얼마나 살아 있나)와 화질·의미 지표(프레임이 얼마나 또렷하고 프롬프트에 충실한가)를 따로 보는 이유다. 한쪽만 보면 주장의 절반밖에 확인하지 못한다.
가장 선명한 대비는 '인과 2스텝' 그룹에서 나온다. 같은 체급 안에서, 종합·의미·화질이 모두 올랐는데 움직임은 거의 그대로다.
| 인과 2스텝 (같은 그룹) | 종합 | 의미 | 화질 | 움직임 |
|---|---|---|---|---|
| DuoMatching | 83.53 | 72.84 | 73.48 | 93.61 |
| Causal Forcing++ | 80.67 | 68.42 | 69.82 | 94.44 |
화질과 의미는 눈에 띄게 벌렸는데, 치를 뻔했던 움직임 점수(93.61)는 94.44에서 1점도 채 내려가지 않았다. 다른 그룹도 결이 같다. 양방향(앞뒤 프레임을 함께 보고 한 번에 생성하는, 자기회귀의 반대) 4-NFE에서는 종합 81.45로 CausVid(80.63)를 앞섰고, 움직임은 36.67에서 39.17로 오히려 올랐다.
다만 모든 그룹에서 완승한 건 아니다. 프레임을 몇 장씩 묶음 단위로 생성하는 '청크(chunk)' 4스텝 설정에서는 DuoMatching 종합 83.51이 그룹 최고였지만, 움직임은 76.67로 Causal Forcing++(80.56)보다 낮았다. 숫자가 한계를 정직하게 보여주는 대목이다.
사람의 눈도 같은 방향을 가리켰다. 23명이 프롬프트가 짝지어진 영상 40쌍을 둘 중 하나 고르는 방식으로 비교했는데, 종합 선호율이 CausVid 대비 91.30%, One-Forcing 대비 94.35%, Reward Forcing 대비 83.91%, Causal Forcing++ 대비 80.87%로 전부 80%를 넘었다. 흥미로운 건 '시간·모션' 항목이다. CausVid 대비 51.30%, Causal Forcing++ 대비 49.57%로 사실상 반반이었다. 사람들은 화질과 의미는 압도적으로 좋다고 하면서도, 움직임만큼은 기존과 차이를 못 느끼겠다고 답한 것이다. 저자들의 주장과 결이 맞는 결과다.
설계의 각 부품이 왜 필요한지도 실험으로 확인됐다.
첫째, 이미지 교사를 바꿔가며 본 실험이다. 외부 이미지 모델 없이 영상 모델(Wan2.1-14B)을 교사로 써도 교사가 아예 없을 때(종합 80.67)보다 모든 지표가 올랐다(81.43). 더 흥미로운 건, 이미지 교사 자체의 품질 점수(HPSv3 — 이미지의 인간 선호 정렬 점수)가 높을수록 — SDXL(6.57) < FLUX.2-4B(8.86) < Qwen-Image(9.05) — 학생의 화질·의미도 나란히 따라 올랐다는 점이다. 반면 움직임 지표는 교사가 바뀌어도 거의 흔들리지 않았다. 교사의 실력이 '화질과 의미'로만 전달되고 '움직임'은 건드리지 않은 것으로, 두 장치가 노린 '시공간 분리'가 의도대로 나타난 셈이다.
둘째, LatentBridge의 존재 이유를 가장 선명하게 보여주는 실험이다. 이 통역 모듈 없이 마지널 신호를 시간 압축된 잠재에 그냥 들이대면, 화질·의미는 오르지만 움직임이 94.44에서 76.94로 급락한다. 잠재에 담긴 움직임 정보를 뭉개 버린 것이다. LatentBridge를 끼우면 움직임 93.61을 지키면서 의미(72.84)·화질(73.48)·종합(83.53)을 모두 끌어올렸고, 메모리 사용량은 59.41GB로 움직임이 급락했던 Direct 방식(59.40GB)과 사실상 같았다. 적어도 Direct 방식과 견주면, 추가 메모리 부담 없이 움직임을 지킨 것이다.
셋째, LVS는 지도할 프레임 샘플을 적정선까지 늘리면 점수가 오르다가, 그 이상 늘리면 움직임과 종합이 되레 떨어졌다. 감독을 무작정 늘리는 게 능사가 아니라, 어디에 배분하느냐가 중요하다는 뜻이다.
이 실험들은 80GB GPU 8장 위에서 돌아갔다. 적지 않은 자원이 들어간 작업이라는 뜻이다. 데이터셋·체크포인트 등 구체적인 실험 환경은 글 끝에 접어 두었다.
저자들이 인정한 한계부터. 청크 4스텝 설정에서 보이듯, 화질 향상이 특정 조건에서는 움직임 지표를 경쟁 모델보다 낮추기도 한다. 움직임을 '대체로' 보존한다는 표현 자체가, 완전 무손실은 아니라는 솔직한 신호다.
여기서부터는 기자가 덧붙이는 관점이다. 첫째, 이 방법은 품질 좋은 이미지 교사에 크게 기댄다. 성능이 교사의 품질 점수와 함께 오르는 만큼, 의료 영상이나 산업 영상처럼 쓸 만한 이미지 생성 모델이 없는 도메인에서는 이득이 줄어들 수 있다.
둘째, LatentBridge는 선택한 이미지 교사의 잠재 공간에 맞춰 따로 학습해야 하는 모듈이다. 교사를 바꿀 때마다 이 통역 모듈을 다시 학습해야 한다는 뜻이다. 최신 모델이 쉴 새 없이 쏟아지는 생태계에서, 더 좋은 모델이 나와도 곧장 갈아 끼우기 어렵다는 건 실용적 제약이 될 수 있다.
셋째, 학습 스텝(1,000~1,200)이 짧은 편인데, 이는 출발점으로 삼은 체크포인트가 이미 강하기 때문으로 보인다. 즉 성과의 상당 부분은 좋은 출발점에 얹힌 것이라, '맨땅에서 거둔 이득'과는 구분해서 받아들이는 게 안전하다.
DuoMatching이 던지는 원칙은 영상 생성보다 넓게 닿는다. 전체 최적화와 부분 최적화는 서로 다른 신호이며, 둘을 한 손잡이로 묶으면 부분의 부실함이 전체의 매끄러움에 가려진다는 것 — 이건 여러 부품을 조립해 하나의 결과물을 내는 AI 에이전트 설계 전반에 해당하는 이야기다.
글 앞머리에서 꺼낸 보고서가 그 구체적인 예 하나다. AI PM이 고객에게 나갈 주간 리포트를 요약·진행현황·리스크·다음 액션 같은 여러 섹션으로 조립한다고 하자. 지금의 많은 에이전트 파이프라인은 '리포트 전체의 일관성'을 다듬는 데 공을 들인다. 톤이 통일되고 섹션끼리 모순이 없다. 영상의 조인트(전체 관계) 매칭에 해당한다. 그런데 전체 흐름에만 맞추다 보면, 리스크 섹션의 근거가 얕거나 액션 항목이 두루뭉술해도 흐름만 깨지 않으면 그대로 통과되기 쉽다. DuoMatching이 짚은 그 구조와 닮았다.
그래서 우리가 검증해볼 가설은 하나다. "섹션마다 그 종류만 전담하는 평가자를 붙이면, 전체 일관성을 해치지 않으면서 개별 섹션의 품질을 올릴 수 있는가." 리스크 섹션엔 리스크 전담 평가자, 액션 섹션엔 실행계획 전담 평가자를 두고, 전체를 조율하는 PM이 그 개선을 흐름에 녹이는 구조다. 검증 방식도 논문에서 빌려온다. 두 축을 나눠, (1) 섹션별 품질과 (2) 리포트 전체 일관성을 따로 채점해, 전담 평가자를 붙였을 때 부분 품질이 오르면서 전체 일관성은 유지되는지 A/B로 본다. 여기에 LVS의 교훈도 포갠다 — 매주 거의 똑같은 섹션에까지 평가자를 중복해 돌리면 비용만 늘고 다양성이 죽으니, 지난주와 실제로 달라진 섹션들에 검토 품을 고르게 배분하는 것이다. 맞는지는 돌려봐야 안다.
아니다. 모든 개선은 추가 추론 연산 없이 이뤄졌고, 바탕 모델의 실시간 생성 능력을 그대로 유지한다. 추가 비용은 학습 단계(이미지 교사·LatentBridge)에서만 들고, 완성된 학생 모델이 영상을 뽑는 속도 자체는 무거워지지 않는다. 즉 '학습은 한 번 더 들여, 생성은 그대로 빠르게'인 셈이다.
인과 모델은 Causal Forcing++ 체크포인트에서 시작해 VidProM 데이터로 1,000스텝, 양방향 모델은 Wan2.1-T2V-1.3B에서 Mixkit으로 1,200스텝 학습했다. 기본 이미지 교사는 Qwen-Image(고정), LatentBridge는 OpenVid 부분집합 29,400개 영상으로 따로 학습했다. 실험은 80GB GPU 8장에서 수행됐다.