도미노가 한 줄로 서 있다. 첫 조각이 쓰러지면 그다음, 또 그다음이 차례로 넘어간다. 그런데 영상 생성 모델에게 이 장면을 이어 그리게 하면 엉뚱한 일이 벌어진다. 어떤 모델은 가운데 조각들이 방향도 없이 제자리에서 주저앉듯 무너지는 장면을 그린다. 바로 앞 프레임과 겉모습은 그럴듯하게 이어지지만, 쓰러짐이 어느 쪽으로 번지는지는 놓친 것이다.
난징대·텐센트 ARC Lab·저장대 공동 연구진의 논문 'Looking Ahead'가 겨눈 지점이 바로 여기다. 연구진이 제안한 Future Chunk Prediction(FCP, 미래 토막 예측)은 훈련할 때 모델에게 중간 장면을 보여주지 않고 더 먼 장면을 맞히게 하는 훈련법이다. 이 장치는 훈련 중에만 켰다가 실전에서는 뗀다. 그렇게 해서 연구진이 끌어올렸다고 보고한 것은 물리적 그럴듯함(physical plausibility, 생성 영상이 실제 물리 법칙에 얼마나 맞게 움직이는가)이다.
먼저 '자기회귀(autoregressive) 영상 생성'부터. 긴 영상을 한 번에 뽑는 대신, 영상을 몇 프레임짜리 토막(chunk)으로 쪼갠다. 그리고 앞 토막을 보고 다음 토막을 그리고, 그 결과를 다시 보고 그다음을 그리는 식으로 계속 이어 붙인다. 이렇게 하면 스트리밍처럼 영상을 끝없이 연장할 수 있고, 상호작용형 시뮬레이션이나 월드 모델(world model, 세계가 어떻게 돌아가는지를 생성으로 흉내 내는 모델)의 토대가 된다.
표준 훈련 방식은 이렇다. 다음 토막을 그릴 때, 모델이 직접 만든 앞 장면 대신 실제 촬영된 앞 장면(ground-truth, 실제 영상의 해당 토막)을 조건으로 넣어 준다.
여기서 함정이 생긴다. 영상은 이웃한 토막끼리 생김새도 움직임도 아주 비슷하다. 겹치는 정보가 많다는 뜻으로, 이를 시간적 중복이라 부른다. 그래서 모델은 앞으로 어떻게 전개될지 고민하지 않고도 바로 앞 토막의 겉모습을 거의 복사해 현재 토막을 그려낼 수 있다. 논문은 이렇게 눈앞의 시각적 연속성에 기대는 손쉬운 길을 '지름길(shortcut)'이라 부른다. 이 지름길에 안주하면 정작 중요한 장면 변화를 배울 압력이 떨어지고, 긴 호흡으로 전개를 밀고 가야 할 때 한계가 드러난다.
해법은 맞혀야 할 대상을 관측된 과거에서 멀찍이 떼어 놓는 것이다. 바로 다음 장면은 앞 장면의 겉모습만 베껴도 어느 정도 맞는다. 하지만 몇 토막 건너뛴 먼 장면은 그렇지 않다. 물체가 어느 방향으로 얼마나 빠르게 움직이는지, 물체들 사이 관계가 어떻게 바뀌는지까지 맞아떨어져야 한다.
여기서 목표는 모델이 먼 미래를 똑같이 알아맞히게 만드는 것이 아니다. 먼 미래일수록 벌어질 수 있는 갈래가 여러 개라, 애초에 하나로 정확히 맞히기 어렵다. 노리는 것은 다른 쪽이다. 먼 장면을 맞혀 보려 애쓰는 과정에서 모델 본체가 '물체가 어떻게 움직이는가'라는 정보를 품도록 훈련되는 것이다. 겉모습 복사로는 먼 장면의 오차를 줄일 수 없으니, 모델은 움직임의 전개를 배울 수밖에 없다.
FCP는 표준 훈련 목표를 그대로 둔 채 보조 목표 하나를 얹는다. 표준 훈련이 관측한 과거로 바로 다음 토막을 맞힌다면, FCP는 같은 과거만 쓰되 중간 토막들을 가린 채 몇 토막 뒤(오프셋 k — 지금부터 몇 토막 뒤를 맞힐지 정하는 값)의 먼 토막을 맞히게 한다. 중간 장면이라는 커닝 페이퍼를 치우는 셈이다. 기존 접근들이 생성 과정 자체나 과거 정보를 다루는 방식을 바꾸는 데 비해, FCP가 손대는 곳은 오직 '무엇을 맞히게 할지', 곧 훈련 목표다.
이 문제를 다루는 기존 흐름은 크게 두 갈래다. 하나는 모델이 스스로 이어 그린 긴 영상(롤아웃)의 품질을 고치는 쪽이다 — 양방향 모델을 한 번에 몇 스텝만 거쳐 빠르게 만드는 인과적 생성기로 바꾸거나, 모델을 제가 만든 과거에 노출시키거나, 교사 지도와 학생 생성의 궁합을 따지는 연구들이다. 다른 하나는 과거 맥락을 관리하는 쪽으로, 활성 윈도·캐시·전역 앵커·선택적 검색·캐시 압축으로 장기 일관성과 메모리 비용을 저울질한다. FCP는 이 둘과 경쟁하기보다 보완한다. 롤아웃 방식이나 추론 시 맥락 관리를 규정하지 않고, 표준 훈련 위에 미래 토막 지도를 더할 뿐이다.
표현 정렬(representation alignment) 계열과는 지도 신호를 어디서 얻느냐가 갈린다. 그쪽은 확산 모델의 중간 특징을 외부 비전 모델의 표현에 맞춰 훈련을 가속·개선하지만, 외부 사전학습 인코더에 의존해 대규모 영상으로 확장할 때 걸림돌이 될 수 있다. FCP는 훈련 영상 자체의 미래 토막에서 지도를 뽑아내 추가 비전 모델이 필요 없고, 데이터가 늘면 지도도 함께 느는 확장 경로를 갖는다.
가장 가까운 건 동시기·독립 연구인 Next Forcing이다. Next Forcing은 미래 예측을 전체 과거 표현에 조건 거는 반면, FCP는 더 압축된 표현에 조건 걸고 병렬 예측을 택한다(상세 비교는 논문 부록).
먼저 무엇을 쟀는지. 평가의 중심 잣대는 물리적 그럴듯함이다. 장면 변화를 제대로 배웠는지 가늠하기에 까다로운 기준인 데다, 영상이 '진짜 같은가'를 좌우하기 때문이다. 주 벤치마크는 Physics-IQ Verified로, 생성된 영상의 연장분을 실제 촬영 영상과 수치로 직접 비교한다(참조 기반). VLM(비전·언어 모델, 영상을 보고 글로 판정하는 모델)이 "이거 물리적으로 맞아?"라고 주관적으로 판정하는 방식이 아니라서, 변화의 타이밍·크기 같은 미세한 차이에 더 민감하다. 연구진이 이 지표를 1순위로 둔 이유다. 보조로 쓴 WorldModelBench·PAI-Bench-G·PhyGround는 VLM 판정이라 그런 미세 차이에는 덜 민감할 수 있다.
숫자는 이렇다. 훈련 데이터와 설정을 똑같이 맞춘 통제 비교에서, 표준 훈련의 27.6이 FCP로 30.9까지 올랐다(Physics-IQ Verified의 IQ 점수 — 생성 영상의 뒷부분이 실제 영상의 물리 거동에 얼마나 가까운지를 참조 영상과 비교해 매긴 값, 높을수록 좋다). 모델마다 훈련 데이터·설정이 다르면 점수 차이를 방법 차이로만 돌릴 수 없으니, 절대값보다 같은 조건에서의 상대 차이로 읽어야 하는 수치다.
눈으로도 확인된다. 도미노가 넘어지는 장면에서 두 모델은 넘어지기 시작한 직후에 갈린다. 처음 한두 프레임은 둘 다 멀쩡해 보이고, 차이는 다음이 어디로 가는지에서만 드러난다. FCP는 쓰러짐이 한 방향으로 번져 가는 반면, 표준 훈련은 그 전개 구간에서 가운데가 방향 없이 주저앉는다. 얼음이 녹아 수위가 오르는 장면에서도 FCP는 그 미세한 변화를 잡고 표준 훈련은 놓쳤다.
표에서 'Teacher forcing'은 본문의 표준 훈련법이다. 향상은 과거 맥락 표현과 생성 대상(노이즈 낀) 표현을 양쪽 다 손볼 때 가장 컸다.
1.3B 통제 비교(표 4, IQ). 표준 훈련 27.6 → FCP 30.9. 뜯어보면: 깨끗한 과거 맥락 표현만 다듬으면 +1.2(27.6→28.8), 노이즈 낀(생성 과정에서 다듬어야 할) 표현만 다듬으면 +2.3(27.6→29.9), 둘을 합치면 +3.3(→30.9). 병렬형 30.9 vs 연쇄형 30.1(+0.8).
5B 통제 비교(표 2, Wan2.2-TI2V-5B, IQ). I2V='이미지→영상'(첫 장면 한 장을 주고 뒤를 생성), V2V='영상→영상'(앞선 영상 토막을 조건으로 받음).
| 5B 모델 (표 2, IQ) | Teacher forcing | FCP 5-오프셋(병렬) | 5-오프셋 연쇄형 | 비연속 오프셋(1,3,5) | |---|---|---|---|---| | I2V | 30.4 | 33.8 | 31.0 | 33.1 | | V2V | 40.6 | 44.4 | 39.9 | 43.5 |보조 벤치마크(표 3, Wan2.2-TI2V-5B, 설정 일치, VLM 판정). WorldModelBench 7.22→7.64(+0.42), PAI-Bench-G 81.13→82.38(+1.25), PhyGround Physics 2.75→2.80 등 대체로 FCP가 앞섰다.
교차 모델 표(표 1, 데이터·설정 제각각 → 좌표 참고용). 연구진 요약에 따르면 5B+FCP는 더 큰 양방향(bidirectional) 모델들(Wan2.2-14B, HunyuanVideo-1.5, Cosmos3-Nano)과, 비슷하거나 더 큰 자기회귀 사전학습 모델(MAGI-1-4.5B, Helios-Base)을 앞섰다.
훈련 데이터는 내부 수집 영상과 WISA-80K를 섞고 각 출처의 원본 텍스트 주석을 썼다. 물리 시뮬레이터 데이터는 넣지 않은 일반 실세계 영상이 중심이다. 5초가 넘는 영상을 골라 앞 5초가량만 모델 기본 프레임레이트로 샘플링했다. 모델은 공식 Wan 체크포인트(Wan2.1-1.3B, Wan2.2-5B)에서 초기화하고, I2V 설정으로 첫 프레임을 고정된 깨끗한 맥락으로 두고 3개 잠재(latent) 프레임짜리 토막을 이어 생성했다. 보조 예측기는 각각 DiT 블록 3개짜리다.
FCP의 보조 장치는 훈련 때만 쓰고 실제 영상을 뽑을 때는 떼어낸다. 그런데도 효과가 남는다. 비결은 예측기를 다는 방식에 있다.
처음엔 메인 생성기와 파라미터(모델의 학습 가능한 값들)를 공유해 예측을 시켰는데, 두 목표가 같은 파라미터를 서로 다른 방향으로 잡아당겨 시간적 일관성이 오히려 나빠졌다. 그렇다고 예측기를 완전히 떼어 혼자 훈련하면, 정작 메인 생성기는 아무 영향도 받지 못한다. 연구진은 절충안을 택했다. 보조 예측기를 생성기의 중간 계산값(은닉 상태)에 연결해, 미래 예측에서 생긴 오차가 생성기 본체로 흘러들게 한 것이다. 훈련 동안 이 오차가 생성기 본체의 계산 방식을 이미 바꿔 놓기 때문에, 추론 때 예측기를 떼어내도 효과가 남는다. 그래서 기존 자기회귀 추론 과정은 손대지 않고, 추가 비용도 들지 않는다.
나머지 설계 선택도 같은 원리, 새 지름길 막기를 따른다. 보조 예측기에서는 텍스트 프롬프트를 뺐다. 프롬프트를 그대로 주면 "미래에 무슨 일이 벌어질지"를 미리 귀띔해, 예측기가 생성기의 표현이 아니라 텍스트에 기대는 새 지름길이 생기기 때문이다. 또 여러 미래 시점을 다룰 때는 예측기를 사슬처럼 잇지 않고 병렬로 뒀다. 사슬 구조면 가까운 미래의 정보가 먼 예측으로 새어 또 다른 지름길이 된다. 실제로 병렬형이 사슬형보다 나았고, 그 격차는 모델이 클수록 벌어졌다. 용량이 큰 모델일수록 그 누수를 더 잘 파고들기 때문이라는 것이 연구진의 해석이다.
표준 훈련 방식은 teacher forcing이다. 생성기는 Wan 계열 영상 확산 모델을 쓴다. 백본은 청크-인과(chunk-causal) 어텐션을 쓰는 DiT(diffusion transformer, 확산 기반 트랜스포머) 블록을 쌓은 것이고, 보조 예측기는 그 경량 버전으로 별도 파라미터를 가진다. 여러 생성기 층에서 뽑은 특징을 채널 방향으로 이어 붙여 MLP(다층 퍼셉트론)로 융합하고, AdaLN(적응형 레이어 정규화) 변조로 보조 DiT 블록마다 주입한다. 보조 손실은 이 연결을 통해 생성기의 은닉 상태로 역전파된다. 프롬프트를 뺀 덕에 파라미터와 연산량도 줄었고, 병렬 예측기는 여러 GPU에서 동시에 돌리거나 훈련 중 켜고 끄기도 쉽다.
점수가 말하는 것은 생성 영상이 물리적으로 더 그럴듯해졌다는 데까지다. 내부 표현이 더 뚜렷한 시공간 구조를 띤다는 시각화도 있지만, 그것이 곧 모델이 장면을 '이해했다'는 뜻으로 번지지는 않는다. 연구진도 이 더 구조화된 표현이 자기회귀 월드 모델을 세우는 데 쓸모 있을 수 있다는 조심스러운 가능성까지만 말한다. 게다가 이 향상은 표준 훈련보다 더 낮은 전체 훈련 연산 예산에서 나왔다. 성능을 연산으로 사들인 결과가 아니라는 뜻이다.
연구진이 인정한 한계. 물리 시뮬레이터 데이터를 넣으면 규모를 키울 때 물리적 그럴듯함이 더 좋아질 수 있지만 이번엔 다루지 않았다고 명시한다. 보조 예측기가 '그럴듯한 미래'는 잡아내되 시각적 충실도는 제한적이라는 점도 인정하며, 이를 샘플링 가속이나 생성 품질 향상에 쓰는 것은 향후 과제로 남겼다.
필자가 보는 한계. 평가 축이 사실상 물리적 그럴듯함에 집중돼 있다. 연구진도 장면 변화는 다면적이고 종합 평가는 열린 난제라고 전제했으니, 물리 쪽 향상이 전개의 서사성·장기 일관성 같은 다른 차원으로 그대로 이어지는지는 이 논문의 수치만으로 단정하기 어렵다. 또 오프셋 개수(3개, 5개)와 보조 손실 가중치는 성능을 좌우하는 선택지로 보이는데, 위 수치들은 특정 구성에서 얻은 결과라는 점을 염두에 둘 필요가 있다.
영상 모델의 훈련법을 업무 에이전트로 그대로 옮기자는 얘기는 아니다. 가져올 것은 평가를 설계하는 발상 하나다. 직전 상태를 복사하는 것만으로도 잘하는 것처럼 보이는지를 확인하는 것. 아래는 지금 온틀에서 돌아가는 방식이 아니라 아직 해보지 않은 가상 실험이다.
온틀의 AI PM은 매일 올라오는 업무 로그·메시지·커밋을 읽고 주간 브리핑을 쓴다. 여기에는 성격이 다른 두 능력이 섞여 있다. 최근 보고를 잘 요약하는 능력과, 앞으로의 위험을 내다보는 능력이다. 문제는 직전 보고서를 살짝 고쳐 쓴 브리핑도 요약만 보면 멀쩡해 보인다는 점이다. FCP가 짚은 앞 장면 베끼기와 닮았다.
그래서 평가 대상을 '일정 지연 위험' 하나로 좁혀 이렇게 해볼 수 있다. 중간 보고를 가린 채 "3주 전까지의 정보만 줄 테니, 이 프로젝트의 일정 지연 위험이 지금 어느 정도일지 근거와 불확실성까지 달아 답하라"고 시킨다. 그 답을 실제 경과와, 그리고 '3주 전 마지막 상태를 그대로 유지한다고 본' 단순 기준선과 나란히 놓는다. 직전 보고 베끼기로는 넘을 수 없는 과제라야, 예측이 단순 기준선보다 정말 유용한지 가려진다.
영상과 업무의 차이도 분명히 해 두자. 도미노는 물리 법칙대로 흐르지만, 프로젝트는 중간의 의사결정이나 외부 사건 때문에 과거만으로는 예측이 어긋날 수 있다. 그러니 이건 "맞혔다/틀렸다"의 성적표라기보다, 에이전트가 과거의 메아리에만 기대고 있지 않은지 들여다보는 진단 도구에 가깝다. 온틀에서 먼저 해볼 작은 실험으로는, 주간 브리핑에서 일정 지연 위험 하나만 당시 정보로 맞히고 실제 경과·단순 기준선과 대보는 것이 적당하다.