WorldCrafter는 이미지 한 장이나 텍스트 한 줄에서 시작해, 사용자가 카메라를 움직이며 장면을 계속 탐험할 수 있게 해주는 비디오 월드 모델입니다. 핵심은 '카메라로 질의(query)할 수 있는 암시적 3D 인지 기억(implicit 3D-aware memory)'을 학습시켜, 오래 돌아다녀도 과거에 본 장면과 어긋나지 않게 만든 점입니다. 초록에 따르면 정적·동적 장면 모두에서 장기 일관성과 카메라 제어 정확도가 크게 개선됐고, 분(minute) 단위 탐험 동안에도 화질을 유지했습니다.
비디오 월드 모델은 '움직일 수 있는 세계'를 영상으로 만들어내는 모델입니다. 입력을 주면 그 세계 안에서 카메라를 앞으로 밀고, 옆으로 돌리고, 다시 왔던 곳으로 돌아가는 식으로 동적인 환경을 인터랙티브하게 탐험할 수 있습니다. 게임 엔진 없이도 영상 생성만으로 '가상 세계'를 걸어 다니는 셈입니다.
문제는 오래 돌아다닐 때 생깁니다. 초록이 지적하는 한계는 두 가지입니다. 첫째, 긴 시간축(long horizon)에서 앞서 본 장면(prior observations)을 존중하지 못합니다. 둘째, 시점(viewpoint)이 바뀌면 앞서 본 것과 어긋납니다. 쉽게 말해, 방을 한 바퀴 돌고 처음 자리로 돌아왔을 때 아까 봤던 책상이 사라지거나 위치가 달라지는 식입니다. 사람은 '아까 저기 책상이 있었지'라는 기억으로 방을 일관되게 인식하지만, 기존 모델은 그 기억이 약합니다.
여기서 근본 원인은 '토큰 예산(token budget)'입니다. 비디오 생성기는 한 번에 처리할 수 있는 정보량(토큰)이 제한돼 있습니다. 지금까지 본 모든 장면을 전부 기억에 담아 매번 참조하기에는 자리가 부족합니다. 그래서 무엇을, 어떻게 압축해 기억에 넣느냐가 관건이 됩니다.
기존 접근의 또 다른 방식은 깊이(depth) 정보를 명시적으로 계산해 여러 시점 사이의 대응 관계(correspondence)를 맞추는 것입니다. 즉 '이 픽셀이 저 프레임의 저 픽셀과 같은 지점'이라고 3D 기하로 대놓고 이어 붙이는 방식입니다. 이 방식은 깊이 추정이 틀리면 함께 무너지고, 파이프라인이 복잡해지는 부담이 있습니다.
WorldCrafter의 통찰을 한 문장으로 요약하면 이렇습니다. "요청된 시점이, 여러 시점의 증거를 어떻게 압축할지를 결정하게 하라(let the requested viewpoint shape how multi-view evidence is compressed)."
도서관 비유로 풀어보겠습니다. 지금까지 걸어 다니며 본 장면들이 도서관의 방대한 장서라고 합시다. 생성기의 책상(토큰 예산) 위에는 책 몇 권만 올려둘 수 있습니다. 그렇다면 '지금 내가 바라보려는 방향'을 사서에게 알려주고, 그 방향에 필요한 내용만 발췌해 책상에 올려두는 게 효율적입니다. WorldCrafter의 기억은 이렇게 카메라(시점)로 질의하면 그 시점에 필요한 정보만 뽑아 정리해 주는 도서관 사서에 해당합니다.
구체적으로 초록이 밝히는 구성 요소는 두 가지입니다.
여기서 두 가지가 중요합니다. 첫째, 이 통합은 '노이즈 제거(denoising) 전에' 이뤄집니다. 확산 모델(diffusion)이 영상을 만들어내기 시작하기 전에, 이번 시점에 필요한 기억을 미리 정리해 넣어 준다는 뜻입니다. 둘째, 앞서 말한 명시적 깊이 기반 대응(explicit depth-based correspondences) 없이 이 일을 해냅니다. 3D를 대놓고 계산해 이어 붙이는 대신, 시점을 조건으로 기억을 압축·판독하는 방식으로 3D 인지를 '암시적으로(implicit)' 다룹니다. 이름에 '암시적 3D 인지'가 붙은 이유입니다.
또 하나의 설계 포인트는 이 기억 인코더와 판독 모듈을 비디오 생성기와 '함께(jointly)' 학습시킨다는 점입니다. 기억 담당과 영상 생성 담당이 따로 노는 게 아니라, 처음부터 한 팀으로 훈련돼 생성기가 실제로 쓰기 좋은 형태의 기억을 만들도록 맞춰집니다.
마지막으로 실제 탐험을 매끄럽게 만들기 위해 두 가지를 결합합니다. 하나는 방금 지나온 최근 시간 맥락(recent temporal context)이고, 다른 하나는 소수 스텝 증류(few-step distillation)입니다. 증류는 원래 여러 단계를 거쳐야 하는 생성 과정을 적은 단계로 줄여 빠르게 만드는 기법입니다. 이 둘을 기억과 합쳐, 이미지 한 장이나 텍스트 프롬프트 하나에서 시작하는 스트리밍 방식 장면 탐험(streaming scene exploration)을 가능하게 합니다. 즉 멀리 있는 기억(암시적 3D 기억)과 가까운 기억(최근 프레임)을 함께 참조하면서, 실시간에 가깝게 세계를 걸어 다니게 하는 구조입니다.
정리하면 세 축입니다.
| 구성 요소 | 역할 | 비유 |
|---|---|---|
| 카메라 질의형 암시적 3D 기억 | 목표 시점에 맞춰 과거 관측을 고정 토큰으로 압축 | 방향을 알려주면 필요한 책만 골라주는 사서 |
| 최근 시간 맥락 | 방금 지나온 프레임들의 연속성 유지 | 방금 본 장면의 잔상 |
| 소수 스텝 증류 | 생성 단계를 줄여 빠른 탐험 | 초안을 여러 번 고치는 대신 몇 번에 완성 |
초록이 밝히는 성과는 정성적으로는 분명합니다. 정적 장면과 동적 장면 모두에 걸친 실험에서, 장기 일관성(long-horizon consistency)과 카메라 제어 정확도(camera-control accuracy)에서 상당한 향상(substantial gains)을 보였다고 합니다. 그리고 분 단위 탐험(minute-scale exploration) 동안 화질(visual quality)을 유지했다고 밝힙니다.
이 세 가지를 동시에 잡았다는 점이 핵심입니다.
보통 이 셋은 서로 상충합니다. 기억을 많이 참조하면 무거워지고, 빠르게 만들려면 일관성이 흔들리며, 일관성을 강제하면 화질이 떨어지기 쉽습니다. WorldCrafter는 '시점이 압축을 결정하는' 기억 설계와 증류를 결합해 이 균형을 개선했다는 것이 초록의 주장입니다.
여기서 정직하게 밝혀 둘 부분이 있습니다. 초록에는 구체적인 수치(향상률, 데이터셋 크기, 벤치마크 점수, 몇 분까지 유지되는지)가 제시돼 있지 않습니다. 따라서 이 글에서도 '분 단위', '상당한 향상' 같은 초록의 정성적 표현 이상으로 수치를 단정하지 않습니다. 정확한 실험 조건과 지표는 원문 논문을 확인해야 합니다.
초록만으로 판단할 때, 다음은 솔직히 열린 질문으로 남습니다.
이 질문들은 비판이 아니라, 초록이 다루지 않은 영역을 있는 그대로 표시한 것입니다.
온틀은 'AI 프로젝트 매니저 파견형 SaaS'로, 반복 업무를 오래 이어서 맡기는 에이전트를 다룹니다. WorldCrafter가 비디오에서 푼 문제는, 사실 에이전트 제품이 매일 부딪히는 문제와 구조가 같습니다. 바로 '제한된 맥락(토큰 예산) 안에서 과거를 어떻게 일관되게 기억할 것인가'입니다.
시사점을 세 가지로 정리합니다.
기억은 '무엇을 저장하느냐'보다 '무엇을 불러오느냐'가 먼저다. WorldCrafter의 통찰은 '지금 필요한 시점(질의)이 과거의 압축 방식을 결정한다'는 것입니다. AI PM 에이전트도 회의록·이슈·의사결정 로그를 전부 프롬프트에 밀어 넣을 수 없습니다. '지금 이 작업에 필요한 관점'으로 과거를 질의해 필요한 만큼만 판독하는 설계가, 맥락창을 키우는 것보다 본질적입니다. 이는 RAG(검색 증강 생성)에서 질의에 맞춰 관련 문서만 가져오는 발상과 정확히 맞닿아 있습니다.
먼 기억과 가까운 기억을 나눠 다뤄라. WorldCrafter는 암시적 3D 기억(멀고 넓은 과거)과 최근 시간 맥락(방금 전)을 함께 씁니다. 에이전트로 치면, 장기 프로젝트 상태(요약·결정 이력)와 최근 대화(직전 몇 턴)를 서로 다른 계층으로 관리하는 것입니다. 둘을 뭉뚱그리면 오래된 결정이 흐려지거나 최근 흐름이 끊깁니다.
일관성·정확도·품질은 함께 설계해야 한다. 장기 일관성만 강제하면 유연성이 죽고, 속도만 높이면 과거를 잊습니다. WorldCrafter가 이 셋을 공동 학습(joint training)과 증류로 함께 잡았듯, 에이전트도 '오래 기억하되, 지시대로 움직이고, 응답 품질을 유지한다'를 따로가 아니라 한 번에 최적화하는 관점이 필요합니다.
한 가지 주의도 함께 둡니다. WorldCrafter는 영상 생성 도메인의 연구이고, 위 시사점은 '구조적 유비'입니다. 초록에 없는 성능을 텍스트 에이전트에 그대로 이식할 수 있다는 뜻은 아닙니다. 다만 '시점이 기억 압축을 지휘한다'는 설계 철학은 도메인을 넘어 곱씹을 가치가 있습니다.
아니요. 명시적인 3D 기하(깊이 기반 대응)를 만들어 이어 붙이는 대신, 카메라 시점을 조건으로 과거 관측을 고정 개수의 토큰으로 압축하는 '암시적 3D 인지 기억'을 학습합니다. 3D를 대놓고 재구성하는 대신, 영상 생성에 필요한 형태로 3D 정보를 간접적으로 다루는 방식입니다.
초록에 따르면 이미지 한 장 또는 텍스트 프롬프트 하나에서 시작해, 스트리밍 방식으로 장면을 탐험할 수 있습니다.
초록은 '분 단위 탐험 동안 화질을 유지'하며 '장기 일관성과 카메라 제어 정확도에서 상당한 향상'을 보였다고 밝힙니다. 다만 구체적인 향상 수치나 지속 시간의 정확한 값은 초록에 제시돼 있지 않아, 이 글에서도 단정하지 않습니다. 자세한 수치는 원문을 확인해야 합니다.
'요청된 시점이 여러 시점의 증거를 어떻게 압축할지 결정하게 한다'는 발상입니다. 제한된 토큰 예산 안에서, 지금 바라보려는 시점에 맞춰 과거를 선별·압축해 노이즈 제거 전에 통합합니다. 또한 기억 모듈을 비디오 생성기와 함께 학습시켜, 생성기가 실제로 쓰기 좋은 기억을 만들도록 맞춘 점이 특징입니다.