OuroWorld는 멈춰 있는 3D 장면 하나를 받아, 저절로 살아 움직이면서도 처음과 끝이 매끄럽게 이어져 끝없이 되풀이되는 장면으로 바꿔 준다. 핵심은 두 가지다. 사람이 "여기를 움직여라"고 영역을 칠해 주지 않아도 무엇이 어떻게 움직일지 모델이 스스로 정하고, 한 바퀴가 돌아 다시 시작할 때 이음매가 보이지 않는다. 저자들은 서로 다른 39개 장면에서 비교한 기법들을 모두 앞섰고, 사람이 직접 고른 선호도 평가에서 70.8%~99.0%의 지지를 받았다고 보고한다.
요즘 AI는 사진처럼 사실적인 3D 공간을 만들어 그 안을 자유롭게 돌아다니게 해 준다. 그런데 그렇게 만든 세계는 시간 속에 얼어붙어 있다. 나뭇잎이 흔들리지 않고, 안개가 흐르지 않고, 불빛이 깜빡이지 않는다. 잘 만든 축소 모형처럼 보기엔 완벽하지만 숨을 쉬지 않는다.
이 논문이 다루는 입력이 바로 그런 멈춰 있는 3D 장면, 전문 용어로는 3D 가우시안 스플래팅(3DGS)이다. 공간을 색과 투명도를 가진 수많은 작은 점(가우시안)으로 채워 3D를 표현하는 방식이라고만 알아 두면 된다. OuroWorld가 하려는 일은 이 멈춘 장면에 숨을 불어넣되, 한 바퀴 돌고 다시 시작해도 이음매가 보이지 않게 끝없이 반복시키는 것이다. 2D 사진에서 일부만 살아 움직이게 만드는 '시네마그래프'를 3D로 끌어올린 셈이다.
말은 쉽지만 3D로 가면 길이 험했다. 기존 시도는 두 갈래에서 막혔다. 하나는 화면을 몇 겹의 평면으로 쌓아 흉내 내는 방식인데, 시점을 조금만 돌려도 가짜 입체(유사 3D)라는 게 들통나 깨졌다. 다른 하나는 진짜 3D를 쓰되 '공간의 각 지점에 이쪽으로 흐르라는 속도 화살표를 심는' 방식(오일러식 흐름)이라, 연기나 물결 같은 유체 움직임만 담을 수 있었다. 물체가 이동하거나 조명이 바뀌는 움직임은 담지 못했다. 게다가 이런 방법들은 하나같이 "어디를 움직일지" 사람이 영역을 칠한 마스크를 요구했다.
그렇다면 요즘 영상 생성 AI에 맡기면 어떨까? 다양하고 사실적인 움직임을 잘 만들어 내니 말이다. 그런데 그대로 3D로 옮기려 하면 두 벽에 부딪힌다. 첫째, 생성된 영상은 "대충" 반복될 뿐 정확히 주기적이지 않아, 끝과 처음을 이으면 눈에 띄는 이음매가 생긴다. 둘째, 한 시점의 영상만으로는 입체 전체를 붙들 수 없는데, 그렇다고 여러 시점에서 영상을 뽑으면 서로 아귀가 맞지 않는다. 어긋나는 영상들을 억지로 맞추면 장면이 뭉개지고 움직임이 널뛴다. OuroWorld는 이 두 벽을 정면으로 겨냥한다.
전체 과정은 세 단계다. 먼저 (1) 입력 장면에서 기준이 될 한 시점을 골라, 무엇이 자연스럽게 움직일지 판단한 뒤 처음과 끝 장면이 같은 10초짜리 '되풀이 영상'을 만든다. 다음 (2) 이 한 편의 영상을 주변 여러 시점에서 본 영상들로 늘린다. 마지막 (3) 이 영상들을 교재 삼아, 되풀이가 보장되고 시점 간 어긋남에도 흔들리지 않는 '움직이는 3D 장면'을 학습한다. (각 단계의 구체적인 모델 구성은 글 끝 '더 깊이'에 모았다.)
사람이 마스크를 그릴 필요가 없다는 점이 먼저 눈에 띈다. 1단계에서 "어디를 어떻게 움직일지"를 모델이 스스로 판단하기 때문이다. 하지만 이 글에서 더 들여다볼 대목은 3단계를 떠받치는 두 가지 생각이다.
움직임을 푸리에 급수로 표현한다. 푸리에 급수란 사인·코사인 파동 여러 개를 겹쳐 매끄럽게 되풀이되는 움직임을 그려내는 수학 도구다. 각 점의 시간 변화를 이런 파동들의 합으로 적어 두면, 한 주기가 지나는 순간 반드시 원래 자리로 돌아온다. 즉 루프(되풀이)가 학습이 잘 됐든 안 됐든 "구조적으로" 보장된다. 이음매를 나중에 억지로 꿰매는 게 아니라, 애초에 끊길 수 없는 형태로 움직임을 적어 둔 것이다.
두 번째 벽, 시점마다 어긋나는 영상 문제는 'Grounded Drift Field'가 맡는다. 이름은 어렵지만 역할은 단순하다. 각 시점이 공통 장면에서 벗어난 '오차'만 따로 담아 두는 보정 칸이다.
비유를 하나만 들자. 같은 사건을 여러 목격자가 조금씩 다르게 증언할 때, 증언을 그냥 평균 내 버리면 또렷한 사실이 흐릿한 진술로 뭉개진다. 생성된 여러 시점의 영상이 바로 이 엇갈리는 목격자들이다. OuroWorld는 평균 내지 않는다. 대신 "이 어긋남은 공통 장면 탓이 아니라 이 시점만의 오차"라고 떼어 내 보정 칸(드리프트)에 담는다. 그리고 최종 결과를 뽑는 단계에서는 이 보정 칸을 통째로 버리고, 공통 장면과 그 움직임만 남긴다. 그러면 시점끼리 어긋나던 잡음이 걸러진, 깨끗한 움직임만 남는다.
여기 함정이 하나 있다. 움직임도 시간에 따라 변하고 보정 칸도 시간에 따라 변하다 보니, 보정 칸이 진짜 움직임까지 슬그머니 떠안아 버릴 수 있다. 그러면 마지막에 보정 칸을 버리는 순간 장면이 밋밋해진다. 저자들의 해법이 'grounding(그라운딩, 못 박기)'이다. 가장 믿을 만한 기준 시점에서는 보정 칸을 0으로 묶어 둔다. 기준 시점의 움직임은 영상 생성 AI가 직접 만들어 낸 가장 믿을 수 있는 신호이기 때문이다. 이렇게 앵커(기준점)를 하나 못 박아 두면, 공통 장면이 기준 시점의 움직임을 스스로 책임지고 재현해야 하고, 보정 칸은 나머지 시점이 기준에서 벗어난 오차만 흡수하게 된다. 잡음을 빨아들이는 장치가 진짜 신호까지 삼키지 못하도록 막는 안전장치다.
평가는 정답 영상이 따로 없는 조건에서 자동 지표로 이뤄졌다. 여기서 저자들이 특히 공들인 지점이 있다. 지표 하나만 보면 속기 쉽기 때문이다.
대표적인 게 이음매 지표다. 'Seam SSIM'은 한 바퀴의 마지막 장면과 다음 바퀴 첫 장면이 얼마나 닮았는지를 본다. 값이 높을수록 이음매가 매끄럽다. 그런데 함정이 있다. 아무것도 안 움직이는 정적 영상은 이 값이 당연히 1에 가깝다. "가만히 있기"만 해도 만점을 딸 수 있는 것이다. 그래서 'MALF'를 함께 본다. 실제로 움직임이 한 주기 뒤에 제자리로 돌아오는지를 재되, 아예 안 움직이면 0이 되는 지표다. 두 숫자를 같이 봐야 "진짜로 움직이면서도 매끄럽게 되풀이되는가"를 가릴 수 있다.
이 설계가 결과에서 그대로 드러난다. 카메라를 고정한 조건에서 OuroWorld의 Seam SSIM은 0.9965였다. LoopGaussian(0.9998)과 3D Cinemagraphy(0.9995)가 이 숫자만 보면 더 높다. 하지만 같은 표에서 이들의 MALF는 각각 0.0025, 0.0134로 바닥이다. 거의 안 움직이니 이음매가 저절로 이어진 것뿐이다. OuroWorld는 높은 Seam SSIM을 지키면서 MALF(0.0809)가 가장 높았다. "실제로 움직이면서 동시에 매끄럽게 되풀이된다"를 두 숫자가 함께 떠받친다. 같은 조건에서 생생함(움직임·조명·외형 변화의 크기)은 0.0423, 자연스러움 지표(KVD)는 108.23으로, 생생함·자연스러움·되풀이·미적 품질에서 1위였다.
수치를 읽을 때 조심할 지점이 하나 더 있다. 카메라를 궤도처럼 돌리며 찍은 조건에서는 OuroWorld의 생생함이 0.5117로 껑충 뛴다. 하지만 이는 장면이 더 생생해진 게 아니다. 카메라 자체가 움직이면 화면의 겉보기 변화가 커져서, 모든 기법의 생생함이 0.47~0.51대로 몰린다(고정 조건에서 거의 정지했던 LoopGaussian조차 0.0024에서 크게 뛴다). 즉 궤도 조건의 생생함 숫자는 기법을 잘 가르지 못한다. 장면 고유의 움직임 차이는 고정 카메라 쪽에서 드러난다. 조건이 다른 두 숫자를 하나로 합쳐 "0.5까지 생생하다"고 읽으면 오해다.
사람이 직접 고른 평가도 붙었다. 30명이 두 영상 중 하나를 고르는 방식으로, 네 기준(생생함·자연스러움·이음매·시각 품질)에서 OuroWorld와 각 비교 기법을 짝지어 비교했다. OuroWorld는 모든 상대·모든 기준에서 일관되게 선호됐고, 선호율은 70.8%~99.0%였다. 가장 큰 격차는 생생함에서 났다. 사람 눈에도 움직임의 다양함이 가장 또렷하게 와닿았다는 뜻이고, 이는 앞의 자동 지표가 헛돌지 않았다는 방증이기도 하다.
부품을 하나씩 빼 보는 실험도 각 장치가 제 몫을 한다는 걸 보여준다. 보정 칸(드리프트 필드)을 빼면 장면이 뭉개지고 앞뒤 일관성이 떨어진다. 못 박기(그라운딩)를 빼면 보정 칸이 움직임을 떠안아 장면이 가장 밋밋해진다. 입력 장면과의 어긋남을 맞춰 주는 장치를 빼면 궤도 카메라에서 특히 심하게 뭉개진다. 세 장치를 모두 갖춘 모델이 궤도 카메라의 모든 지표에서 가장 좋았다.
분명한 한계도 있다. 첫째, 되풀이를 푸리에 급수로 보장한다는 건 뒤집으면 주기적인 움직임만 담을 수 있다는 뜻이다. 꽃이 한 번 피어 그대로 머무는 변화처럼 한 번만 일어나고 마는 사건은 이 방식에 자연스럽게 담기지 않는다. 끝없는 되풀이라는 목표를 택한 대가다. 둘째, 과정 전체가 생성 AI의 품질에 올라타 있다. 무엇이 움직일지도, 어떻게 움직일지도 생성 모델이 정한다. 부자연스러운 결과를 걸러내는 안전장치를 뒀지만, 애초에 장면을 잘못 읽으면 그 오판이 그대로 흘러간다. 마스크를 없앤 자율성은 "스스로 틀릴 자유"도 함께 떠안는다. 셋째, 보정 칸과 못 박기는 둘 중 하나만 빠져도 선명함이나 움직임 중 하나를 잃는 균형 구조라, 기준 시점을 무엇으로 고르느냐가 결과를 좌우할 여지가 있다.
덧붙이면, 이 분석은 공개된 초록과 본문 발췌에 근거한다(결론·한계 절은 발췌 범위에서 잘려 있었다). 위에 든 세 가지는 방법 설명에서 읽어 낸 관찰이므로, 저자들이 직접 꼽은 한계의 전체 목록은 원문을 확인하길 권한다.
이 논문에서 온틀의 AI PM 업무로 그대로 옮겨올 만한 발상은 'Grounded Drift Field' 하나다. 구체적인 장면으로 풀어 보자.
온틀의 AI PM이 고객 프로젝트의 주간 현황을 한 장으로 정리한다고 하자. 들어오는 재료는 제각각이다. 고객과 주고받은 대화, 연동된 외부 도구에서 끌어온 수치, 내부 실행 에이전트가 남긴 작업 기록. 이 셋은 종종 어긋난다. 고객은 "이번 주에 A를 요청했다"고 기억하는데 도구 데이터에는 B가 찍혀 있고, 에이전트 로그는 또 다른 순서를 말한다.
가장 흔한 실패는 이 셋을 적당히 평균 내 "대체로 이렇습니다"로 뭉개는 것이다. 영상에서 어긋나는 시점을 평균 내면 장면이 흐릿해지듯, 어긋나는 기록을 평균 내면 또렷해야 할 현황이 두루뭉술한 요약으로 주저앉는다. 다만 두 문제가 똑같지는 않다. 영상의 어긋남은 측정 오차에 가깝고, 업무 기록의 충돌은 누군가의 기억이나 입력이 실제로 다르다는 신호일 수 있다. 그래도 "엇갈리는 입력을 평균으로 뭉개지 말라"는 처방만큼은 그대로 통한다.
그럼 온틀은 무엇을 기준으로 삼고, 충돌을 어떻게 처리해야 하나. OuroWorld의 구조를 옮기면 세 단계다.
여기에 못 박기(그라운딩)의 교훈이 포개진다. 모든 출처를 똑같이 "틀렸을 수 있다"며 깎아내리면, 오차를 걸러내는 장치가 진짜 신호까지 삼켜 보고서가 밋밋해진다. 그래서 앵커가 필요하다. 어느 하나는 "이건 기준이고 흔들지 않는다"고 선언해야, 나머지의 편차를 안전하게 흡수하면서도 핵심 사실을 또렷하게 지킨다.
이 방향은 온틀이 이미 걸어온 길과도 맞닿는다. 온틀의 PM 재설계는 AI PM의 '말과 행동이 어긋나는' 문제를, AI의 판단에만 맡기지 않고 서버가 정해진 규칙대로 실행하게 바꾸는 쪽이었다. 엇갈리는 여러 입력을 뭉개지 않고, 신뢰 순위가 매겨진 앵커 위에 편차를 얹었다 거두는 집계 규칙으로 바꾸는 것. 이것이 이 논문이 현황 합성이라는 구체적 장면에 주는 가장 실질적인 시사점이다.
1단계. 입력 3DGS에서 기준 시점을 렌더링해 비전-언어 모델(VLM, 여기서는 GPT-5.5)에 보여준다. VLM이 무엇이 어떻게 움직여야 자연스러운지 추론해 프롬프트를 쓰고, 영상 생성 모델(Seedance 2.0)이 첫 프레임과 마지막 프레임이 같은 10초짜리 기준 영상을 만든다. 결과가 부자연스러우면 VLM이 걸러낸다.
2단계. 3D 파운데이션 모델(VGGT 계열)이 기준 영상을 프레임별 동적 포인트 클라우드로 들어 올린다. 이때 입력 3DGS의 정적 멀티뷰 렌더는 깊이 추정을 돕는 보조 자료로 쓰인다. 포인트 클라우드를 주변 시점에서 다시 렌더링하면 가려졌던 부분에 구멍(disoccluded holes)이 뚫리는데, 영상 인페인팅 모델(TrajectoryCrafter)이 기준 영상을 참고해 구멍을 메워 멀티뷰 영상을 완성한다.
3단계. 장면을 표준(canonical) 3DGS + 주기적 변형 필드(Periodic Deformation Field, 푸리에 급수) + Grounded Drift Field로 나눈다. 드리프트 필드는 변형 필드와 같은 트라이플레인+MLP 구조(세 평면에 특징을 저장하고 작은 신경망으로 값을 뽑아내는 구조)로, 시점별·시간별 위치·회전·스케일·색 보정값을 예측한다. 추론 때는 드리프트를 버리고 표준 장면+변형만 렌더링한다. 여기에 Scene-View Consistent Optimization을 더한다. Free4D를 따라, 확실히 일관된 이미지(기준 영상과 입력 3DGS의 멀티뷰 렌더)는 L 손실(출력과 정답의 차이를 직접 줄이는 손실)로 직접 지도하고, 나머지 생성 프레임은 렌더에 노이즈를 섞었다가 이미지 확산 모델(Stable Diffusion v1.5)로 되살려 정제한 뒤 LPIPS 손실(사람 눈에 비슷해 보이는 정도로 재는 손실)로 맞춘다.
각 기법의 출력을 같은 조건으로 렌더링한다. 20초·30 FPS(600 프레임) 영상을 장면마다 두 궤적으로 뽑는다. 하나는 기준 포즈에 고정된 정적 카메라, 다른 하나는 피벗을 중심으로 요(yaw)를 쓸고 지나가며 3D 일관성을 보는 궤도 카메라다. 지표는 네 축이다. 생생함(Vividness Degree, 움직임·조명·외형 변화의 평균), 자연스러움(KVD, 자연 영상 분포와의 거리 — 편향을 피하려 생성에 쓴 Seedance 2.0이 아닌 오픈소스 MiniMax H3로 장면당 20개씩 총 780개 영상을 만들어 기준 분포로 삼음), 루프 이음매 일관성(MALF와 Seam SSIM), 장면 품질(VBench의 미적 품질·전반 일관성). 제거 실험의 선명도는 VoL로 쟀다.
평가 대상은 39개 장면이다. 재구성 9개(Mip-NeRF 360)와 생성 30개(HY-World 2.0·Marble·Lyra 2.0 각 10개)로 나뉜다. 가우시안 밀도·기하 정확도·레이아웃이 크게 달라 섞지 않고 출처별로 구성했다. 비교 대상은 Gaussians-to-Life, 3D Cinemagraphy, 3D-MOM, LoopGaussian이다. 공정성을 위해 모든 비교 대상에도 동일한 GPT-5.5 필터링을 적용했고, 마스크가 필요한 기법에는 SAM 3로 2D 마스크를 만들어 넣어줬다.
이 문제를 풀어 온 흐름은 둘로 갈린다. 한쪽은 오일러식 흐름 기반(3D Cinemagraphy·LoopGaussian·3D-MOM)으로, 속도장을 따라 가우시안이나 레이어를 옮긴다. 유체류에 강하지만 일반 변형·물체 이동·조명 변화를 담지 못하고 마스크를 요구한다. 논문 Table 1은 마스크 불요·진짜 3D·수학적 루프 보장·다양한 움직임·조명 변화라는 다섯 속성으로 이 네 기법을 비교하며, 다섯을 모두 만족하는 것은 OuroWorld뿐이라고 밝힌다(표에 든 네 기법과의 비교이지 세상 모든 기법에 대한 주장은 아니다).
다른 쪽은 영상 확산의 움직임을 빌리는 계열이다. Gaussians-to-Life가 그 예인데 루프를 목표로 삼지 않는다. 4D 생성 연구 중 Free4D는 확산으로 정제한 렌더로 생성 시점을 지도하고, OuroWorld도 이 방식을 따르되 변형을 푸리에 급수로 제한해 움직임을 구조적으로 주기화했다. 또 시점별 외형 임베딩이나 조명 보정으로 광도 차이를 설명하던 선행 연구와 달리, 생성 모델이 만든 불일치를 기준 시점에 못 박힌 시점 조건부 드리프트로 흡수하고 추론 때 버린다. 참고로 앞선 기법 Video-to-World는 이 어긋남을 ICP(두 점 구름을 위치만 맞춰 정렬하는 고전 알고리즘)로 추정해 손실 계산 전에 더해 줬지만, ICP는 기하만 맞출 뿐 스케일·색의 어긋남은 놓치고 정적 장면을 가정해 움직이는 콘텐츠에서 실패한다.
어떤 출처에서 온 것이든 정적 3DGS 장면 하나와 기준이 될 카메라 포즈 하나면 된다. 움직일 영역을 지정하는 마스크는 준비하지 않아도 된다.
루프 주기는 주기적 변형 필드의 파라미터로 들어간다. 평가에서는 기법마다 고유 주기(native period)를 20초가 찰 때까지 반복해 채웠다. 주기를 억지로 통일하지 않은 이유는, 주기를 바꾸면 움직임 속도가 달라져 기법과 무관한 아티팩트가 끼어들기 때문이다.
오일러식 흐름 기법은 속도장을 따라 물질을 옮기므로 연기·물결 같은 유체류만 표현한다. 깜빡이는 빛처럼 자리가 이동하지 않는 조명 변화는 담기 어렵다. OuroWorld는 생생함 지표에서 움직임·외형과 별개로 조명 변화(Illumination Variation)를 따로 측정할 만큼 이를 명시적으로 겨냥한다.