결론부터 말하자. 인지과학 실험을 본떠 만든 합성 영상 150만 개로 영상 생성 모델을 추가 학습한 결과물이 PWM-WROP다. 블라인드 사람 평가에서 이 모델은 같은 방식(앞 영상을 보고 뒤를 잇는 '연속 생성') 모델 중 1위, 작동 방식이 서로 다른 모델까지 합친 14개 전체에서는 3위를 기록했다. 그것도 경쟁 시스템보다 해상도가 훨씬 낮은 체급에서. 다만 이 성과가 실제 촬영한 현실 영상의 물리 이해로까지 이어지는지는 아직 확인되지 않았다. 아래는 이 결과가 왜 흥미로운지, 그리고 무엇을 조심해 읽어야 하는지에 대한 이야기다.
물체 영속성이란? 까꿍 놀이를 생각하면 쉽다. 손으로 얼굴을 가려도 아기는 엄마 얼굴이 사라진 게 아님을 안다. 이처럼 가려져 보이지 않아도 대상이 계속 존재한다고 믿는 것, 그것이 '물체 영속성'이다.
생후 3.5개월 된 아기도 공이 가림막 뒤로 사라졌다가 반대편에서 다시 나타나야 한다는 걸 안다. 발달심리학은 이 믿음을 물체 영속성(object permanence)이라 부른다. 여기에 더해, 딱딱한 것끼리는 서로 통과하지 못한다는 직관을 물체 고체성(object solidity)이라 한다. 논문은 이 둘이 인간 인지의 가장 밑바닥 층, 이른바 '핵심 지식(core knowledge)'에 속한다고 본다(Baillargeon 1986 등 발달심리학 연구 인용).
왜 이 밑바닥이 중요할까. 이 직관이 없으면 그 위에 쌓이는 물리 추론이 전부 무너지기 때문이다. 물체가 서로 통과해 버리는 모델은 충돌 장면도, 받침대가 빠지면 물건이 떨어지는 장면도 제대로 그려내지 못한다.
그런데 요즘 영상 생성 모델들은 바로 이 지점에서 반복해 미끄러진다. 화면은 그럴듯한데 공은 벽을 통과하고, 가림막 뒤로 들어간 물체는 엉뚱한 곳에서 튀어나온다. 이들이 '월드 모델(world model, 세계가 어떻게 돌아가는지를 흉내 내 다음 장면을 예측하는 모델)' 후보로 주목받는 터라 더 뼈아픈 약점이다.
문제는 이 약점을 제대로 캐묻는 시험 자체가 없었다는 것이다. 기존 연구들은 대개 2D 환경에 머물렀고, 평가도 이미지 한 장을 주고 뒤를 상상하게 하는 '이미지 → 영상' 방식에 그쳤다. 앞부분 영상을 주고 뒷부분을 잇게 하는 '영상 → 영상(이하 V2V)' 방식, 즉 물리적 사건이 앞뒤로 이어지는 맥락은 묻지 못했다. 물체의 정체성·물리 제약·인과적 결과를 콕 집어 재는 전용 벤치마크도 없었다.
함정이 하나 더 있다. 채점을 누가 하느냐다. 요즘은 멀티모달 언어 모델(VLM, 이미지·영상까지 함께 이해하는 언어 모델)에게 채점을 맡기는 게 유행인데, 논문은 그 VLM들부터가 핵심 지식이 결핍돼 있어(Li et al. 2025 등 인용) 물체 영속성을 판정할 자격이 없다고 못 박는다. 시험 범위도 모르는 감독관에게 채점을 맡기는 셈이다.
핵심 아이디어는 한 쌍으로 움직인다. 인지과학 실험을 본뜬 데이터셋 WROP, 그리고 그 데이터로 물리 직관을 학습한 모델 PWM-WROP다.
먼저 WROP(World Reasoning with Object Permanence). 발상은 단순하다. 아기에게 하던 인지 실험을 3D로 재현해 대량 생산하자는 것. 저자들은 3D 소프트웨어 Blender로 150개의 '생성기(generator)'를 손으로 설계했다. 생성기 하나가 인지 과제 하나를 담당하되, 조명·카메라 각도·속도·색·재질 같은 곁가지 변수를 매번 무작위로 흔든다. 설계의 핵심은 변수를 두 종류로 쪼갠 데 있다.
이렇게 뽑아, 생성기당 10,000개가 넘는 샘플을 모아 전체 150만(1.5M) 샘플 규모의 학습 코퍼스와 300문항짜리 고정 시험(생성기당 2문항)을 공개했다.
과제는 여섯 갈래다. 물체 영속성 쪽 세 갈래(움직이는 가림, 정적 장면 가림, 용기 속 은닉)와 고체성 쪽 세 갈래(가로막힘, 받침 제거, 충돌). 생성기 구성은 영속성 90개, 고체성 60개다.
예를 들어 한 과제(OP-1, Baillargeonian_Occlusion)는 이렇다. 공이 가림막 뒤로 굴러 들어간다. 모델은 이 공이 사라지지 않고, 가려진 동안에도 같은 속도로 계속 굴러간다고 '믿고' 있어야만, 반대편에서 제시간에 다시 나타나게 그릴 수 있다. 이 믿음의 유무를 보는 것이다. 마지막으로 보인 프레임의 움직임을 기계적으로 연장하는 것과는 다르다.
평가 방식도 V2V에 맞췄다. 정답 클립을 핵심 물리 사건(공이 벽에 닿는 순간 등)을 기준으로 반으로 자른다. 앞 절반은 모델에 맥락으로 주고, 사건과 그 결과가 담긴 뒤 절반을 모델이 생성하게 한다. 채점은 VLM이 아니라 사람이, 손으로 만든 물리적으로 정확한 정답 애니메이션과 비교해서 한다.
이제 두 번째 축, PWM-WROP다. 저자들은 이 WROP 데이터로 16B(160억 파라미터) 규모의 연속 생성 모델을 후속 학습(post-train, 이미 학습된 모델을 특정 데이터로 추가 훈련)했다.
앞서 본 OP-1 같은 과제에서 물체 영속성이 없는 모델은 금방 티가 난다. 가림막 뒤에서 공이 슬그머니 사라지거나, 색이 바뀌어 나오거나, 엉뚱한 위치에서 튀어나온다. 영속성을 갖춘 모델은 보이지 않는 구간에도 공이 그대로 굴러간다고 전제하고, 물리적으로 맞는 위치·타이밍에 공을 다시 등장시킨다. 눈에는 똑같이 매끄러운 영상이지만, 안 보이는 순간을 어떻게 메우느냐에서 갈린다. 사람은 바로 이 차이를 집어낸다.
평가는 블라인드 테스트였다. 평가자들이 어느 모델이 만든 것인지 모른 채 두 영상을 나란히 놓고 더 나은 쪽을 골랐고, 그 선택들을 종합해 모델마다 Elo 점수를 매겼다. Elo는 체스 랭킹처럼 상대를 이길수록 올라가는 상대 점수다. 비교 대상 14개 모델은 작동 방식이 저마다 다르다. 연속 생성(입력 영상의 끝에서 이어 생성하는 방식) 4개, 참조→영상(입력 영상과 프롬프트를 받아 사건을 자체 시간축으로 다시 생성하는 방식) 3개, 편집(기존 영상을 고쳐 내는 방식) 7개다. 즉 연속 생성과 참조→영상의 차이는 입력이 이미지냐 영상이냐가 아니라, 입력 영상의 끝에서 그대로 이어 생성하느냐에 있다. PWM-WROP는 이 중 연속 생성에 속한다.
결과는 이렇다. PWM-WROP는 같은 연속 생성 방식 중 1위, 14개 전체로는 3위였다. PWM-WROP 위에 있는 건 상용 참조→영상 시스템 둘뿐인데, 이 둘은 서로 '통계적으로 동점'이라 1·2위를 가를 수 없다. 서론이 밝힌 수치로는 PWM-WROP가 Elo 1679.5, 그 위 두 시스템이 1723.6이다.
순위를 읽을 때 반드시 함께 봐야 할 조건이 있다. PWM-WROP가 내놓는 해상도는 320×192로, 720p·1080p로 뽑는 경쟁 시스템보다 훨씬 낮다. 화질에서 크게 불리한 체급이었다는 뜻이다. 그런데 해상도를 같은 조건으로 맞춰 정답 영상과 대조하는 자동 지표에서는 PWM-WROP가 LPIPS와 MS-SSIM 모두 최고였다. 둘 다 생성한 영상이 정답 영상과 픽셀 단위로 얼마나 닮았는지를 기계가 자동으로 재는 지표다. 다만 이 지표들은 정답 영상과 얼마나 닮았는지만 볼 뿐, 모델이 정말로 '물리'를 이해했는지를 직접 알려주지는 않는다는 점은 감안해야 한다. 앞의 Elo 순위와도 서로 다른 잣대이므로, 하나의 성과로 뭉뚱그리지 않는 편이 정직하다.
결국 이 모델은 '똑똑한 데이터'가 저해상도라는 하드웨어의 불리함을 어떻게 뛰어넘을 수 있는지 보여주는 사례다. 물리적으로 정답에 가까운 쪽이, 단순히 보기 좋은 고화질 영상보다 더 '그럴듯하다'고 느끼는 사람의 인식을 파고든 것이다.
물론 명확한 한계도 있다.
첫째, 어디까지나 전체 3위다. 낮은 해상도라는 핸디캡을 감안하더라도, 프런티어 상용 시스템을 넘어섰다고 말할 수는 없다. 저자들도 그렇게 주장하지 않는다.
둘째, WROP는 Blender로 만든 합성(synthetic) 3D 환경이다. 곁가지 변수를 무작위로 흔들어 다양성은 확보했지만, 시뮬레이션에서 배운 물리 직관이 실제 촬영 영상에서도 통할지는 다른 문제다. 현실 영상에는 빛 반사, 그림자, 예측 못 할 노이즈가 뒤섞여 있다. 시뮬레이션에서 익힌 능력이 현실로 얼마나 옮겨 가느냐 — 이것이 AI 연구의 고질적인 'Sim-to-Real(시뮬레이션→현실)' 격차 문제이고, 이 논문의 결과만으로는 그 간극이 메워졌다고 단정할 수 없다.
셋째, 평가의 중심이 사람이다. VLM 채점의 결함을 피하려는 합리적 선택이지만, 사람 손을 타는 만큼 확장성과 재현성에서 비용이 든다.
이 논문의 교훈은 영상 생성에만 머물지 않는다. 온틀이 매일 씨름하는 AI 에이전트 문제에도 거의 그대로 들어맞는다. 온틀은 AI가 사람의 반복 업무를 대신 굴리는 프로젝트 매니저형 서비스라, 도메인은 영상과 전혀 다르지만 방법론은 공유된다.
가장 크게 와닿는 건 '채점관 자격' 문제다. 논문의 핵심 주장은 "판정할 능력이 없는 채점관에게 채점을 맡기지 말라"는 것이다. 우리가 에이전트의 출력을 LLM으로 자동 평가할 때도 똑같이 적용된다. 먼저 물어야 할 것은 "이 채점 모델이 지금 재려는 능력을 실제로 갖췄는가"다. 자격을 확인하지 않은 채 심판 수만 늘리면, 같은 맹점을 가진 심판이 여럿 있을 뿐이다. 심판을 둘 두는 것은 이와는 다른 층의 안전장치다. 마치 한 가지 이슈를 서로 다른 논조의 신문 기사 두 개로 교차 확인하는 것과 같다. 두 기사가 모두 틀릴 수도 있지만, 한쪽에만 있는 편향이나 사실 오류를 걸러낼 확률은 높아진다. AI 평가에서도 같은 원리가 작동한다. 단, 이건 '채점 능력을 갖췄는가'를 보증해 주지는 않는다. 두 장치를 혼동하지 않는 게 핵심이다.
둘째, 구조/표면 파라미터 분리는 평가 설계의 교과서다. 에이전트가 문제를 진짜 푼 건지, 아니면 프롬프트의 특정 표현에 맞춰 정답을 외운 건지 가르려면, 본질(구조)은 그대로 둔 채 겉(표현·순서·용어)만 바꾼 변형 문제를 던져 봐야 한다. 예컨대 검색해서 답하는 기능을 고친 뒤, 기존 동작이 안 깨졌는지 다시 확인하는 회귀 테스트를 짤 때 바로 이 원리를 쓸 수 있다.
셋째, '바닥이 무너지면 그 위가 다 무너진다'는 관점이다. 에이전트에서도 가장 아래층의 사실 조회·상태 파악이 틀리면, 그 위의 계획과 실행이 통째로 오염된다. 상위 단계 성능을 매만지기 전에 바닥부터 검증하라는 얘기다.
네. 저자들은 150만 샘플 학습 코퍼스, 300문항 시험, 모델 답안·점수·PWM-WROP 가중치, 그리고 AWS Trainium2 칩 위에서 도는 순수 PyTorch 학습 스택 PWM까지 공개한다고 밝혔습니다. 자세한 링크는 아래 arXiv·HuggingFace 페이지에서 확인하세요.