걸어가서 선반 위의 컵을 집는 장면을 떠올려 보자. 그 몇 초 사이 눈앞 영상은 두 가지가 동시에 바뀐다. 걸음을 옮기니 시야 전체가 흐르고, 손을 뻗으니 화면 한구석의 손 모양이 달라진다. 사람에겐 하나로 묶여 일어나는 동작이지만, 기계에게는 성질이 전혀 다른 두 변화다.
Ropedia W0은 이 두 변화를 한꺼번에 예측하는 모델이다. 시작 장면 한 장과 "이렇게 움직여라"는 지시를 주면, 그 움직임 뒤에 눈앞이 어떻게 보일지를 1인칭 영상으로 그려낸다. 이렇게 행동의 결과를 영상으로 미리 그려 보이는 모델을 세계모델(world model)이라 부른다.
지금까지 세계모델은 대개 얌전한 쪽만 다뤘다. 테이블 앞에 고정된 팔이 그리퍼로 물건을 집는 상황이다. 걸으면서 시점이 흔들리고, 손가락 여러 개로 물건을 섬세하게 다루는, 이동과 조작이 겹친 긴 상황은 비켜갔다. Ropedia W0이 내세우는 차별점은 여기다. 사람 손, 2지 그리퍼, 다관절 휴머노이드 손까지 — 생김새가 다른 여러 몸을 하나의 모델로 함께 다루면서 걷기와 조작을 같이 예측한 것은 저자들이 아는 한 처음이라고 한다.
Ropedia W0은 "다음에 뭘 할지"를 스스로 정하는 모델이 아니다. 입력은 세 가지다. 지금 보이는 장면 한 장, 하려는 일을 적은 짧은 글, 그리고 "이렇게 움직인다"는 움직임 정보. 출력은 그 움직임을 실제로 했을 때 보일 미래 영상이다.
로봇을 직접 모는 모델은 따로 있다. 보통 정책(policy)이라 부르며, 지금 장면을 보고 "그러면 팔을 이쪽으로" 하고 다음 행동을 정한다. 세계모델은 그 앞 단계다. 정책이 "어떻게 움직일까"를 고르면, 세계모델은 "그러면 무엇이 보일까"를 예측한다. 컵을 집으려는 정책이 "손을 조금 더 앞으로 뻗는다"는 후보 동작을 떠올리면, 세계모델은 그 동작 뒤 눈앞 그림을 미리 그려 보여주는 식이다.
어려운 대목은 "이렇게 움직인다"를 모델에 어떻게 적어 넣느냐다.
사람 손은 관절이 많고, 2지 그리퍼는 벌렸다 오므리는 게 전부고, 다관절 로봇 손은 또 다른 구조다. 몸이 다르면 같은 "쥐기"라도 숫자로 적는 방식이 전부 달라진다. 그래서 몸이 하나 늘 때마다, 그 몸의 움직임을 모델에 넣어주는 통로를 새로 깔아야 했다.
기존 연구들도 이 벽을 넘었지만, 공통적으로 새 몸이 등장할 때마다 그 몸 전용의 장치나 추가 적응이 필요했다. Ropedia W0은 이 몸별 통로 자체를 없애려 한다. 어떤 몸이든 같은 그림 한 장으로 바꿔 적는 것이다.
움직임을 두 갈래로 나눠 그림으로 적는다.
걷기가 만드는 시점 변화는 카메라 포즈(카메라의 위치와 방향을 묶어 부르는 말)로 적는다. 카메라가 어디로 얼마나 가서 어느 쪽을 보는지가 다음 순간 화면이 어떻게 밀려날지를 알려준다. 이때 이동량을 미터 단위로 적는 게 요령이다. 사람이 걷든 로봇이 움직이든 "1미터는 1미터"라는 거리 감각이 흔들리지 않는다.
손 조작은 이미지 위에 겹쳐 그린 골격(스켈레톤)으로 적는다. 손 관절이 지금 어디에 있는지를 그림으로 얹어주는 것이다. 사람 손 관절이든 로봇 손가락이든 그리퍼의 벌림이든, 각 몸 고유의 연결 구조를 그대로 살려 그린다.
결과적으로 생김새가 다른 모든 몸이 '카메라 포즈 한 장 + 골격 그림 한 장'이라는 똑같은 서식으로 번역된다. 입력 형식이 같으니 비싼 로봇 영상과 값싼 사람 영상을 한 모델에 함께 먹일 수 있다.
같은 서식이 실제로 무엇을 재사용하게 해주는지는 학습 과정에서 드러난다. 모델은 먼저 사람 1인칭 영상만으로 "카메라와 손이 이렇게 움직이면 장면이 이렇게 바뀐다"는 공통 관계를 익힌다(사전학습). 그다음 사람 데이터와 로봇 데이터를 같은 확률로 섞어, 로봇 고유의 외형과 관절 구조를 입힌다(중간학습). 두 단계가 같은 카메라-골격 서식을 쓰기 때문에, 사람 영상에서 익힌 '움직임 → 결과'의 감각을 로봇 예측에 그대로 재사용할 수 있다. 몸마다 다른 기하 구조는 그림 안에 그대로 남는다.
세 가지 기존 접근과 Ropedia W0을 '움직임을 표현하는 방식'과 '새 몸에 적용할 때 필요한 작업'으로 나란히 놓으면 이렇다.
| 접근 | 움직임을 표현하는 방식 | 새 몸에 적용할 때 필요한 작업 |
|---|---|---|
| DreamDojo | 잠재 행동 — 영상에서 추정한 추상적 움직임 신호(latent action) | 로봇에 쓸 때 그 신호를 로봇 전용 행동으로 교체 |
| Cosmos3 | 공통 몸통은 공유하되 움직임은 도메인별로 투영 | 도메인마다 전용 투영 경로를 새로 깖 |
| AnyWorld | 원본 사람 골격을 조건으로 재사용 | 대상 로봇의 운동학(관절 연결 구조)은 쓰지 않음 |
| Ropedia W0 | 카메라 포즈 + 이미지 위 골격 그림 | 같은 서식에 새 몸의 기하만 그려 넣음 |
※ 검증 범위: AnyWorld는 이동과 조작이 겹친 상황에서는 검증되지 않았다.
저자들은 다섯 개 벤치마크 전반에서 최고 성능(SOTA, state-of-the-art)이라고 밝히며, 벤치마크별 정량 결과를 표 3~5에 공개한다. 예컨대 DreamDojo의 1% 학습 조건 In-lab PSNR(값이 클수록 예측 영상이 원본에 가깝다)은 W0 A14B 모델이 23.028dB로, DreamDojo 14B의 18.983dB를 앞선다. 아래는 보고된 성과의 방향을 함께 전한다.
사람 영상을 늘렸을 때 로봇 예측도 함께 개선됐다는 것이 핵심 결과다. 사람 사전학습 영상을 늘리면 사람 영상 예측만 좋아지는 게 아니라, 로봇으로의 전이 성능까지 올라갔다(사람 데이터 규모에 따른 전이 성능은 그림 6~8에 제시된다). 값싸고 흔한 사람 1인칭 영상이 비싸고 귀한 로봇 데이터의 예측을 끌어올린다는 것, 이게 논문의 핵심 주장이다.
활용 가능성도 세 갈래로 보였다. (1) 정책을 영상으로 미리 채점해 보는 정책 평가(policy evaluation), (2) 여러 행동의 결과를 그려보고 고르는 모델 기반 계획(model-based planning), (3) 세계-행동 모델링(world-action modeling)이다. 특히 마지막에서는 행동 전용 부품을 새로 붙이는 대신, 영상 예측으로 학습해둔 백본(모델의 공통 몸통)을 그대로 행동 학습의 출발점으로 썼다. 영상을 그리며 쌓은 표현이 행동을 배우는 바탕으로도 쓸 만하다는 관점이다.
생성 속도는 실용 쪽으로 넘어왔다. 큰 모델을 작고 빠른 모델로 옮기는 증류(distillation)를 거쳐, 학생 모델이 초당 21.3프레임으로 분 단위 상호작용을 돌린다. 오프라인에서 한 번 돌려보는 예측기가 아니라, 사람이 중간에 끼어드는 대화형 시뮬레이터나 VR 실시간 상호작용까지 감당하는 속도다.
이 연구의 숨은 무게중심은 모델이 아니라 데이터에 있다. 재료는 많다. 사람 쪽 공개·자체 촬영분과 로봇 쪽 공개 데이터를 합쳐 사람 1만 시간, 로봇 3천 시간을 모았다(데이터셋 이름 Xp-Data). 문제는 이 재료들의 규격이 제각각이라는 점이다. 공개된 사람 1인칭 영상은 많지만 미터 단위 카메라 궤적이 없고, 손 포즈가 지저분하고, 형식이 다 다르다. 많지만 그대로는 못 쓴다.
가장 애를 먹인 건 손 골격을 이미지에 정확히 얹는 일이다. 로봇은 관절 각도로 손끝 위치를 계산하는 순기구학(forward kinematics)으로 골격을 뽑을 수 있다. 그런데 공개 로봇 영상에서는 이 계산 결과가 실제 손이나 그리퍼와 자주 어긋나고, 카메라 보정값이 없는 경우도 많다. 그래서 사람이 직접 이미지 위에 키포인트(관절 같은 주요 지점)를 찍고 틀어진 투영을 손으로 바로잡았다. 순기구학은 초벌 추정치일 뿐, 학습에 실제로 쓰는 골격은 수작업으로 맞춘 것이다.
저자들이 새로 만든 평가용 데이터(Xp-Teleop)에는 실패한 그립과 그걸 복구하는 과정을 일부러 남겨뒀다. 세계모델이 성공 장면만 흉내 내는지, 아니면 어긋난 결과까지 그려낼 수 있는지 함께 보려는 것이다. 성공 장면만 담은 데이터로는 "잘못됐을 때 화면이 어떻게 되는지"를 충분히 학습하거나 평가하기 어렵다.
데이터 파이프라인과 모델의 장비·도구·수치 명세는 길어서 접어둔다.
Xp-Data는 사람 쪽 공개 데이터셋 14개 + 자체 수집 6,000시간(어안 카메라 4대 리그) + 로봇 쪽 공개 데이터셋 13개로 구성된다. 원시 영상은 수집 → 영상 필터링(비전-언어 모델이 심한 블러·노출 문제·과도한 흔들림, 그리고 카메라도 손도 안 움직이는 구간을 제거) → 멀티모달 주석 → 품질 검사 → 학습 클립 구성의 다섯 단계를 거치고, 통과한 하위작업은 81프레임·16fps 클립으로 표준화된다.
주석 도구: 카메라 궤적은 보정값이 있으면 그대로, 없으면 자체 SLAM·DA3로 미터 단위 추정하고 Grounding DINO로 손·사람 등 동적 영역을 찾아 궤적 일관성 검사에서 제외한다. 손 정렬은 사람의 경우 WiLoR로 복원한 MANO 키포인트 투영, 로봇은 URDF 기반 순기구학 + 수작업 교정. 행동 설명은 작업·하위작업·원자행동 3층위 캡션이다. 오류 검증은 캡션의 경우 Gemini 생성 → Qwen 검증 → 사람 해소, 손은 MediaPipe와 미세조정 MMPose의 2D 검출 교차 비교, 로봇 키포인트는 자체 미세조정 검출기 둘로 교차 확인한다.
Xp-Teleop: Unitree G1 휴머노이드에 6자유도 다관절 손 두 개를 달고 기성 하드웨어와 Unitree 오픈소스 프레임워크로 조립한 전신 원격조작 리그로 수집한 새 벤치마크. 27개 긴 테이크(1인칭 30fps, 약 1시간), 조작자 두 명이 걷기와 손 조작을 동시 수행. RGB-D·카메라 포즈·투영 골격·로봇 상태·언어·촉각·머리 IMU가 동기화돼 있고, 사람이 주석한 543개 원자 구간(30개 스킬 클래스, 테이크당 중앙값 18구간)으로 쪼개진다. Table 1 기준 테이크당 평균 118.6초, 보행 범위 1.48m, 평균 3.6개 하위작업. 평가는 다섯 개 교차 몸체 벤치마크(DreamDojo, Ψ_0, ω-HOME, Xp-Teleop, AgiBot)와 별도로 떼어둔 사람 1인칭 영상에서 제로샷·소수 샘플·전체 후속학습으로 진행되며, 비교 대상은 DreamDojo·Cosmos3·OSCAR·RynnWorld-Teleop 등이고 부록에는 WorldArena에서 BWM과의 비교도 있다.
모델·학습: 본체는 잠재 영상 확산 트랜스포머(latent video diffusion transformer). 카메라 조건은 픽셀마다 6채널 플뤼커 광선맵(Plücker-ray map)으로 인코딩하고, 픽셀에 정렬되는 조건(카메라·골격)은 영상 토큰에 더해 융합, 넓은 화각 골격처럼 픽셀 대응이 없는 정보는 크로스 어텐션으로 주입한다. 카메라·골격 투영 입력은 0으로 초기화해 학습 초기에 사전학습된 백본을 흐트러뜨리지 않게 했다. 규모는 밀집 5B 모델과 Wan2.2-I2V-A14B 기반 MoE(총 약 27B, 활성 14B). 학습은 사람 1인칭 영상 사전학습 → 사람·로봇을 같은 확률로 섞는 중간학습(mid-training) 두 단계로 진행되며, 두 단계 모두 같은 카메라-골격 서식을 쓴다. 이후 Causal Forcing으로 블록 단위 4스텝 생성기를 만들고 LongLive로 장시간 스트리밍에 맞춰 늘린 뒤 증류한다.
통일 표현이 사람에서 로봇으로 실제로 옮겨주는 것은 '손과 관절이 공간에서 어디로 가는가'다. 반면 골격 입력에는 접촉이 얼마나 단단한지, 쥐는 힘이 얼마나 센지가 직접 표시되지 않는다. 형식이 같아졌다고 사람 팔과 로봇 팔의 운동 능력 차이까지 사라지는 것도 아니다. 힘과 접촉이 빠진 표현이 '어떤 작업까지' 계획과 제어를 받쳐줄 수 있는지는, 앞서 본 정책 평가·모델 기반 계획의 구체 수치로 더 따져야 할 질문으로 남는다.
통일 표현의 대가는 사람 손으로 치러졌다. 공개 로봇 영상의 순기구학 투영이 자주 어긋나 상당한 수작업 키포인트 주석과 교정이 필요했다는 건, 뒤집으면 이 서식이 사람이 받쳐주지 않으면 흔들린다는 뜻이다. 규격 맞추는 비용이 모델 구조가 아니라 사람에게 돌아갔다. 새 로봇을 하나 더 붙일 때 이 비용이 얼마나 드는지는 지금 자료만으로는 가늠하기 어렵다.
물리적 정확성은 따로 봐야 한다. 영상을 그럴듯하게 그리는 것과 그 영상이 물리적으로 옳은 것은 다른 문제다. 관련 연구에서도 시각 품질, 물리 일관성, 실제 제어에서의 쓸모를 각각 재는 벤치마크가 따로 있다. 보기에 그럴듯한 예측이 로봇 제어에서 얼마나 믿을 만한지는 정책 평가·계획 쪽 구체 수치로 더 따져야 한다.
평가셋 규모도 과신은 금물이다. Xp-Teleop의 27개 테이크, 약 1시간은 학습용이 아니라 평가용으로 떼어둔 집합이다. 긴 호흡의 이동-조작을 재는 좋은 척도인 건 분명하지만, 평가셋 하나의 다양성이 미래 일반화를 전부 대변하진 않는다.
여기부터는 검증된 결론이 아니라 가설이다.
온틀은 프로젝트마다 쓰는 도구도, 스택도, 팀도 다른 현장에 들어가, 흩어진 작업 정보를 한데 모아 지금 판이 어떻게 돌아가는지 읽어준다. 이 논문에서 빌릴 발상은 하나다. 현장마다 날것 데이터는 제각각으로 두되, 추론에 쓰는 상위 표현은 하나로 통일한다. 핵심은 '연동이 쉬워진다'가 아니라, 서로 다른 도구의 정보를 같은 기준으로 해석하게 된다는 데 있다.
한 장면으로 좁혀 보자. 고객이 납기를 앞당겨 달라고 한다. 이 요청이 일정에 어떤 파장을 일으키는지 읽으려면 이슈 트래커의 티켓, 저장소의 커밋, 캘린더의 마일스톤을 한눈에 봐야 한다. 그런데 셋은 생김새가 다 다르다. Ropedia가 몸이 달라도 '카메라 포즈 + 골격'으로 번역했듯, 이 셋을 '작업 상태(대기·진행·완료)'와 '작업 사이의 의존관계'라는 공통 서식으로 옮겨둔다.
다만 상태와 의존관계만으로는 '언제 밀리는지'까지 나오지 않는다. 각 작업에 남은 작업량, 담당자의 여력 같은 정보를 같은 서식에 함께 맞춰 넣어야 "이 작업을 당기면 뒤따르는 작업들이 어디서 밀리는가"를 한 판 위에서 그려볼 수 있다. 그리고 이 '맞춰 넣는' 일이 공짜가 아니다. 논문에서도 통일 표현은 저절로 맞춰지지 않아 사람이 골격을 손으로 교정해야 했다. 이슈 하나를 어떤 작업 상태로 볼지, 커밋을 어느 작업에 묶을지 — 그 정렬 품질이 곧 예측 품질의 천장이 된다.
마지막으로, Ropedia가 그대로 보증해주지 않는 질문이 하나 남는다. 사람 영상이 로봇 전이를 끌어올렸듯, 쌓인 과거 프로젝트 이력이 데이터가 빈약한 신규 프로젝트의 지연 예측을 실제로 받쳐주는가다. 이건 온틀 데이터로 따로 확인해야 한다 — 과거 프로젝트로 학습한 예측이, 이력 없는 신규 프로젝트에서 사람이 손으로 어림한 것보다 나은지를 재보면 된다.
생김새와 관절 구조가 서로 다른 몸들 — 사람 손, 2지 그리퍼, 다관절 휴머노이드 손 — 을 넘나들며 하나의 모델로 다룬다는 뜻입니다. 이 연구가 평가에 쓴 벤치마크 다섯 개가 모두 '교차 몸체' 벤치마크인 것도, 몸을 바꿔가며 같은 모델이 예측할 수 있는지를 재기 위해서입니다.