로봇에게 주차를 가르친다고 하자. 그런데 교본 영상이 전부 "깔끔하게 주차된 장면"뿐이다. 이 로봇에게 "이번엔 기둥을 긁어봐"라고 시키면 어떻게 될까. 긁히는 장면이 떠오르질 않는다. 머릿속엔 멀쩡히 주차된 결과만 그려진다. 실패를 한 번도 본 적이 없어서다. 로봇 월드모델이 꼭 이 운전자다. 월드모델은 로봇의 행동을 넣으면 "그다음 장면이 어떻게 변할지"를 영상으로 그려주는 모델인데, 성공한 시연만 잔뜩 보고 자라면 손이 헛나가는 행동을 줘도 성공한 장면을 그려버린다. DreamTrue는 바로 이 "성공만 상상하는" 버릇을 겨눈 연구다.
월드모델은 로봇을 훈련하고 평가하는 가상 환경, 곧 시뮬레이터다. 진짜 로봇을 굴리는 대신 "이 행동을 하면 이렇게 되겠지"를 영상으로 미리 돌려본다. 쓸모가 있으려면 두 가지가 맞아야 한다. 시킨 행동을 그대로 따라가야 하고(행동 추종), 물체와 부딪치고 집는 장면이 물리적으로 그럴듯해야 한다(상호작용 타당성).
문제는 공개된 로봇 데이터로 이 모델을 학습시킬 때 터진다. 걸림돌이 둘이다.
하나, 카메라 보정값이 어긋나 있다. 카메라 보정이란 카메라가 세상을 어느 위치·각도에서 담는지를 적어둔 값이다. 이 계열 모델은 로봇의 3차원 설계도로 로봇 모습을 그려 실제 영상 위에 겹쳐 "지금 팔이 여기 있다"를 알려주는데, 이 겹치기는 보정값이 정확해야 맞아떨어진다. 공개 데이터셋에는 정확한 보정값이 없는 경우가 많아, 그려 넣은 로봇이 영상 속 진짜 로봇과 어긋난다.
둘, 데이터가 거의 다 '성공'이다. 성공한 시연으로 채워져 있고 실패 장면은 드물다. 여기서 기계학습의 본성이 발목을 잡는다. 모델은 수많은 사례를 가장 흔한 패턴 쪽으로 수렴시킨다. 성공이 압도적으로 많으면, 입력이 실패를 가리켜도 출력은 "가장 확률 높은 평균적인 그림", 곧 성공 쪽으로 뭉개진다. 그리퍼(집게손)가 헛집었는데도 물체가 손을 따라 스르르 떠오르는 식이다. 논문은 이 버릇을 "낙관 환각"이라 부른다.
단순한 그림 오류가 아니다. 시뮬레이터가 실패할 행동을 성공으로 판정하면, 어느 제어 방식이 더 나은지 고르는 평가 전체가 부풀려진다. 좋은 선택지를 가려내라고 만든 도구가 거꾸로 판단을 흐린다.
정석 해법은 뻔하다. 보정을 정확히 다시 하고, 실패 장면까지 골고루 담은 데이터를 새로 모으면 된다. 하지만 로봇 데이터를 새로 모으는 건 시간도 비용도 막대하다. 그래서 DreamTrue는 방향을 튼다. 새로 모으는 대신, 있는 데이터를 고쳐 쓰고 없는 실패는 지어내 학습 범위를 넓힌다.
DreamTrue는 이 문제를 세 단계로 푼다. 먼저 데이터의 어긋난 부분부터 바로잡고, 없는 실패 사례를 모델이 직접 상상하게 만든 뒤, 그 상상이 물리적으로 그럴듯한지 채점할 심판을 붙인다.
시작은 어긋난 보정을 바로잡는 일이다. 로봇의 3차원 설계도와 녹화된 관절 값으로 로봇을 그려 실제 영상 위에 겹친 뒤, 둘이 벌어진 만큼을 거꾸로 계산해 보정값을 교정한다. 눈에 띄는 대목은 방법이다. 전용 촬영도, 깊이 센서도 없이 평범한 RGB 영상만으로 해낸다. 기존 방식이 전용 촬영 시퀀스나 정확한 깊이 측정을 요구하던 전제를 치운 것이라, 웬만한 공개 데이터셋에 그대로 걸 수 있다. 이렇게 바로잡은 보정값이 세 개 데이터셋, 15만 3,666개 에피소드, 1,660시간 분량으로 공개됐다.
렌더링된 로봇과 관측된 로봇 사이, 프레임 간 정적 배경 사이, 동기화된 여러 시점 사이에서 픽셀 대응점을 찾는다(대응점 추출은 RoMaV2, 로봇 영역만 매칭하도록 SAM3 마스크 사용). 이 대응점들을 재투영 오차와 광선 공면 제약으로 묶어, 카메라 내부·외부 파라미터와 왜곡, 팔에 장착된 카메라의 상대 오프셋까지 한꺼번에 최적화한다. 기존 markerless 방식은 전용 촬영 시퀀스가, PointWorld 계열은 센서나 FoundationStereo의 정확한 깊이가 필요했다.
다음은 없는 실패를 지어내는 일이다. 반사실이란 실제로는 일어나지 않았지만 "이랬다면?"을 가정한 상황을 말한다. 녹화된 행동에서 손끝이 닿는 마지막 지점을 살짝 틀어, 집는 자리를 일부러 빗나가게 만든다. 출발 장면은 그대로 두고 행동만 바꾸니, 같은 자리에서 다른 선택이 어떤 결과를 낳는지 모델이 탐색하게 된다. 주차로 치면 "일부러 기둥 쪽으로 핸들을 꺾는 궤적"을 지어 보여주는 셈이다.
마지막은 그 상상을 채점할 심판을 세우는 일이다. 비튼 행동에는 짝이 되는 실제 미래 영상이 없다. 비교할 정답이 없다는 뜻이다. 그런데 물리적 타당성은 정답이 없어도 눈에 보인다. 헛집었는데 물체가 떠오르면, 비교 영상 없이도 사람은 그게 틀렸다는 걸 안다. 그래서 로봇·물체·상호작용의 결함을 사람이 일일이 라벨링한 데이터로 '심판' 모델을 길렀다. 이 심판은 "그럴듯해 보이나"가 아니라 "결함이 있나"를 본다. 공개된 어노테이션은 영상 4만 4,900건, 그중 결함 라벨이 3만 400건이다.
이제 이 심판을 조련사로 삼는다. 생성 모델이 헛다리 짚는 상상을 내놓을 때마다 벌점을 매겨 다시 가르치는 것이다(강화학습 후학습 — 이미 학습된 모델을 특정 목표에 맞게 더 훈련하는 단계). 보상은 "결함 확률에 음의 부호를 붙인 값"이라, 결함이 적을수록 높은 점수가 간다. 안전장치도 하나 걸었다. 녹화된 행동에는 진짜 미래 영상이 있으니, 그 정답과 얼마나 닮았는지도 함께 점수에 넣어 화질이 무너지지 않게 붙든다.
반사실은 녹화된 행동의 마지막 엔드이펙터(손끝) 자세에 SE(3) 변환(위치·회전 교란)을 가하고, 고정된 초기 자세에서 이 교란된 끝점까지 보간한 뒤 역기구학(IK)으로 실제 관절 행동 시퀀스로 되돌려 만든다. 후학습은 얼어 있는(frozen) 보상모델로 채점하며, 최적화는 GDPO 방식으로 보상을 그룹 내 정규화해 합치고 DiffusionNFT로 생성기를 갱신한다. 보상모델은 비전-언어 모델(Qwen 계열)을 교차엔트로피로 미세조정해 로봇·물체·상호작용 세 차원의 결함 확률을 예측하게 했다. 구조는 렌더링된 로봇 RGB와 깊이는 비디오 VAE로, 마스크와 카메라 광선(Plücker 맵)은 3D 합성곱 기하 인코더로 인코딩해 합친 뒤 VACE 분기로 비디오 DiT에 주입한다. 그리퍼 열림 정도는 배경 RGB 밝기로 매핑하고, 멀티뷰는 여러 시점의 잠재 영상을 폭 방향으로 이어 붙여 한 번에 예측한다. 학습 목표는 플로우 매칭 속도다.
세 장치의 효과는 숫자 하나가 아니라 숫자들 사이의 관계에서 드러난다.
핵심 지표부터 보자. 비튼 반사실 행동에서 상호작용 결함률이 48.12%에서 6.25%로 떨어졌다. 여기서 48.12%는 외부 경쟁 모델이 아니라 DreamTrue 자신의 초기 버전(Stage I, 후학습 전 상태)이다. 자기 출발점과 견준 수치라는 뜻이다. 물체 결함률도 31.88%에서 3.12%로 줄었다. 그러면서 행동을 얼마나 잘 따라갔는지 재는 지표(nDTW)는 0.8735에서 0.8831로 오히려 조금 올랐다. 보통은 결함을 조이면 행동 추종이 풀리는데, 그 맞교환을 피한 것이다. 완전히 공짜는 아니어서 종합 화질 지표는 아주 살짝 내려갔지만, 내준 몫이 얻은 몫보다 훨씬 작다.
이 변화가 실제로 무슨 뜻인지는 정책 평가 실험에서 가장 선명하다. 네 가지 제어 방식(정책)이 만든 240개 행동을 각 월드모델에 넣어 결과를 예측하게 하고, 사람이 성공·실패를 판정해 실제 시뮬레이션 결과와 맞춰봤다. DreamTrue의 성공률 예측은 실제 값에 거의 붙었다. 반면 기준 모델들은 성공률이 낮은 구간에서 실패한 집기를 성공으로 떠올리며 실제보다 높게 부풀렸다. 주차로 돌아오면, 시뮬레이터가 마침내 기둥 긁히는 장면을 제대로 상상하게 된 것이다. 정책을 고르는 도구로서 그만큼 정직해졌다.
학습 데이터는 네 개 공개 데이터셋(AgiBotWorld-Beta, DROID, RoboMIND 2.0, RoboTwin 2.0)을 합친 다섯 종 로봇 팔의 실제·시뮬레이션 멀티뷰 궤적 2,232시간이다. AgiBot에는 녹화 궤적을 교란한 반사실 테스트 조건 160개(과제 54개)를 따로 구성했다. 비교 대상은 DreamDojo·GE-Sim 2.0·Genie Envisioner·EnerVerse-AC, 그리고 자기 모델의 Stage I만 쓴 버전(w/o RL)과 최종(full)이다.
지표는 넷이다. 행동 추종은 nDTW(정규화 동적 시간 워핑, 예측 궤적이 목표 궤적을 얼마나 따라갔나), 시각 충실도는 PSNR·SSIM·LPIPS(정답 영상과 얼마나 닮았나), 품질 종합은 EWMScore-P, 물리적 타당성은 평가자 세 명의 다수결 결함률(일치도는 Fleiss' 카파)이다.
정책 평가의 보조 수치: 성공률 예측 오차(MAE)가 12.92에서 7.08퍼센트포인트로 줄었고, 집계 편향은 +0.42퍼센트포인트로 거의 0, 순위 상관도 강했다. AgiBot 벤치마크에서 최종 모델은 행동 추종(녹화 0.8772·반사실 0.8831)과 시각 충실도(PSNR 23.06·SSIM 0.936·LPIPS 0.094) 모두 비교 대상 중 최고였고, AgiBot World Challenge 2026 월드모델 트랙에서도 종합(EWMScore 0.829)·행동 추종(0.9651)·시각 품질(0.6246) 1위였다. 다만 종합 화질(EWMScore-P)은 72.84에서 72.51로 소폭 내렸고, 장면 일관성(0.8974)은 상위 팀(Loop 0.9024·PAIWorld 0.9041)보다 낮았다.
다른 데이터셋으로 넓혀도 경향은 유지된다. DROID에서 Ctrl-World 대비 PSNR 22.00→22.95, LPIPS 0.162→0.073. 보정의 효과만 떼어 봐도, 학습·추론에 보정값을 쓸 때 AgiBot nDTW 0.8159→0.8711(동기 위치 오차 7.73px→4.60px), DROID nDTW 0.7718→0.8919(오차 11.78px→8.06px).
하나, 미학습 로봇·장면으로의 전이는 아직 그림 수준의 증거뿐이다. 학습에서 뺀 로봇과 새 실제 장면에서 "그럴듯한 예측을 낸다"는 정성적 결과는 보여주지만, 수치 비교가 없다. 일반화를 강하게 주장하기엔 정량 근거가 얇다.
둘, 보상 후학습에는 트레이드오프가 따라붙는다. 결함률이라는 한 목표를 강하게 밀면 다른 품질이 눌린다(앞서 본 화질의 소폭 하락이 그 값이다). 심판을 속이는 쪽으로 생성기가 수렴하는 보상 해킹 위험도 보상 기반 학습엔 늘 있다.
셋, 심판이 사람 라벨에 묶여 있다. 영상 4만여 건의 결함 라벨은 비용과 주관의 산물이다. 평가자 세 명과 일치도 관리로 다듬었다지만, 결함의 정의와 경계는 도메인·평가자에 따라 흔들릴 수 있다.
넷, 반사실의 형태가 한 갈래다. 지금은 손끝 자세를 비트는 방식 하나다. 효과는 분명하지만, 접촉과 동역학을 더 다양하게 비트는 실패까지 포괄하는지는 열린 질문이다.
다섯, 결국 영상 예측기다. 시뮬레이터로서 정직해진 성과는 분명하나, 실제 로봇 제어로의 간극(sim-to-real)까지 이 성과만으로 메워지지는 않는다.
DreamTrue의 새로움은 한 가지 기법이 아니라 세 수를 하나로 꿴 데 있다. 있는 데이터를 바로잡고, 없는 데이터를 지어내 넓히고, 정답 없이 상호작용을 채점한다. 행동 조건부 월드모델도, 보상 기반 후학습도 이미 있었지만, 이 셋을 한 파이프라인으로 엮은 설계가 다른 연구와 갈리는 지점이다.
행동 조건부 월드모델 계열에서 Ctrl-World는 멀티뷰 장기 예측을, Genie Envisioner와 GE-Sim 2.0은 정책 학습·폐루프 평가용 시뮬레이션을 다뤘다. 상호작용 범위를 넓히려는 흐름에선 DreamDojo가 사람 영상에서, PlayWorld가 로봇의 자율 상호작용에서, FACT가 실패 궤적에서 지식을 끌어왔다. 기하·보정 쪽에선 BridgeV2W가 로봇 상태를 픽셀 정렬 마스크로, EnerVerse-AC가 카메라 광선 인코딩을 더했고, 고전 hand-eye·markerless 방식은 전용 촬영이, PointWorld는 정확한 깊이가 필요했다. 보상 기반 후학습 쪽에선 WorldArena·EWMBench가 평가를, WorldCompass가 카메라 궤적 추종과 프레임 화질 보상으로 후학습을 했다. 이들 보상이 주로 움직임과 일반적 화질을 본 데 비해, DreamTrue는 보상의 초점을 물리적 물체 상호작용으로 옮겼다.
온틀의 AI PM에게 가장 뼈아픈 장면은 '완료 보고' 길목이다. 고객 요청이 작업으로 쪼개지고, 워커가 "이 작업을 완료로 넘겨도 되는가"를 판단한다. 여기서 되풀이되는 사고가 가짜 완료다. 외부 시스템을 붙였는데 실제로는 한 줄도 안 들어왔거나, 만들어 낸 결과물이 요청과 어긋났는데, 에이전트가 "완료"라고 적어 올린다.
로봇 월드모델과 겹치는 지점은 딱 하나다. 둘 다 실패한 일을 성공으로 판정한다. 로봇의 낙관 환각이 성공 데이터에 치우친 학습에서 나왔다고 해서, 온틀의 가짜 완료도 똑같은 원인이라 단정할 생각은 없다. 한쪽은 영상 생성 모델의 통계적 쏠림이고, 다른 쪽은 산출물을 확인하지 않고 넘기는 절차의 구멍이다. 속사정은 다르다. 다만 "실패를 성공이라 우긴다"는 증상이 같고, DreamTrue가 그 증상을 다룬 방식은 온틀의 완료 게이트를 다시 설계하는 데 그대로 쓸모가 있다.
고객이 자사 회계 시스템을 연동해 매출 데이터를 가져와 달라고 했다고 하자. PM은 이 요청을 "인증 → 수집 → 적재" 작업으로 쪼갠다. DreamTrue의 처방을 여기 얹으면 완료 게이트가 이렇게 바뀐다.
먼저 PM을 성공 사례로만 길들이지 않는다. 성공한 연동만 보여주는 대신 실패 시나리오를 일부러 먹여 둔다. 인증 키가 틀린 상황, 연결은 됐지만 0행만 들어온 상황, 파일은 생겼지만 속이 빈 상황. DreamTrue가 손끝 궤적을 비틀어 실패를 상상하게 만든 것과 같은 수법으로, 과거 완료 작업의 조건을 비틀어 "실패에 가까운 상황"을 합성해 점검 세트로 쓴다.
그다음 일하는 PM과 완료를 판정하는 심판을 떼어 놓는다. 심판은 세 가지를 결함으로 본다. 요청 오해(의도와 다른 작업), 산출물 불일치(요청과 결과의 괴리), 완료 허위보고(DB나 산출물로 확인되지 않는 완료). 과거에 실제로 터진 가짜 완료 사례에 사람이 라벨을 달아 이 심판을 기른다. 로봇 심판이 "그럴듯한가"가 아니라 "결함이 있나"를 봤듯, 이 심판도 "완료처럼 보이는가"가 아니라 "완료의 증거가 있나"를 본다.
마지막이 온틀에서 가장 실무적인 대목이다. DreamTrue가 정답 영상이 있는 곳에선 심판에만 맡기지 않고 실제 화질과 대조한 것처럼, 온틀도 확인 가능한 지점은 실제로 확인한다. 이 회계 연동이라면 심판의 점수를 묻기 전에 방금 적재된 매출 테이블의 행 수를 직접 센다. 0행이면 거기서 끝이다. 외부 API 응답 코드가 인증 실패를 가리키면 역시 끝이다. 심판이 아무리 그럴듯하다 해도 "완료"가 아니라 "결정 기다리는 중"으로 돌아간다. 정답이 없는 영역, 이를테면 "이 산출물이 고객 의도에 맞는가" 같은 판단에서만 심판 점수에 기댄다.
이렇게 바뀐 완료 게이트는 성공을 미리 단정하지 않는다. 과거 실패로 배운 심판이 산출물을 뜯어보고, 셀 수 있는 것은 실제로 세어 대조하고, 증거가 없으면 완료를 막는다. 정책 평가에서 기준 모델이 실제보다 높게 부풀리던 그 낙관을, 제품의 완료 판정에서 걷어내는 일이다.
nDTW는 궤적을 잘 따라갔는지, PSNR은 화면이 정답 영상과 닮았는지를 잽니다. 둘 다 "헛집었는데 물체가 떠오르나" 같은 물리적 타당성은 못 잡습니다. 궤적도 맞고 화면도 그럴듯한데 물리만 틀린 예측이 얼마든지 가능하기 때문입니다. 그 사각지대를 메우려고 사람 판정 결함률을 별도 축으로 세웠고, 공교롭게도 그 축에서 가장 큰 개선이 나왔습니다.
우연의 일치입니다. 요약에 쓴 48.12%는 DreamTrue 자신의 초기 버전(Stage I)의 상호작용 결함률입니다. 비교 대상인 EnerVerse-AC의 상호작용 결함률도 48.12%로 적혀 있지만, 둘은 서로 다른 대상을 가리키는 별개의 수치입니다.
논문은 세 개 데이터셋의 보정값(15만 3,666개 에피소드, 1,660시간 이상)과 영상 4만 4,900건(결함 어노테이션 3만 400건)을 공개했다고 밝힙니다. 로봇 영상 생성·평가를 다루는 연구라면 재사용 가치가 큽니다. 구체적인 접근 방법과 라이선스는 아래 arXiv 원문과 프로젝트 페이지에서 확인하세요.