생성 모델에게 길잡이로 무엇을 쥐여줄지 고를 때, 우리는 보통 더 선명하고 더 정확해 보이는 입력을 고른다. LEGO라는 연구는 그 상식을 한 번 뒤집는다. 또렷하지만 위치가 어긋난 그림보다, 흐릿해도 제자리에 있는 그림이 더 쓸모 있다는 것이다. 왜 그런지, 그리고 그 원칙이 영상 바깥까지 어디서 통하는지가 이 글의 전부다.
먼저 LEGO가 푸는 과제부터. 같은 방에서 누군가 요리를 한다. 벽에 걸린 카메라가 이 사람을 바깥에서 찍은 영상(3인칭)이 한 편 있다. 우리가 만들고 싶은 건, 그 사람 눈에 보였을 영상(1인칭)이다. 목표 1인칭 카메라가 어떤 경로로 움직였는지만 주어진다.
문제는 두 시점이 거의 겹치지 않는다는 데 있다. 3인칭 카메라에는 사람의 등과 손이 보인다. 1인칭 시점에는 도마와 재료, 맞은편 벽이 들어온다. 만들어야 할 화면의 상당 부분이 원본에 아예 찍히지 않았다. 복사해 올 데가 없으니 없는 걸 지어내야 한다. 그래서 이 과제는 '새로운 시점에서 본 화면 만들기' 중에서도 특히 까다로운 축에 든다.
지금까지 가장 좋은 성적을 내던 방식(EgoX, 2026년 발표)은 정공법을 택했다. 카메라 한 대의 영상만으로 각 지점까지의 거리(깊이)를 추정하고, 그 거리를 이용해 3인칭 영상을 3차원 공간의 점들로 되살린다. 그 점들을 1인칭 경로에서 다시 그려 생성 모델에 길잡이로 넣는다. 픽셀마다 추정된 거리에 따라 정확히 한 자리로 옮겨가니, 질감은 또렷하게 남는다.
함정도 여기 있다. 거리 추정이 틀리면, 그 픽셀의 내용물이 엉뚱한 자리로 또렷하게 옮겨진다. 선명하게, 그리고 어디가 틀렸는지 아무 신호도 남기지 않은 채 잘못 놓인다. 틀린 자리에 확신을 갖고 찍어버리는 이런 오차를 통계에서는 편향이라 부른다. 되돌릴 실마리조차 남기지 않는, 비싼 종류의 실수다.
여기서 감을 잡을 장면 하나. 디테일은 기막히게 채워 넣지만 구도를 바로잡는 데는 서툰 화가가 있다. 이 화가에게 밑그림 두 장 중 하나를 건넨다. 하나는 모든 게 또렷하지만 사물 위치가 조금씩 어긋난 사진, 다른 하나는 윤곽은 뭉개졌어도 모든 게 제자리에 있는 목탄 스케치. 어느 쪽이 더 나을까.
답은 스케치다. 화가는 뭉개진 윤곽을 디테일로 채우는 건 잘하지만, 어긋난 위치를 스스로 바로잡지는 못한다. 그에게 필요한 건 '어디에 무엇이 있는지'다. '어떻게 보일지'는 알아서 채운다.
생성 모델도 이 화가와 같다는 게 LEGO의 출발점이다. 그렇다면 길잡이를 고르는 기준이 바뀐다. 정렬(무엇이 어디 있는가)이 먼저고, 선명함(얼마나 또렷한가)은 그다음이다. 앞서 본 점군 방식이 비싼 실수를 하는 이유도 여기서 다시 보인다. 그 방식은 선명함을 지키려다 정렬을 내준 셈이다.
원칙이 섰으니 구현을 보자. LEGO는 'Lifting-free', 즉 점군으로 들어올리는 복원 단계를 통째로 걷어낸다. 그 자리를 뷰 합성기 하나가 대신한다. 입력 화면과 '목표 시점에서 어떻게 보여야 하는지'를 받아 새 화면을 그려내도록 학습된 신경망이다.
여기서 핵심은 3차원 정보를 어떻게 넘기느냐다. LEGO는 거리나 점군 대신, 1인칭 화면의 각 픽셀이 '어느 방향을 바라봐야 하는지'를 적은 일종의 시야각 지도를 준다. 이 지도에는 카메라가 어디에 있고 어느 쪽을 향하는지가 픽셀 단위로 담긴다. 모든 방향을 3인칭 카메라를 기준으로 적기 때문에, 두 카메라 사이의 실제 거리까지 지도 안에 자연스럽게 들어온다. 학습에 쓰는 정답은 실제 1인칭 영상 한 편뿐이다. 거리 정답도, 두 시점의 대응점 정답도 주지 않는다. 그런데도 모델은 '이 화면을 그려내라'는 목표만 보고 두 시점의 대응 관계를 안에서 스스로 익힌다.
이 합성기가 그리는 그림은 왜 흐릿할까. 확신이 없는 지점에서 '어디서 가져올지' 후보가 여러 곳에 걸치고, 모델이 그 후보들을 평균 내기 때문이다. 질감은 뭉개지지만 내용물은 제자리 근처에 남는다. 점군 방식의 실수가 '내용이 엉뚱한 데 놓임'이라면, 합성기의 실수는 '흐림'이다. 그리고 흐림은 생성 모델이 노이즈를 걷어내며 복원하도록 이미 훈련받은, 바로 그 종류의 손상이다.
합성기는 덤으로 신호를 하나 더 준다. 후보 위치가 한 점에 얼마나 몰려 있는지, 그 집중도가 곧 지점별 신뢰도다. 몰려 있으면 믿을 만하고, 넓게 퍼져 있으면 모델도 어디서 가져올지 확신이 없다는 뜻이다. LEGO는 이 신뢰도를 두 군데에 쓴다. 첫째, 신뢰도가 낮은 영역은 길잡이에서 중립 회색으로 가린다. 점군 방식은 근거가 없는 곳에 구멍을 남기지만, 평균을 내는 방식은 증거 없는 곳까지 전부 채워버려 스스로 '모르겠다'고 말하지 못한다. 신뢰도가 그 빠진 목소리를 대신 낸다. 둘째, 같은 신뢰도를 생성 과정에서 다시 꺼내, 화면 배치가 정해지는 초기 단계에 모델을 믿을 만한 쪽으로 끌어당긴다. 추가 학습이 전혀 필요 없는 이 장치가 ARC(Adaptive Rendering Consistency)다.
1인칭 카메라에 맞추는 작업은 가볍게 끝난다. 공개된 합성기는 서로 가까운 평범한 카메라 사이를 메우도록 학습됐지만, LEGO의 목표는 광각으로 크게 휘어 보이는 어안 헤드셋 카메라다. 카메라 정보가 전부 시야각 지도로 들어오니, 모델 구조를 바꿀 필요 없이 어안의 휘어짐을 픽셀마다 역산해 목표 방향을 구하고 가중치만 다시 맞추면 된다. 이 미세조정은 NVIDIA H200 GPU 4장으로 1만 스텝, 약 3.5시간이면 끝난다. 이후 가중치는 고정이다.
주장을 믿으려면 실험 설계를 봐야 한다. 학습과 평가는 모두 Ego-Exo4D 데이터셋에서 EgoX의 절차를 그대로 따른다. 테스트는 학습에 등장한 장면(seen)과 등장하지 않은 장면(unseen)으로 갈린다. 이 구분이 중요한 건, 모델이 본 장면을 외운 것인지 아니면 시점 변환 자체를 익힌 것인지를 가르기 때문이다.
지표는 성격이 다른 것들이 섞여 있어, 표를 보기 전에 한 줄로 정리해 둔다.
비교는 두 가지 장치로 공정하게 맞췄다. 구성 요소를 하나씩 빼보며 기여도를 재는 실험에서는 뼈대·학습 설정·랜덤 시드·카메라 경로를 전부 똑같이 두고, 길잡이 입력과 생성을 이끄는 방식만 바꿨다. 또 EgoX 성적을 두 벌 실었다. 하나는 원 논문이 보고한 수치(EgoX), 다른 하나는 공개된 EgoX 모델을 저자들의 채점 코드로 다시 돌린 수치(EgoX†)다. 같은 모델도 채점 방식이 다르면 숫자가 달라진다는 걸 숨기지 않은 셈이다.
전체 비교부터.
| 분할 | 방법 | PSNR↑ | SSIM↑ | LPIPS↓ | CLIP-I↑ | FVD↓ |
|---|---|---|---|---|---|---|
| seen | LEGO | 20.28 | 0.689 | 0.310 | 0.925 | 155.56 |
| seen | EgoX | 16.05 | 0.556 | 0.498 | 0.896 | 184.47 |
| seen | EgoX† | 15.57 | 0.556 | 0.466 | 0.903 | 197.95 |
| unseen | LEGO | 15.91 | 0.505 | 0.504 | 0.897 | 404.77 |
| unseen | EgoX | 14.38 | 0.457 | 0.552 | 0.877 | 440.64 |
| unseen | EgoX† | 13.53 | 0.437 | 0.542 | 0.886 | 455.06 |
LEGO가 모든 이미지 지표와 FVD에서 앞선다. 저자들은 PSNR과 LPIPS에서 격차가 가장 크다고 적는다. 여기서 눈여겨볼 건 LPIPS 쪽이다. 이 지표가 앞섰다는 건 픽셀 단위 수치뿐 아니라 사람 눈에 느껴지는 지각적 품질에서도 정답에 더 가까워졌다는 쪽으로 읽을 수 있다. 다만 깜빡임이나 움직임의 매끄러움을 재는 지표는 모든 방법이 거의 포화라 변별력이 없었으니, 이 승부는 '매끄럽게 뽑아서'가 아니라 '맞는 화면을 그려서' 났다고 보는 편이 맞겠다.
앞 단락에서 정렬이 먼저라는 건 원칙으로 말했다. 이번 절에서 그 원칙이 실험으로 어떻게 확인되는지 보자. 구성 요소를 하나씩 더해본 실험이 그 증거에 가장 가깝다. 길잡이 없이 생성하면 PSNR이 12.30에 그친다. 점군 렌더를 길잡이로 넣으면 15.59, 미세조정한 합성기 렌더를 넣으면 18.24까지 오른다. 결정적인 대조는 '미세조정하지 않은' 합성기 렌더다. 이건 15.71로 점군 렌더(15.59)와 사실상 같다. 합성기의 이득이 트랜스포머라는 구조 덕이 아니라, 1인칭 어안 카메라에 맞춘 미세조정에서 나온다는 뜻으로 읽힌다.
가설을 가장 곧장 겨눈 건 길잡이 자체의 품질을 재는 실험이다. 여기서는 생성 결과가 아니라 '길잡이 그림'을 정답과 직접 비교한다. 선명함은 정답 대비 또렷함의 비율로 재는데, 합성기 렌더는 0.28로 둘 중 더 흐리다(원본이 1). 점군 렌더는 0.97로 거의 원본급이다. 그런데 정렬, 즉 같은 자리의 내용이 얼마나 맞는지에서는 순서가 뒤집힌다. 더 흐린 합성기 렌더가 둘 중 정렬이 더 좋고, 거의 원본급으로 또렷한 점군 렌더는 정렬이 형편없다. 결과도 정렬을 따라갔다. 더 흐린 쪽이 모델을 더 잘 이끌었다. 게다가 길잡이의 흐림은 출력에 남지도 않았다. 두 렌더에서 나온 생성물이 결국 같은 선명함에 도달했다. 속도까지 합성기가 유리하다. 한 클립에 4.7초로, 깊이 추정과 점군 렌더링의 69.2초보다 훨씬 싸다.
좋은 기법도 좋은 길잡이 위에서만 힘을 쓴다는 점은 생성을 이끄는 방식 비교에서 드러난다. ARC를 켜면 재학습 없이 전 지표가 좋아진다. 반면 EgoX가 쓰던 깊이 기반 가이드를 얹으면 FVD가 194.98로 오히려 나빠진다. ARC를 점군 렌더에 붙이면 아무 가이드 없는 것보다도 못하다(PSNR 13.96, FVD 735.50). ARC는 자신이 붙잡은 렌더를 강화하는 장치라, 정렬된 렌더와 믿을 만한 신뢰도가 둘 다 있어야만 제값을 한다.
일반화는 EgoHumans와 Nymeria 데이터셋에서 확인됐다. Ego-Exo4D로 학습한 가중치를 손대지 않고 적용했는데도 LEGO가 EgoX†를 양쪽에서 전 지표로 앞섰다. 저자들은 과적합 의심에 대해, 전혀 다른 장면과 사람인데도 신뢰도 게이트가 유지하는 렌더 비율이 unseen Ego-Exo4D와 비슷한 약 15% 수준이라는 점을 든다. 미세조정이 특정 학습 환경이 아니라 '어안 1인칭 카메라와 큰 시점 변화'라는 공유된 성질에 적응했다는 쪽으로 해석할 근거다.
저자들은 부록에서 한계를 따로 다루지만, 공개된 발췌만으로도 구조적인 긴장은 짚을 수 있다.
맞춰두는 비용이 든다. 공개 합성기를 어안 1인칭 카메라에 맞추는 데 H200 4장으로 약 3.5시간이 한 번 든다. 다만 이건 한 번의 준비 비용이다. 논문은 이렇게 맞춘 가중치를 새로운 환경의 EgoHumans·Nymeria에 재학습 없이 그대로 적용했다. 전혀 다른 광학계에도 다시 맞춰야 하는지, 그리고 그 비용이 얼마인지는 측정되지 않았다.
신뢰도 게이트가 유지하는 렌더가 약 15%라는 숫자는, 나머지 영역이 아무 길잡이 없이 순수하게 생성된다는 뜻이 아니다. 신뢰도가 낮은 자리에서 가려지는 건 합성기 렌더라는 한 종류의 입력일 뿐, 생성기는 그 자리에서도 원본 3인칭 토큰과 텍스트 조건을 함께 받는다. ARC 역시 마스킹 전 렌더를 신뢰도에 따라 연속적으로 반영하는 장치라, 믿을 만한 자리와 아닌 자리를 딱 잘라 켜고 끄지 않는다. 그러니 유지율을 곧장 '환각이 일어날 수 있는 영역의 비율'로 읽을 근거는 없다. 다만 겹침이 거의 없는 과제의 본질상 모델이 스스로 채워 넣어야 할 몫이 크다는 점, 그리고 '모른다고 표시하는 것'과 '맞게 채우는 것'이 다르다는 긴장은 그대로 남는다.
전이의 범위도 열려 있다. 미세조정은 어안 1인칭 카메라에 맞춰져 있다. 저자들은 적응이 카메라 모델과 시점 변화라는 공유 요소를 겨냥하므로 데이터셋을 넘어 전이된다고 논증하지만, 화각이 좁은 평범한 1인칭 카메라 같은 전혀 다른 광학계로의 전이는 확인되지 않았다.
마지막으로, 이 모든 논리는 "모델이 흐림을 디테일로 되살린다"는 전제 위에 선다. 그 전제는 길잡이가 올바로 정렬돼 있을 때만 성립한다. 정렬 자체가 깨지는 극단적 시점에서는 ARC가 잘못된 렌더를 되레 강화할 위험이 남는다. ARC를 점군 렌더에 붙였을 때 성적이 더 나빠진 결과가 그 민감함을 거꾸로 보여준다.
지금까지는 카메라와 픽셀 이야기였다. 그런데 '정렬이 먼저'라는 원칙은 공간의 문제에만 묶인 걸까. 불완전한 맥락을 길잡이로 받아 나머지를 지어내야 하는 일이라면, 또렷한 단일 정답을 넣을지 위치만 맞는 밑그림을 넣을지, 그리고 확신 없는 자리를 어떻게 비워둘지가 똑같이 문제가 된다. 온틀이 만드는 AI 비서가 바로 그런 일을 한다.
구체적인 장면 하나를 끝까지 따라가 보자. 온틀의 AI PM(사람 대신 업무를 분해하고 일정을 잡아주는 AI 담당자)에게 Slack으로 지시가 들어온다. "이번 카드뉴스 지난번 톤으로 4장, 다음 주 중에." 사람끼리라면 통하지만, 기계가 실행 가능한 작업 목록과 일정으로 바꾸기엔 빈칸이 많은 말이다. 이 자리에서 보통 RAG(과거 기록을 검색해 지금 맥락에 붙이는 기법)가 비슷한 지난 작업을 찾아, 글을 생성하는 AI(LLM)에 길잡이로 넘긴다.
흔한 방식은 이 길잡이를 '정밀하게' 채우는 것이다. 가장 비슷한 과거 지시 하나를 골라 그 일정과 담당자, 산출물을 그대로 복사해 넣는다. 이건 점군 렌더가 빠진 함정과 닮았다. 그 과거 사례가 지금 상황과 미묘하게 어긋나 있으면, 틀린 담당자와 틀린 마감이 확신을 가지고 초안에 박힌다. 어디가 틀렸는지 아무 신호도 없이.
LEGO식으로 뒤집으면 이렇게 된다. 검색 결과를 선명한 단일 정답으로 넣는 대신, 여러 과거 사례에 걸쳐 평균 낸 '구조적 밑그림'으로 넣는다. 구체적 날짜와 이름은 뭉개지더라도, '카드뉴스는 기획에서 이미지 생성, 편집, 배포 순이고 보통 두세 단계로 쪼개진다'는 뼈대는 제자리에 남는다. 그리고 검색 신뢰도가 낮은 자리, 가령 참고할 과거 사례가 빈약한 신규 작업은 신뢰도 게이팅처럼 회색으로 비워 둔다. 지어낸 날짜를 확신하는 대신 '미정'으로 남기는 것이다.
여기서 비유의 한계를 분명히 해 둬야 한다. 영상의 공간 정렬과 업무 맥락의 적합성은 같은 문제가 아니다. 그래서 이 원칙은 '정답을 더 잘 지어내라'로 번역되면 안 된다. 오히려 반대다. 담당자와 마감의 근거가 부족하면 확정하지 않는다. 틀을 먼저 세워 사람과 합의하고, 비어 있다고 표시된 칸만 사람 확인을 거쳐 채운다. 이게 온틀 워크플로가 이미 쓰는 방식이기도 하다.
아직 입증된 설계가 아니라 우리가 검증해보려는 가설이라는 점은 분명히 해 둔다. 정렬이 먼저, 선명함은 나중이라는 원칙으로 AI PM의 초안 생성을 다시 짜면 환각이 줄어들지, 그 답을 실제로 재볼 작정이다.
깊이를 아무리 높여도 남는 오차의 '성질'이 문제다. 점군 방식에서는 남은 거리 오차가 그대로 '확신에 찬 위치 오차'로 바뀐다. 되돌릴 신호가 없는 이 종류의 실수는 추정 정확도를 올린다고 사라지지 않는다. LEGO는 정확도 경쟁 대신 오차의 성질을 바꾼 셈이다. 평균을 내 흐려지더라도 위치는 제자리 근처에 남기는 쪽으로.
쉬워진다. 다만 그건 다른(더 쉬운) 과제다. 초기 시스템들은 주변을 둘러싼 여러 카메라나 정답 1인칭의 첫 프레임 같은 특권적 입력에 기댔다. LEGO가 겨냥한 설정은 단일 3인칭 영상뿐이다. 추가 입력을 요구하지 않는다는 점이 이 방법의 전제다.
학습에 없던 장면에서 점수가 떨어지는 건 당연하지만, 그 unseen 구간에서도 LEGO는 비교 대상을 앞섰다. 더 중요한 근거는 학습에 쓰지 않은 EgoHumans·Nymeria 데이터셋에서 가중치를 손대지 않고도 성적을 유지했다는 점이다. 단, 이는 어안 1인칭 카메라라는 공통 조건 안에서의 이야기다.