Spatial-Interactor는 시각-언어모델(VLM)이 정지된 이미지 문답이 아니라 '관찰 → 행동 → 새 관찰'로 이어지는 상호작용 궤적을 통해 물리 세계의 상태 변화를 학습하도록 만든 프레임워크다. 물체가 움직이거나 시점이 바뀔 때 국소적인 상태 변화를 인지하고, 이를 긴 궤적에 걸쳐 통합해 '지금 공간이 어떤 상태인가'를 갱신하는 능력을 목표로 삼는다. 이를 위해 L1·L2·L3 3단계 커리큘럼과 시뮬레이션·실제 궤적으로 만든 LSI-108K 데이터셋, 그리고 SFT와 On-Policy Distillation을 결합한 2단계 학습 전략을 제안한다.
사람은 방 안에서 컵을 옮기면 "컵이 이제 식탁 왼쪽에 있다"고 자연스럽게 갱신한다. 고개를 돌려 시점이 바뀌어도 물체들의 상대적 위치를 머릿속에서 다시 계산한다. 이렇게 움직임과 시점 변화가 만드는 '상태 변화(state transition)'를 계속 따라가며 최신 공간 지도를 유지하는 것이 공간 추론의 핵심이다.
문제는 지금의 VLM이 여기에 약하다는 점이다. 초록은 두 가지 능력 모두에서 기존 VLM이 제한적이라고 지적한다. 하나는 물체 이동·시점 변화가 일으키는 국소적 상태 변화를 인지하는 능력, 다른 하나는 그 변화들을 긴 궤적에 걸쳐 통합해 공간 상태를 갱신하는 능력이다.
왜 이렇게 됐을까. 초록에 따르면 현재의 공간 학습은 주로 '정적인 질문'에 집중한다. 즉 "이 물체의 색은 무엇인가", "A는 B의 왼쪽인가"처럼 한 장면 안의 속성·관계를 묻는 방식이다. 이런 방식은 상태가 어떻게 바뀌는지(transition)에 대한 직접적인 감독 신호(supervision)를 거의 주지 못한다. 비유하자면, 사진첩만 넘겨보며 세상을 배우는 것과 같다. 각 사진 속 정답은 맞힐 수 있어도, 사진과 사진 사이에 무슨 일이 일어났는지는 배우지 못한다.
이 논문의 출발점은 단순하지만 강력하다. 상호작용 궤적(interaction trajectory)은 그 자체로 '이전 관찰 → 행동 → 이후 관찰'을 자연스럽게 연결한다는 것이다. 즉 궤적 데이터는 국소적 상태 변화에 대한 직접적인 감독을 공짜로 제공한다. 더 나아가 완결된 전체 궤적은 연속된 변화들 사이의 의존 관계까지 드러낸다. 앞의 행동이 만든 결과가 다음 행동의 전제가 되는 흐름 말이다.
Spatial-Interactor는 이 학습 과정을 난이도 순으로 3단계 커리큘럼으로 조직한다.
| 단계 | 이름 | 배우는 것 |
|---|---|---|
| L1 | 수동적 세계-상태 변화 (passive world-state transitions) | 물체 이동 등 외부 세계에서 일어나는 변화 |
| L2 | 능동적 자기-상태 변화 (active self-state transitions) | 관찰자(에이전트) 자신의 시점·위치 변화 |
| L3 | 장기 상호작용 궤적 (long-horizon interaction trajectories) | 연속된 변화들을 긴 시간에 걸쳐 통합 |
쉽게 말해 L1은 "저기서 무엇이 바뀌었나"(세상이 바뀜)를, L2는 "내가 움직여서 시야가 어떻게 달라졌나"(내가 바뀜)를 배우고, L3는 이 둘을 이어 붙여 "여러 번의 변화를 거친 지금 공간은 어떤 상태인가"를 유지하는 단계다. 아이가 먼저 물체가 굴러가는 걸 보고, 다음엔 스스로 걸어 다니며 방을 보고, 마지막에 그 경험을 종합해 집 구조를 머릿속에 그리는 순서와 닮았다.
데이터는 이 목표에 맞춰 LSI-108K(Learning from Spatial Interaction) 데이터셋을 새로 구축했다. 시뮬레이션 궤적과 실제 궤적 모두에서 만들었고, 각 단계의 목표에 정렬된 과제로 구성했다고 초록은 밝힌다.
학습은 2단계로 진행한다.
이 대목이 흥미롭다. 교사는 '정답 요약'에 해당하는 구간별 변화 설명을 미리 본 상태이므로 더 잘 안다. 학생은 그런 힌트 없이 스스로 궤적을 따라가며 추론하는데, 교사가 그 추론을 교정해 준다. 비유하면, 답지의 핵심 단서를 본 선배가 맨몸으로 문제를 푸는 후배 옆에서 "그 단계 추론이 어긋났다"고 짚어 주는 구조다. 이렇게 해서 학생이 연속된 변화를 긴 궤적에 걸쳐 스스로 통합하는 법을 배우게 만든다.
초록은 구체적 수치 없이 정성적으로 성과를 서술한다. 여러 VLM과 여러 공간 벤치마크에 걸쳐 실험했고, 두 축 모두에서 일관된 향상(consistent gains)을 확인했다고 밝힌다. 하나는 국소적 변화 모델링(local transition modeling), 다른 하나는 장기 통합(long-horizon integration)이다.
의미를 짚으면 이렇다. 첫째, 향상이 특정 모델 하나에 국한되지 않고 여러 VLM에서 나타났다는 점은 이 방법이 특정 아키텍처의 트릭이 아니라 '데이터·학습 방식'의 기여임을 시사한다. 둘째, 개선이 앞서 지적한 두 가지 약점(국소 인지 + 장기 통합)에 정확히 대응한다는 점에서, 문제 정의와 해법이 일관되게 연결된다. 다만 정확한 향상 폭이나 어떤 벤치마크에서 얼마나 올랐는지는 초록만으로는 알 수 없으므로, 세부 수치는 본문을 확인해야 한다.
초록 범위에서 솔직하게 남는 물음들이 있다.
온틀은 AI 프로젝트 매니저를 파견형으로 제공하는 SaaS다. 물리적 공간 추론이 직접적인 업무 영역은 아니지만, 이 논문이 던지는 학습 설계의 교훈은 우리가 만드는 에이전트에도 그대로 적용된다.
정리하면, Spatial-Interactor는 '공간'이라는 구체적 소재를 다루지만, "변화를 직접 감독하고, 쉬운 것부터 긴 통합으로, 특권적 교사로 자기 추론을 교정한다"는 학습 철학은 도메인을 넘어 에이전트 설계 일반에 시사점을 준다.
시각-언어모델(VLM)이 물체 이동·시점 변화가 만드는 국소적 상태 변화를 인지하고, 이를 긴 상호작용 궤적에 걸쳐 통합해 최신 공간 상태를 유지하도록 학습시킵니다. 정지 이미지 문답이 아니라 '관찰-행동-관찰' 궤적을 감독 신호로 씁니다.
L1은 물체 이동처럼 외부 세계에서 일어나는 수동적 세계-상태 변화, L2는 관찰자 자신의 시점·위치가 바뀌는 능동적 자기-상태 변화, L3는 이 변화들을 긴 시간에 걸쳐 통합하는 장기 궤적을 다룹니다.
교사 분기에 구간 단위 변화 설명이라는 힌트를 미리 주고, 그 교사가 학생이 스스로 생성한 추론 과정(on-policy CoT)을 감독·교정하는 방식입니다. 힌트를 본 교사가 맨몸으로 푸는 학생의 사고를 바로잡아 연속 변화 통합을 가르칩니다.
초록은 여러 VLM과 여러 공간 벤치마크에서 국소 변화 모델링과 장기 통합 모두 일관된 향상을 확인했다고 정성적으로 밝힙니다. 구체적 수치는 초록에 제시되지 않았으므로 본문에서 확인해야 합니다.