집에서 일하는 로봇에게 가장 곤란한 질문은 "약통이 지금 어디 있지?"다. 어제 침대 옆 탁자에서 봤더라도, 누군가 그새 서랍에 넣어버렸을 수 있다. 이 논문이 다루는 상황이 바로 그것이다. 로봇이 보지 않는 사이, 심지어 로봇이 이동하는 도중에도 목표물이 움직이는 환경. 여기서 로봇이 목표의 현재 위치를 확률로 추정하고, 이동하며 얻는 영상 증거로 그 추정을 계속 고쳐가며 찾아내는 방법이 EvolvingNav다. 과거 지도를 맹신하지도, 매번 백지에서 다시 뒤지지도 않는 중간 지점을 노렸다.
로봇 내비게이션 연구는 오랫동안 "지도를 잘 기억하자"는 방향으로 발전해왔다. 방문할 때마다 관측을 쌓아 공간 지도와 객체 기억을 만든다. 여기서 쓰는 도구가 오픈 보캐뷸러리 맵(수많은 사물을 이름표와 함께 기억해 두는 지도)이나 씬 그래프(사물들이 어디에, 어떤 관계로 놓였는지 적어둔 지도) 같은 것들이다. 그러고는 "리모컨 가져와" 같은 명령이 오면 기억해 둔 위치로 간다.
문제는 간단하다. 기억은 과거의 한순간일 뿐, 로봇이 실제로 움직이는 지금 이 순간의 세계가 아니다. 사람은 끊임없이 물건을 옮긴다. 로봇이 보지 않는 틈에 약통은 서랍으로 들어가고, 리모컨은 소파 밑으로 사라진다. 그래서 지도가 정확할수록 오히려 로봇을 한물간 장소로 데려가고, 반대로 매번 처음부터 뒤지면 애써 쌓은 기억을 통째로 버리는 셈이 된다.
이 상황을 더 까다롭게 만드는 조건이 셋 있다.
논문은 이 전체 상황을 Evolving-World Navigation(변화하는 세계 내비게이션) 이라는 하나의 문제로 정식화한다. 거칠게 말하면, 로봇이 본 것은 "과거 상태의 증거"일 뿐이고, 정작 알고 싶은 현재 위치는 겉으로 드러나지 않은 채 계속 변하는 잠재변수(숨은 값)라는 관점이다.
기존 연구에도 미래 상태를 예측하거나(PredictiveGraphs), 이동 중 물건이 움직이는 상황을 다룬(Transit-Aware Planning) 시도가 있었다. EvolvingNav가 다른 점은, 불규칙한 관측 이력과 후보별 도착 시간, 그리고 시야를 고려한 증거 갱신을 하나의 내비게이션 루프 안에 함께 묶었다는 것이다.
그 중심에 시간이 박힌 믿음(time-indexed belief) 이 있다. 목표의 위치를 한 점으로 못 박는 대신, "지금 각 장소에 있을 확률"의 분포로 들고 다닌다는 뜻이다. 공간의 가로·세로·높이 3차원에 '시간'이라는 축을 하나 더 얹었다고 해서 논문은 이를 4D 믿음이라 부른다. 이 분포를 만드는 예측 모듈 P4D-Nav는 목표가 어디 있을지를 세 갈래로 나눠 본다.
세 번째 갈래를 끝까지 남겨두는 것이 이 설계의 영리한 지점이다. 아는 후보들끼리만 확률 100%를 나눠 가지면, "엉뚱한 데 있을 가능성"을 처음부터 0으로 깔아버린다. EvolvingNav는 미지의 영역에도 확률을 떼어 두기 때문에, 아는 곳을 다 뒤지고도 못 찾았을 때 탐색으로 전환할 근거가 남는다. 다만 이 모델이 "정답 없이" 배우는 것은 아니다. 예측기는 현재 상태의 정답을 기준으로 학습하고, 전이 모듈은 출발 상태와 미래 상태의 쌍으로 지도학습된다. 사람이 "언제 어디로 옮겨졌다"를 일일이 달아준 별도의 변화 정답표가 필요 없다는 것이 요점이지, 상태 정답 자체가 없는 것은 아니다.
그럼 로봇은 실제로 어떻게 움직일까. 약통을 찾는 한 장면으로 따라가 보자.
먼저 로봇은 후보 장소 하나하나에 대해 "내가 저기 도착할 무렵, 약통이 거기 있을 확률"을 예측한다. 도착 시간이 제각각이니, 확률도 그 도착 시점에 맞춰 따로 계산한다. 그 확률을 '새로 볼 수 있는 영역'과 '이동 비용'에 견줘 저울질한 뒤 목적지를 고른다. 그리고 한 번에 멀리 내닫지 않고 짧은 구간으로 끊어 이동하면서, 길목과 검사 지점에서 얻는 RGB-D(색+깊이) 영상으로 믿음을 갱신한다.
핵심은 봤을 때의 처리다. 서랍이 또렷이 비어 있는 걸 봤다면 경로를 틀어 다음 후보로 간다. 하지만 수건 더미에 가려 제대로 못 봤다면, 그 자리의 가능성은 거의 건드리지 않고 그대로 둔다. 이 "못 봤을 땐 함부로 지우지 않는다"는 원칙을 수치로 뒷받침하는 장치가 시야 조건부 탐지 확률이다. 쉽게 말해 "약통이 거기 있었다면 내 눈에 실제로 보였을 확률"을 상황에 맞게 보정해 두고, 안 보였다는 관측은 딱 그 확률만큼만 해당 후보의 무게를 깎는다. 무엇이 보이고 안 보이는지 정답을 사람이 따로 달아준 데이터 없이 이걸 해낸다는 점을 저자들은 강조한다.
같은 장면을 여러 번 스쳐 본 것이 매번 새 증거처럼 쌓여 확률을 과하게 밀어버리는 것도 막는다. 증거의 출처를 추적해 시간 단위로 한 번씩만 묶어 반영하는 식이다. 그리고 시간이 충분히 흐르면 한 번 비었던 후보를 다시 열어 둔다. 세계가 변했으니 그 자리가 다시 유력해질 수 있어서다.
이 모든 판단을 지휘하는 본체는, 미리 학습된 범용 시각-언어 모델(새로 보는 물건이나 처음 듣는 명령도 추가 학습 없이 알아듣는 모델)을 별도 튜닝 없이 그대로 가져와 쓴다. 이 지휘자가 기억 조회·예측·검사·탐색·이동 도구를 상황에 맞게 불러 쓰는 구조다.
평가를 위해 저자들은 EvoWorld-Bench 라는 벤치마크를 함께 내놨다. 사람의 실제 활동 궤적을 바탕으로 만든 54개의 변화하는 장면과 803,680개의 과제로 이뤄져 있고, 상태 예측·객체 내비게이션·비전-언어 내비게이션·체화형 질의응답을 아우른다. 과제에는 질의 전에만 변하는 경우와 수색 도중에도 변하는 경우가 섞여 있다. 특히 장면과 질의는 똑같이 고정한 채 시간 구조만 바꾼 짝지은 세계 — 변화 없는 정적 세계, 규칙적 루틴 세계, 무작위 세계 — 를 나란히 둬서, "학습 가능한 패턴이 실제로 도움이 되는가"를 따로 떼어 본다.
실험 결과, EvolvingNav는 비교 대상이 된 기존 방식들을 앞섰다. 시뮬레이션과 실제 로봇 실험 양쪽에서 내비게이션 성공률과 수색 효율이 함께 올라갔다. 목표가 수색 도중에도 움직이는 가장 까다로운 조건에서 특히 안정적으로 회복했고, 헛걸음을 줄였다. 짝지은 실험에서는 변화가 학습 가능한 루틴을 따를 때 이득이 가장 또렷했다. 뒤집어 말하면, 완전히 무작위로 변하는 세계에서는 예측이 줄 수 있는 몫 자체가 작다는 뜻이기도 하다. 요소를 하나씩 빼보는 절제 실험은, 불확실성을 보존하는 것(미지 영역에 확률을 남겨두기)과 시야를 고려한 증거 갱신이 각각 성능에 기여함을 확인해 줬다.
저자들이 스스로 밝힌 조건이 그대로 한계의 윤곽이 된다. 이득은 학습 가능한 시간 패턴이 있을 때 가장 크다. 사람의 습관이 불규칙하거나 무작위에 가까우면 예측이 줄 수 있는 이점은 줄어든다. 또 성능의 상당 부분이 시야 조건부 탐지 확률의 보정에 기대고 있는데, 이 보정이 어긋나면 "안 보였다"는 관측을 과하게 믿거나 반대로 무시하는 쪽으로 쏠릴 여지가 있다.
평가의 상당 부분이 사람 궤적을 바탕으로 생성한 시뮬레이션 환경이라는 점도 염두에 둘 만하다. 실제 로봇 실험이 함께 있긴 하지만, 벤치마크의 80만 개 과제가 곧 80만 번의 현실 수색은 아니다. 지휘자를 범용 시각-언어 모델로 쓰는 설계는 확장성 면에서 매력적이지만, 모델을 바꿨을 때 같은 믿음을 받고도 행동 선택의 질이 얼마나 흔들리는지는 더 따져볼 지점이다.
이 연구를 로봇 이야기로만 읽으면 아깝다. 온틀의 AI PM이 매일 부딪히는 문제와 닮아 있기 때문이다.
한 장면을 따라가 보자. AI PM이 고객 프로젝트를 사흘 만에 다시 집어 든다. PM의 "기억"에는 사흘 전 상태가 박혀 있다. 그때 그 요청은 접수 단계였고, 산출물 파일은 초안이었고, 어떤 결정은 아직 보류였다. 순진한 에이전트는 이 기억을 현재로 착각하고 "초안 검토부터 하죠"라며 움직인다. 하지만 그새 고객이 요구사항을 바꿨을 수도, 다른 담당이 파일을 갈아엎었을 수도, 보류였던 결정이 이미 처리됐을 수도 있다. 로봇의 약통과 똑같은 함정이다.
EvolvingNav의 발상을 PM에 옮겨보면 행동 네 가지가 달라진다. 첫째, 상태를 하나로 단정하지 않고 "여전히 접수일 확률 / 이미 진행됐을 확률 / 내가 모르는 쪽으로 틀어졌을 확률"의 분포로 든다. 특히 세 번째, 내 기록 밖에서 벌어진 변화에 확률을 남겨두는 것이 핵심이다. 둘째, 그 확률을 '사흘 전'이 아니라 '지금 손대는 순간'에 맞춰 다시 평가한다. 로봇이 후보 도착 시점에 맞춰 확률을 계산하던 것과 같다. 셋째, 추정만으로 움직이지 않고 싼 확인부터 한다. 최신 파일 타임스탬프, 결정 기록, 고객 채널의 마지막 메시지를 확인하는 것이 로봇의 눈(RGB-D 재확인)에 해당한다. 넷째, 확인했는데 애매하면 함부로 "변경 없음"으로 지우지 않고 가능성을 남긴다.
온틀이 이미 갖춘 재료들 — 작업의 모든 변경 이력을 추적하고, 중요한 결정을 따로 기록하며, 데이터를 프로젝트별로 분리해 관리하는 지금의 방식 — 은 바로 이 "시간이 박힌 믿음"을 떠받칠 토대다. 부족한 것은 그 재료를 PM의 행동 직전 판단으로 끌어오는 루프다. "기억한 대로 실행" 대신 "기억에 시간을 입혀 추정하고, 싸게 확인한 뒤 실행"으로 한 칸만 옮겨도, PM이 한물간 상태 위에서 자신 있게 틀리는 사고를 줄일 수 있다. 로봇이 배운 습관이 그대로 에이전트의 일 처리 습관으로 번역되는 셈이다.
아니다. 오히려 쌓아둔 기억을 적극적으로 쓴다. 다만 그 기억을 "지금의 사실"이 아니라 "과거 상태의 증거"로 취급하고, 거기에 시간을 입혀 현재 위치의 확률을 추정한 뒤 이동 중 영상으로 계속 고쳐 쓴다는 점이 다르다.
그 "언제 어디로 옮겨졌다"는 식의 별도 변화 정답표는 필요 없다. 다만 상태 정답 없이 배우는 것은 아니다 — 예측기는 현재 상태의 정답을 기준으로 학습하고, 전이 모듈은 출발 상태와 미래 상태의 쌍으로 지도학습된다. 즉 사람이 변화를 일일이 라벨링한 표가 불필요하다는 뜻이지, 정답 신호가 전혀 없다는 뜻은 아니다. 한편 무엇이 보이는지 사람이 따로 표시해준 데이터 없이도 시야 조건부 탐지 확률을 보정해낸다는 점은 저자들이 강조하는 또 다른 특징이다.