팔다리는 멀쩡한데, 눈치가 없다.
요즘 로봇을 한 문장으로 요약하면 이렇습니다. 팔을 뻗고, 물건을 쥐고, 복도를 지나는 것 — 이런 '움직이는 기본기'는 방대한 데이터로 미리 익혀 두어(사전학습) 꽤 잘합니다. 문제는 그다음입니다. 눈앞의 장면만 봐서는 "그래서 지금 무엇을 해야 하는가"가 정해지지 않는 경우가 많습니다.
이 '눈치'의 문제가 지금 AI 분야의 핵심 과제로 떠오른 데는 이유가 있습니다. 거대언어모델(LLM)이 글의 세계에서 성공을 거둔 뒤, 같은 질문이 물리 세계로 넘어왔기 때문입니다. 글 몇 줄을 예로 보여주면 새 작업을 해내는 그 능력을, 몸을 가진 로봇에서도 되살릴 수 있을까요.
최근 나온 한 서베이는 바로 이 '눈치'의 문제를 푸는 연구들을, 맥락이 행동으로 넘어가는 '통로'를 어디에 두느냐에 따라 네 갈래로 정리합니다. 이미 배포된 로봇의 신경망은 그대로 둔 채, 시연과 상호작용만으로 행동을 바꾸는 '인컨텍스트 학습(ICL, In-Context Learning — 모델을 다시 학습시키지 않고, 그때 주어진 예시를 입력으로 넣어 행동을 바꾸는 방식)' 연구들입니다. 네 갈래란 정책 입력에 직접 넣는 방식, 물체의 기하 관계로 옮기는 방식, 미래를 예측하는 내부 모델을 거치는 방식, 절차 블록으로 쪼개 실행하는 방식입니다. 이 글은 논문의 핵심 골격인 이 분류 체계와 평가 방법론을 중심으로 걷습니다. 더 상세한 실험 결과 비교는 원문을 직접 확인하시길 권합니다.
논문이 드는 예가 직관적입니다. 부품을 포장하는 로봇은 모든 부품을 쥘 줄 압니다. 하지만
똑같은 장면인데도 필요한 행동이 다릅니다. 운동 능력이 아무리 뛰어나도 이 빈틈은 저절로 메워지지 않습니다. 논문은 이것을 '정보 공백(information gap)'이라 부릅니다.
기존 해법은 파인튜닝(fine-tuning — 새 데이터로 신경망 가중치를 다시 조정하는 것)이었습니다. 하지만 새 작업마다 학습을 다시 돌려야 하고, 그렇게 넣은 지식은 이후 학습으로 바뀌거나 잊힐 수 있습니다. ICL의 발상은 반대입니다. 새 증거를 '학습 대상'이 아니라 '결정하는 순간의 입력'으로 넣습니다. 사람으로 치면, 매뉴얼을 통째로 외우는 대신 필요한 페이지를 펼쳐 옆에 두고 일하는 방식입니다.
말로만 보면 비슷하니, 앞서 든 '부품 포장' 작업 하나를 네 방법이 각각 어떻게 받아 안는지로 끝까지 비교해 보겠습니다. 어떤 정보를 입력으로 받아, 행동을 어떻게 바꾸고, 어디서 넘어지는지를 같은 장면에서 봅니다.
첫째, 맥락 조건화 정책(context-conditioned policies). 시연·상호작용 같은 맥락을, 상황을 보고 다음 동작을 고르는 규칙(정책)의 '입력'에 직접 끼워 넣는 방식입니다. 이때 넣는 맥락의 형태는 하나가 아닙니다 — 시연 영상 그 자체일 수도 있고, 물체의 키포인트나 관계 그래프로 추린 표현, 과거에 통했던 행동을 꺼내 붙이는 검색 결과, 지금까지의 상호작용 이력일 수도 있습니다. 어떤 형태든 "방금 받은 맥락대로" 부품을 순서대로 담습니다. 그래서 "본 대로 하라"에는 강합니다. 대신 받은 맥락에 없던 새 부품이나 처음 보는 배치가 튀어나오면, 참고할 근거가 없어 흔들립니다.
둘째, 기하학적 시연 전이(geometric demonstration transfer). 같은 시연을 보더라도 이쪽은 이미지가 아니라 부품과 상자의 '3D 좌표 관계'를 뽑아냅니다. "이 부품의 홈이 상자 왼쪽 벽을 향하도록" 같은 관계를 추출하는 것이죠. 관계만 들고 있으니 모양이 조금 달라도 다시 적용할 수 있어, 처음 보는 형태의 부품에도 같은 규칙을 씁니다. 다만 "깨지기 쉬우니 맨 위에"처럼 좌표 관계로 환원되지 않는 맥락은 놓치기 쉽습니다.
셋째, 월드모델 기반 제어(world-model-based control). "이 부품을 먼저 넣으면 다음 부품 자리가 막힐까"를 머릿속으로 먼저 돌려보고 움직입니다. 순서가 꼬이기 전에 미리 내다볼 수 있다는 게 강점입니다. 그 대신 이 예측 모델이 부정확하면, 상상 속에서만 성공합니다.
넷째, 스킬·에이전트 기반 실행(skill-/agent-based execution). 작업을 "집기 → 옮기기 → 넣기"처럼 절차 블록으로 쪼개 수행합니다. 레고 조립 설명서처럼 단계가 또렷합니다. 반대로 설명서에 없는 새 부품이 끼면 다음 칸으로 넘어가지 못합니다.
정리하면, 네 방법은 같은 빈틈을 서로 다른 지점에서 메웁니다 — 정책 입력, 기하 관계, 예측 모델, 스킬 절차. 그래서 질문은 하나로 모입니다. 그 지점이 정말 필요한 정보를 흘리지 않고 품고 있느냐입니다.
이 글은 성능표를 겨루는 실험 논문이 아니라 서베이(여러 연구를 모아 정리·비교하는 문헌 리뷰)입니다. 그래서 "몇 퍼센트 올랐다" 같은 수치는 참조한 범위에 없습니다. 대신 내놓는 것은 생각의 틀입니다.
이 서베이가 제시하는 평가 프레임워크는 네 방법 어디에나 공통으로 걸리는 '대응'과 '기억'이라는 두 축을 기준으로 삼습니다.
이 두 축 위에서 논문의 핵심 기여가 둘 나옵니다.
첫째, 맥락 사용을 가능하게 하는 '관계 학습'의 통찰. 마치 대화의 앞부분을 보고 다음 말을 이어가듯, 로봇도 앞선 시연·상호작용을 바탕으로 다음 행동을 정합니다. 논문은 로봇에서 결정적인 것이 바로 이 "앞선 가르침"과 "그것이 바꾸는 나중의 행동" 사이의 연결이라고 짚습니다. 앞의 네 방법은 결국 이 연결을 어디에 담느냐의 차이였던 셈입니다.
둘째, 평가를 셋으로 쪼개라는 규율. 이 관계 학습이 잘 됐는지 따지려면, 세 가지를 분리해서 봐야 한다는 것입니다. ① 맥락에 반응하는가, ② 물체·환경이 바뀌어도 유지되는가, ③ 쌓인 경험이 다음을 돕는가. 이걸 뭉뚱그리면, 로봇이 새 작업을 해냈을 때 그게 원래의 폭넓은 운동 능력 덕인지, 그 자리에서 준 가르침을 이해한 덕인지 갈라낼 수 없습니다. 그러면 ICL이 정말 작동하는지 판단할 수 없고요.
여기서 논문의 가장 영리한 지적이 나옵니다. 목표를 달성해도 규칙은 어길 수 있다는 것입니다. "물건을 올바른 목적지에 놓았다"가 "손잡이를 쥐고 옮겨야 한다"는 요구를 어긴 결과일 수 있습니다. 그래서 평가는 의도한 결과(effect)뿐 아니라 지정된 순서·접촉 방식(order, contact)까지 실행 전 과정에서 추적해야 한다는 것이죠. 결과만 맞으면 된다는 평가가 바로 이 지점을 놓칩니다.
이 서베이가 그리는 그림에는 아직 빈칸이 많습니다. 앞에서 본 네 방법은 '배포 후 상호작용으로 적응하거나 가르침에서 요구를 추론하는' 단계입니다. 논문은 그 위에 더 먼 목표를 둡니다. 경험이 다음 학습을 더 잘하게 만드는 '자기개선', 그리고 그 학습을 여러 로봇이 나눠 갖는 단계입니다. 논문은 이 둘을 이미 이룬 성과가 아니라 "연구 목표(research objective)", 즉 지향점이라고 분명히 밝힙니다.
특히 로봇끼리 지식을 주고받는 일은 까다롭습니다. 한 로봇의 동작을 다른 몸이 그대로 복사할 수 없기 때문입니다. 그래서 그 교환이 정말 집단 전체의 학습을 끌어올리는지는 아직 열린 질문입니다.
주목할 점은, 지금 ICL 연구의 최전선이 '어느 방식이 가장 우월한가'를 가리는 쪽이 아니라는 것입니다. 오히려 '이 작업의 빈틈은 어떤 종류의 정보를 요구하는가'를 먼저 묻고, 그에 맞는 통로를 고르거나 여러 통로를 조합하는 방향으로 나아가고 있습니다. 네 갈래는 경쟁하는 정답들이 아니라, 빈틈의 종류에 맞춰 꺼내 쓰는 도구함에 가깝습니다.
로봇 평가에서 최종 결과가 아니라 '지정된 과정(order, contact)'을 추적해야 한다는 통찰은, 몸이 없는 소프트웨어 에이전트의 세계에서 오히려 더 중요해집니다.
가령 AI가 월간 보고서를 완성했다고 합시다. 결과물만 보면 멀쩡합니다. 하지만 그 보고서가 승인 절차를 건너뛰고 외부로 먼저 나갔다면, 그건 성공이 아니라 사고입니다. 로봇이 손잡이를 안 쥐고 컵을 옮긴 것과 똑같습니다. 그래서 업무 자동화의 검증 지표는 "다 됐나"가 아니라 "정해진 순서·제약대로 됐나"를 실행 전 과정에서 추적하는 쪽이어야 합니다.
온틀이 AI 프로젝트 매니저를 설계하며 붙드는 지점도 바로 여기입니다. 고객사가 "외부로 나가는 건 반드시 담당자 승인부터 받아라"라고 하면, 온틀은 그 지시를 모델에 다시 굽는 대신 그때그때 입력으로 받아 움직입니다. 그리고 보고서가 나갔다는 '결과'가 아니라 승인이라는 '지정된 순서'를 통과했는지로 성공을 가립니다. 로봇의 빈틈을 다룬 이 서베이가, 몸이 없는 에이전트에게도 똑같이 유효한 이유입니다.
로봇의 신경망은 그대로 두고, 시연 영상 같은 '컨닝 페이퍼'를 옆에 붙여 줘서 새 작업을 시키는 방식입니다. 매뉴얼을 통째로 외우는 대신, 필요한 페이지만 펼쳐 두고 일하는 것과 같습니다.
파인튜닝은 새 데이터로 로봇을 다시 가르쳐 지식을 머릿속에 '집어넣는' 방식입니다(그래서 나중 학습에 덮여 잊힐 수 있습니다). ICL은 머릿속은 건드리지 않고, 그 지식을 '필요한 순간 옆에서 꺼내 보게' 두는 방식입니다.