이 논문은 로봇 조작(manipulation) 정책이 반드시 알아야 할 "어떤 물체가 중요하고, 그것이 어디에 있는가"를 학습 데이터에 맡기지 않고 모델 구조 자체에 내장한 새로운 파운데이션 모델 패러다임인 GAM(Grounded Action Models)을 제안한다. 언어·점(point)·박스(box)로 대상 물체를 지정하면 이를 물체 중심 표현으로 바꿔 행동을 예측하며, 시뮬레이션과 실제 로봇 모두에서 환경이 흔들리는 상황(물체 위치 변경, 새로운 대상 지정 등)에 특히 강한 성능을 보였다.
로봇에게 "탁자 위 컵을 집어"라고 시키려면 로봇은 두 가지를 알아야 한다. 첫째, 지금 중요한 물체가 무엇인지(컵). 둘째, 그 물체가 정확히 어디에 있는지(3차원 위치와 크기). 사람에게는 당연한 일이지만, 최근 로봇 파운데이션 모델들은 이 "무엇을·어디서"를 명시적으로 다루지 않는다.
현재 로봇 파운데이션 모델은 대개 다른 목적으로 학습된 백본(backbone) 위에 세워진다. 예를 들어 VLA(vision-language-action, 시각-언어-행동 모델)는 언어 모델에서, WAM(world-action model, 세계-행동 모델)은 영상 생성 모델에서 출발한다. 문제는 이 백본들이 "물체가 미터 단위로 정확히 어디에 있는가"라는 정량적 위치 정보(metric grounding)를 직접 요구하지 않는다는 점이다. 결국 로봇은 이 감각을 로봇 시연(demonstration) 데이터로부터 암묵적으로, 곁다리로 배워야 한다.
비유하자면, 요리 레시피만 잔뜩 읽은 사람에게 "저 냄비 잡아"라고 시키는 것과 같다. 레시피에는 냄비를 어디서 어떻게 잡는지가 명시돼 있지 않으니, 이 사람은 수많은 실습을 통해 눈치껏 익혀야 한다. 그러다 부엌 배치가 조금만 바뀌어도(냄비를 다른 자리로 옮기면) 헤맨다. 기존 모델이 환경 변화에 약한 이유가 여기에 있다.
GAM의 핵심은 "행동을 예측하기 전에, 대상 물체를 3차원으로 먼저 붙잡아 두자"는 것이다. 여기서 "붙잡는다"는 것이 바로 3D 그라운딩(grounding, 언어·지시를 실제 공간상의 대상과 연결하는 것)이다.
작동 순서를 일상 비유로 풀면 이렇다.
또 하나 중요한 설계는 GAM이 두 가지 방식으로 쓰일 수 있다는 점이다. 혼자서 자율적으로 움직일 수도 있고, 상위 계획자(high-level planner)가 지휘하는 저수준 컨트롤러(low-level controller)로 붙을 수도 있다. 후자의 경우 상위 계획자가 언어·점·박스라는 다양한 입력 방식으로 GAM에게 "다음엔 이걸 해"라고 지시하며, 이를 통해 긴 호흡의 작업(long-horizon)이나 기억에 의존하는 작업(memory-dependent, 앞서 무엇을 했는지 기억해야 풀리는 작업)도 다룰 수 있다. 현장 지휘관(계획자)과 숙련공(GAM)의 분업 구조라고 보면 된다.
초록이 제시하는 성과는 시뮬레이션 두 종과 실제 로봇 두 대에서 나온다. 아래 수치는 모두 초록에 명시된 것만 옮긴 것이다.
| 벤치마크 | GAM | 비교 대상 | 핵심 조건 |
|---|---|---|---|
| RoboTwin 2.0 (50개 작업 평균) | 55.3% | Spatial Forcing 52.0% | 행동 정책을 깨끗한 장면 시연으로만 학습 |
| RoboTwin 2.0 (장면 무작위화) | 47.6% | Abot-M0 30.4% | 장면 randomization 조건 |
| LIBERO-PRO (16개 교란 설정 평균) | 61% | π_{0.5} 53% | 대상 이동·신규 지정 시 향상폭 최대 |
| 실제 양팔 로봇 YAM (시각 변화) | 20회 중 17회 성공 | π_{0.5} 20회 중 4회 | visual shift 조건 |
| Franka + Molmo2 계획자 조합 | ID 64.7% / OOD 49.8% 스텝 완료 | — | 장기·기억 의존 작업 |
여기서 눈여겨볼 대목이 몇 가지 있다.
첫째, RoboTwin 2.0에서 GAM은 깨끗한 장면(clean-scene) 시연만으로 학습했는데도 장면이 무작위로 어질러진 조건에서 47.6%를 냈다. 비교 대상(Abot-M0 30.4%)과 격차가 크다. "정돈된 부엌에서만 배웠는데 어질러진 부엌에서도 잘 한다"는 뜻으로, 3D 그라운딩이 환경 변화에 대한 강건성(robustness)을 준다는 근거다.
둘째, LIBERO-PRO에서 "대상이 옮겨지거나(relocated) 새로 지정될 때(newly designated) 향상폭이 가장 컸다"는 서술이 특히 GAM의 정체성을 잘 보여준다. 대상 물체를 명시적으로 붙잡아 두는 설계가 바로 그런 상황에서 힘을 발휘하는 것이다.
셋째, 실제 양팔 로봇에서 시각 변화가 생겼을 때 20회 중 17회 성공(π_{0.5}는 4회)이라는 격차는 시뮬레이션을 넘어 물리 세계에서도 효과가 이어졌음을 시사한다.
다만 이 수치들은 모두 "특정 벤치마크의 특정 조건"에서의 성적이라는 점은 분명히 해둘 필요가 있다. 55.3%, 61% 같은 평균 성공률은 여전히 절반을 조금 넘는 수준이며, 로봇 조작이 "풀렸다"는 의미가 아니라 "기존 대비 유의미하게 나아졌다"는 의미다.
초록만으로도 솔직하게 짚을 수 있는 지점들이 있다.
이 글은 논문 초록을 근거로 하며, 초록에 없는 데이터셋 규모·학습 비용·세부 아키텍처 수치는 다루지 않았다.
온틀은 사람의 반복 업무를 덜어주는 AI 프로젝트 매니저 파견형 SaaS다. 로봇 팔을 다루는 논문이지만, 여기서 우리가 실제 제품에 가져올 만한 시사점은 다음과 같다. 아래는 로봇 실험 결과를 소프트웨어 에이전트에 곧바로 이식할 수 있다는 뜻이 아니라, 설계 원리 차원의 유비적 참고다.
첫째, "무엇을·어디서"를 암묵 학습에 맡기지 말고 구조로 붙잡아라. GAM이 대상 물체를 명시적 표현으로 고정하듯, AI PM 에이전트도 "지금 다루는 대상이 무엇인지"(어떤 프로젝트·태스크·문서인지)를 매 단계 명시적으로 붙잡고 있어야 한다. 이것이 흔들리면 환경(대화 맥락)이 조금만 바뀌어도 엉뚱한 일을 한다. RAG(retrieval-augmented generation, 검색 보강 생성)에서 "대상 문서를 정확히 지정하는 그라운딩"이 답변 품질을 좌우하는 것과 같은 이치다.
둘째, 지정 방식의 다양성. GAM이 언어·점·박스를 모두 받아들이듯, 실무 에이전트도 사용자가 말로 지시하든, 특정 항목을 클릭해 지목하든, 범위를 지정하든 동일한 내부 표현으로 수렴시키면 지시의 모호함이 줄어든다.
셋째, 계획자와 실행자의 분업. GAM의 "상위 계획자 + 저수준 컨트롤러" 구조는 온틀이 지향하는 "PM 에이전트(계획) + 실무 에이전트(실행)" 분업과 구조적으로 닮아 있다. GAM이 긴 호흡의 작업과 기억 의존 작업을 이 분리 구조로 다룬다는 초록의 서술은, 우리 에이전트 오케스트레이션 설계 방향과 결이 맞는 참고 사례다. 다만 로봇 조작 실험 결과가 소프트웨어 에이전트 설계를 실증해 주는 것은 아니다.
넷째, 강건성은 데이터 양이 아니라 표현에서 온다. "깨끗한 장면만 학습했는데 어질러진 장면에서도 강했다"는 결과는, 무작정 더 많은 데이터를 붓기보다 대상을 제대로 붙잡는 표현을 설계하는 편이 변화에 강한 시스템을 만든다는 점을 시사한다. 못 뽑는 일손을 메우는 실무 자동화에서, 예외 상황마다 데이터를 쌓기보다 "무엇이 중요한지"를 구조로 고정하는 접근이 더 경제적일 수 있다.
초록 기준으로는 대체를 주장하기보다 3D 그라운딩을 내장한 새로운 파운데이션 모델 패러다임을 제안합니다. 여러 벤치마크에서 비교 모델(Spatial Forcing, Abot-M0, π_{0.5} 등)보다 높은 성공률을 보였지만, 절대 성공률은 55~61% 수준으로 완전한 대체를 말하기엔 이른 단계입니다.
언어나 점·박스 같은 지시를 실제 3차원 공간상의 대상 물체와 연결하는 것입니다. GAM은 대상의 시각적 특징뿐 아니라 실제 크기·위치 같은 정량적 기하 정보(metric geometry)를 물체 중심 표현에 담아, "무엇을"과 "어디서"를 함께 붙잡습니다.
초록에 따르면 GAM은 깨끗한 장면 시연만으로 학습했는데도 장면 무작위화 조건에서 47.6%(비교 대상 30.4%)를 냈고, 대상이 옮겨지거나 새로 지정될 때 향상폭이 가장 컸습니다. 대상 물체를 명시적으로 붙잡는 설계 덕분에 주변이 흔들려도 초점을 유지하는 것으로 해석됩니다.
있습니다. "대상을 구조로 명시하기", "다양한 지시 방식을 하나의 표현으로 수렴", "계획자와 실행자의 분업", "데이터 양보다 표현으로 강건성 확보"라는 네 가지는, 로봇 실험을 소프트웨어에 그대로 옮긴 것은 아니지만 설계 원리 차원에서 참고할 만한 유비입니다.