GPT-6-Astra는 로봇에게 '체화 지능'을 물은 모델이다. 체화 지능이란 몸으로 주변을 감지하고 직접 움직여 일을 해내는 능력을 말한다. 이 분야는 과제마다 전용 모델을 따로 학습시키는 게 상식이었는데, GPT-6-Astra는 범용 모델 하나로 전례 없는 성적을 냈다. SenseNova 등이 모인 Joint Research Team은 이 모델을 12개 벤치마크에서 통일된 규칙으로 돌려 능력의 상한을 재고, 8종의 실제 로봇에 올려 그 성적이 현실로 얼마나 옮겨지는지 확인했다. 결과를 한 줄로 요약하면, 시험 환경에서 '풀 수 있는가'는 대체로 통과했지만 현장의 시간·비용·안전 제약 안에서 '쓸 만한가'는 아직이라는 것이다. 연구진은 앞의 문턱을 체화 역량(embodied competence), 뒤의 문턱을 실용적 체화 지능(practical embodied intelligence)이라 부른다. 로봇을 만들지 않더라도 범용 모델을 현실 작업에 투입하려는 사람이라면 같은 간극을 만난다 — 데모에서는 되는데 현장에서는 시간·비용·검증이 가로막는다.
로봇에게 "컵을 걸어라", "천을 접어라" 같은 일을 시키려면, 지금까지는 로봇 데이터로 정책(policy, 관측을 받아 어떤 행동을 할지 정하는 방식)을 학습시키는 게 정석이었다. VLA(비전-언어-행동 모델)가 대표적이다. 이런 정책도 여러 과제에 일반화할 수 있다 — 예컨대 π0.5는 다양한 데이터를 함께 학습해 훈련 때 보지 못한 가정 환경에서도 작업하도록 설계된 VLA다. 다만 새로운 로봇이나 분포로 넓히려면 대개 그만큼의 데이터를 모아 다시 학습시켜야 한다는 공통점이 있다.
GPT-6-Astra는 이 전제를 흔든다. 가중치를 건드리지 않은 채, 범용 모델 하나가 탁상 로봇팔부터 휴머노이드·이동 플랫폼·정교한 다관절 손까지 두루 다룬다. 전용 모델을 새로 학습시키는 대신, 이미 똑똑한 파운데이션 모델 위에 '어떻게 굴릴지'를 얹는 방식이다. 그래서 세 가지 질문이 따라붙는다. 이 모델의 진짜 상한은 어디까지인가? 벤치마크에서의 성공이 실제 로봇으로 얼마나 옮겨지는가? 이 정도 역량이 나왔다면 앞으로의 벤치마크는 무엇을 재야 하는가? 보고서는 이 세 질문을 차례로 판다.
평가의 핵심 장치는 두 가지다.
첫째는 맥락 내 학습(ICL, in-context learning)이다. 가중치를 바꾸지 않고, 참고 자료를 그때그때 입력(맥락)으로 넣어 과제에 적응시키는 방법이다. 기존 특화 정책이 학습에 쓰던 바로 그 시연 데이터를, GPT-6-Astra는 테스트 전에 들여다보고 스스로 '지식 패키지(knowledge package)'를 하나 써 둔다. 신입에게 그 업무의 작업 매뉴얼을 직접 만들게 한 뒤, 현장에선 그 매뉴얼만 참고하게 하는 것과 같다. 이 패키지는 테스트가 시작되기 전에 동결되어, 그 과제를 한 번씩 수행하는 모든 에피소드에 똑같이 제공된다. 담기는 건 크게 과제 설명, 동작 예시(시연에서 뽑은 자세·움직임), 다시 쓸 수 있는 보조 코드, 실패를 점검하고 되돌리는 절차 정도다. 무엇을 담을지는 모델이 스스로 고르는데, 벤치마크가 달라도 이런 항목이 공통으로 나타났다는 게 저자들의 관찰이다.
둘째는 실행 예산 확장이다. 행동을 한 번 하는 것을 한 스텝이라 하면, 각 벤치마크가 정한 공식 스텝 한도(표준 예산, 1×)에 더해 최대 10배(10×)까지 스텝을 허용한다. GPT-6-Astra는 실패한 동작을 스스로 알아채고 전략을 고쳐 다시 시도하는데, 빡빡한 스텝 한도는 그 복구가 끝나기 전에 에피소드를 끊어버린다. 시간을 더 주면 실패를 바로잡아 성공으로 가는 과정이 완성된다는 가설이다.
한편 별도의 RoboDojo 실험에서는 하네스(harness, 모델을 실제로 굴리는 실행 구조)를 통한 협업을 따로 시험한다. 느리지만 꼼꼼한 System 2(GPT-6-Astra)가 '무엇을 할지'를 정하고, 빠른 System 1 컨트롤러(여기선 RoboDojo에 파인튜닝된 π0.5)가 '관절을 실제로 어떻게 움직일지'를 맡는다. 핵심은 '닫힌 고리(close-loop)' 협업이다. System 1이 행동을 제안하면 System 2가 검토·수정해 실행하고, 그 결과를 다시 관찰해 다음 판단에 반영한다. 제안 → 검토 → 실행 → 결과 관찰 → 다음 판단이 한 바퀴씩 도는 구조다. 다만 이 협업 구조는 전체 평가의 공통 틀이 아니다 — LIBERO 계열을 비롯한 주요 결과는 이런 VLA 컨트롤러를 끄고 GPT-6-Astra가 직접 제어한 방식에서 나왔다.
12개 설정은 성격에 따라 다섯 갈래로 묶인다 — 탁상 조작, 정교한 손 조작, 걸으며 물건을 다루는 휴머노이드 로코-매니퓰레이션, 긴 호흡의 가사 활동, 지시를 따라 움직이는 비전-언어 내비게이션이다. 개별 벤치마크 이름은 아래 표로 정리했다. 모든 평가에서 GPT-6-Astra의 가중치는 고정된다.
| 과제 유형 | 개별 벤치마크 |
|---|---|
| 탁상 조작 | RoboDojo, RoboLab, LIBERO-Long++·LIBERO-Ultra-Long, LIBERO-PRO |
| 정교한 손 조작 | Bench2Dex, DexJoCo |
| 휴머노이드 로코-매니퓰레이션 | SIMPLE |
| 장기 가사 활동 | BEHAVIOR |
| 비전-언어 내비게이션 | VLN-CE(R2R·RxR), LHPR-VLN |
평가 규칙은 '준비'와 '테스트'를 나눈다. 준비 단계에서 ICL 지식 패키지를 만들어 동결하고, 테스트 에피소드는 매번 새 세션에서 과제 지시·동결된 패키지·허용된 관측/행동 인터페이스만 받고 시작한다. 한 에피소드 안의 상호작용 기록은 유지돼 모델이 실수를 진단하고 복구를 시도할 수 있지만, 에피소드 사이에는 정보가 넘어가지 않는다. 확장 예산은 리셋이 아니라 같은 에피소드를 이어가는 방식이라, 누적된 결과(엎지른 물, 떨어뜨린 부품)까지 그대로 안고 간다.
비교 대상은 각 설정의 최고 공개 성적(SOTA)과 최고 공개 에이전트 기법(Agentic SOTA)이며, SOTA 기준일은 2026년 10월 12일이다. 이 설계가 재는 것은 '시연이 주어지고 시간을 충분히 줬을 때의 능력 상한'이다. 반대로 못 재는 것도 분명하다. 시연이 없을 때의 범용성, 그리고 추론에 걸리는 실제 시간(지연)은 스텝 예산에 들어가지 않는다. 뒤에서 보듯 이 둘이 현장에서 발목을 잡는다.
ICL만 켠 표준(1×) 예산에서도 GPT-6-Astra는 대부분 설정에서 최고 공개 성적을 맞추거나 넘어섰고, LIBERO-Ultra-Long과 DexJoCo에서는 최고 공개 성공률을 거의 두 배로 끌어올렸다.
시연의 효과. SIMPLE 실험은 ICL의 효과를 따로 떼어 보여준다. 공통 4개 과제에서 과제 수준 ICL은 표준 예산 성공률을 70.8%에서 90.8%로 올렸고, 성공한 에피소드의 길이도 줄였다. 다만 이 이득은 학습 데이터가 테스트 과제를 얼마나 가깝게 덮느냐에 달렸다. LIBERO 계열·SIMPLE·VLN-CE처럼 분포가 가까우면 포화에 근접하지만, 멀어지면 약해진다.
재시도의 효과. 예산을 10×로 늘리면 정밀·양손 조작이 필요한 RoboDojo에서 성공률이 대략 세 배가 됐고, 1×에서 못 끝낸 에피소드의 약 4분의 3이 완료됐다(Bench2Dex도 두 배 넘게 올랐다).
추가 시간으로도 안 풀리는 과제. 장기 내비게이션인 LHPR-VLN은 확장 예산으로도 소폭 상승에 그쳐 전 설정 중 최저에 머물렀다. 시간을 더 주면 풀리는 문제와 구조적으로 안 풀리는 문제가 나뉜다.
추가 시도가 왜 어떤 실패에는 듣고 어떤 실패에는 무력한지는 RoboDojo 머그 걸기에서 드러난다. 모델은 카메라로 장면을 보고, 손잡이와 못이 겹쳐 보이는 화면을 '걸렸다'는 신호로 읽는다. 과제가 안 끝났다는 신호가 오면 자세를 다시 맞추지만, 성공 여부를 처음부터 잘못 읽었기 때문에 같은 오판을 되풀이한다. 여기까지가 보고서에 기록된 관찰이다.
여기서 한 가지 해석이 따라 나온다(보고서의 관찰이 아니라 필자의 추론이다). 재시도가 복구로 이어지려면 세 가지가 함께 있어야 한다. 첫째, 실패를 식별할 수 있어야 한다 — 머그 사례처럼 성공 판별이 어긋나 있으면 시간을 더 줘도 같은 실패만 쌓인다. 둘째, 바로잡을 행동이 남아 있어야 한다. 셋째, 수정할 수 있는 상태가 남아 있어야 한다 — 이미 물을 엎지르거나 부품을 떨어뜨린 뒤라면 되돌릴 자리가 없다. RoboDojo의 정밀 그룹이 재시도로 복구된 건 이 셋이 갖춰진 경우이고, 아래에서 볼 세 가지 잔여 실패는 이 조건이 하나씩 깨지는 경우다.
ICL과 확장 예산을 함께 켠 최종 성공률은 과제 성격에 따라 이렇게 갈린다.
| 설정 | ICL + 확장 예산(10×) 성공률 |
|---|---|
| LIBERO 계열 · SIMPLE | 95% 초과 (포화 근접) |
| VLN-CE | 약 90% |
| DexJoCo | 87.3% |
| RoboDojo | 81.9% |
실제 로봇 8종 검증은 제목의 '현실'을 직접 겨눈다. GPT-6-Astra는 다양한 로봇 몸체에서 작동했지만 성공률은 과제에 크게 좌우됐다. 탁상 그래스핑(물체 집기)은 잘한 반면, 천 같은 변형체 조작·정밀 접촉·장기 과제는 여전히 어려웠다. 필요한 장면을 보려고 카메라를 스스로 옮기는 능동 시각(active vision)을 보였고, 느린 System 2가 고주파 로코모션 컨트롤러(여기선 'System 0'라 부른다)와 직접 협업해 휴머노이드 조작을 해내기도 했다. 그러나 현실에선 안전 제약·기계적 한계·실시간 요구 때문에 '스텝을 더 써서 성공률을 사는' 전략이 통하지 않고, 시뮬레이션 ICL의 전제였던 성공 시연도 수집이 비싸거나 아예 없다.
가장 큰 제약은 비용이다. 저자들은 소비 토큰의 약 98%가 캐시된 입력 토큰이라며 '토큰 100만 개 ≈ 1달러'를 어림 규칙으로 쓴다. 문제는 토큰값이 아니라 시간이다. 표준 예산에서 성공률이 이미 97%를 넘는 LIBERO-Long++조차 에피소드 하나에 약 100만 토큰과 거의 한 시간의 추론·도구 사용이 든다. 성공률이 높아도 한 건을 끝내는 데 한 시간이 가까이 걸린다는 뜻이다. LIBERO-Ultra-Long은 약 900만 토큰에 거의 두 시간으로 뛰고, 예산을 확장하면 RoboDojo의 한 에피소드는 평균 세 시간을 넘긴다.
이 비용은 하네스 설계와 직결된다. 닫힌 고리 협업은 단독 실행이나 열린 고리보다 성능을 크게 올리지만, System 2를 자주 부를수록 토큰과 시간이 함께 불어난다. 저자들은 더 긴 행동 시퀀스를 한 번에 검토하면 이 교환이 나아지고, 닫힌 고리와 ICL을 합치면 성능이 가장 높지만 비용도 가장 크다고 보고한다. 행동을 표현하는 방식도 영향을 준다. 관절 각도를 하나하나 직접 제어하면 성능이 떨어지고, 팔 끝의 손·집게(엔드이펙터)에게 '무엇을 하라'를 뜻 단위로 지시하는 편이 낫다. 여러 동작을 묶어 한 번에 검토하는 적응적 행동 청킹은 성능을 올리면서 불필요한 모델 호출을 줄인다. 요컨대 추론 능력에 맞는 행동 공간을 열어주되 정밀 실행은 하위 컨트롤러에 맡기고, 검토 빈도로 정확도와 비용을 저울질하는 것이 설계의 핵심이다. 같은 두뇌라도 하네스를 어떻게 짜느냐가 성능을 좌우한다 — 같은 GPT-6-Astra를 쓰는 최신 에이전트 기법(Agentic SOTA)마저 이 방식이 앞선다.
저자들이 직접 인정한 잔여 실패는 세 갈래이고, 앞의 '재시도 세 조건'이 하나씩 깨지는 자리와 맞물린다.
첫째, 물리적 성공을 검증하지 못한다. 과제가 안 끝났다는 건 알아채도 어떤 물리 조건이 안 맞는지 짚지 못해 교정이 수렴하지 않는다. Bench2Dex 직소 퍼즐에서 네 조각이 사각형을 이뤘다고 보고하면서도, 에피소드가 안 끝난 걸 보고 계속 간격을 조정하다 오히려 조각을 다시 벌린다.
둘째, 되돌릴 수 없는 실패에서 복구하지 못한다. 초반에 물을 엎거나 부품을 떨어뜨리면 그 사고가 이후 하위 과제를 통째로 무너뜨린다.
셋째, 장기 과제에서 진행 상태를 보존하지 못한다. 뒷 단계가 의존하는 '열어둔 뚜껑'이나 '놓아둔 물체' 같은 진행이 사라져 과제가 막힌다.
전이에도 한계가 있다. ICL 패키지는 대체로 과제 특화라, 출처 과제에서 멀어지면 이득이 약해진다. 전용 시연이 없는 RoboDojo Open 그룹은 다른 그룹으로 만든 패키지에 기대는데, 추가 상호작용의 덕은 보지만 전 그룹 중 성공률이 가장 낮다. 애초에 학습셋이 없는 RoboLab에서는 나열된 기준선을 앞서긴 해도 절대 성공률은 중간에 그친다.
그렇다면 앞으로의 벤치마크는 무엇을 재야 하나. 보고서는 세 원칙을 제안한다.
세 번째가 특히 현실적인 이유는, 가사 프로토타입에서 모델이 자기가 열어둔 냉장고를 잊거나 생각하는 사이 관측이 낡아버리는 한계가 그대로 드러났기 때문이다.
온틀(ONTLE)은 소기업이 사람을 못 뽑아 쌓이는 반복 업무를 맡아 처리하는 AI 에이전트를 만들고, 그 중심에 과제를 끝까지 끌고 가는 'AI PM'을 둔다. 한 장면으로 보자. AI PM이 어느 소기업의 '월말 거래처 정산'을 맡았다. 거래처 10곳의 세금계산서를 모아 정산표를 갱신하고, 미수금이 남은 곳에는 안내 메일 초안을 올려 사장 승인을 받는 일이다. 로봇팔과는 전혀 다른 일이지만, 이 논문의 장기 과제와 세 가지를 공유한다. 여러 하위 과제를 순서대로 밟고(다단계 실행), 중간 상태를 보존하며(상태 보존), 각 단계가 진짜 끝났는지 확인해야 한다(완료 검증)는 점이다. 차이도 분명하다. 업무 시스템은 로봇과 달리 기록을 다시 조회할 수 있고 잘못된 수정을 되돌릴 수도 있어, '엎지른 물'이 덜 치명적이다.
설계가 갈리는 지점은 '완료 검증'이다. 모델이 "정산 완료했습니다"라고 보고해도 셀 값은 틀려 있을 수 있다. 이 논문의 1번 잔여 과제인 '물리적 성공 검증 실패'가 사무 업무에서는 이 모습으로 나타난다. 그래서 AI PM의 정산 단계는 갱신을 마친 뒤 정산표를 다시 읽어 거래처별 원장과 합계를 대조하고, 어긋나면 완료로 넘기지 않는다(구현된 기능). 진행 상태도 모델의 기억이 아니라 외부 테이블에 기록하고 매 단계 되읽게 해, "10곳 중 7곳까지 처리하다 8번째에서 앞의 미수금 상태를 잊는" 실패를 구조로 막는다(구현된 기능). 신규 거래처가 들어와 회사 전용 작업 매뉴얼이 덮지 못할 때 성능이 떨어지는지는 — 로봇 벤치마크에서 관찰된 ICL의 한계일 뿐 우리 정산 업무에서 확인된 결과는 아니므로 — 실제 데이터로 검증할 가설로 둔다(설계 제안).
정리하면, 지금 범용 모델은 '풀 수 있다'까지 왔다. 그 역량을 믿을 수 있고(검증), 끝까지 추적되며(상태 보존), 비용이 맞는(하네스) 제품으로 번역하는 것이 AI PM 설계가 하는 일이다.
정산 사례를 당신의 제품에 대입해 세 가지를 점검하라.
아닙니다. 보고서는 전 평가에서 GPT-6-Astra의 가중치를 고정했다고 명시합니다. 성능은 가중치 갱신이 아니라 맥락 내 학습(ICL)—시연으로 만든 지식 패키지를 맥락에 넣는 방식—과 확장된 실행 예산에서 나옵니다.