PhysEvo라는 로봇 연구는 모델을 손대지 않기로 했다. 로봇을 조종하는 모델(이 글에서는 Astra라고 부른다)은 학습으로 얻은 내부 설정값, 즉 가중치까지 통째로 얼려 둔다. 그 대신 모델과 로봇 팔 사이에 낀 시스템만, 실패한 기록을 읽어 스스로 뜯어고친다.
결과부터 보자. 똑같은 모델의 똑같은 능력을 세 가지 방식으로 조직해 같은 과제 10개에 붙였다. 로봇을 직접 조종하게 하면 성공률 26%. 행동만 전담하도록 따로 학습시킨 정책에 맡기면 48%. 경험으로 고친 그 중간 시스템을 거치게 하면 68%였다. 모델은 한 글자도 안 바꿨는데, 이 방식이 가장 높았다.
먼저 선을 하나 긋고 가자. 이 68%는 '과제마다 따로 키워서 고정한 버전'의 성적이다. 아무 일이나 바로 맡길 수 있는 범용 로봇 하나를 만든 게 아니다. 무엇을 입증했고 무엇은 아닌지, 이 구분이 글 끝까지 중요하다.
그 '중간 시스템'을 논문은 하네스(harness)라고 부른다. 모델의 명령을 실제 로봇 동작으로 옮기는 층이다. 숙련된 요리사가 서툰 보조에게 건네는 '재료 손질법'이나 '조리대 쓰는 규칙' 같은 것이라고 보면 된다. 요리 솜씨(모델) 자체가 아니라, 그 솜씨가 주방에서 실제 접시로 나오게 만드는 절차다.
모델을 얼린 채 주변만 고치는 발상이 완전히 새로운 건 아니다. PhysEvo가 다른 점은, 로봇에게 명령을 내리는 행동 인터페이스는 물론 '무엇이 왜 틀렸는지 들여다보는 진단 도구'까지 편집 범위에 넣되, 모델 하나만은 끝까지 얼렸다는 데 있다.
물을 따르던 로봇이 멈칫한다. 손에 쥔 병이 손목 카메라를 가려 버려서, 물이 컵에 들어가는지 바닥에 쏟아지는지 볼 수가 없다. 이 로봇의 머리는 똑똑하다. 물체를 분류하는 과제에서는 100%를 맞힌다. 눈으로 보고 판단하는 건 거의 완벽하다. 그런데 손을 쓰는 순간 무너진다.
왜 하필 저렇게 제 눈을 가리는 자세가 나올까. 로봇에게 "저기로 가라"고 시킬 때, 보통은 손끝이 도착할 목표 지점 하나만 찍어 준다. 이걸 TCP(도구 끝점 제어)라고 한다. 거기까지 팔을 어떻게 접어서 가져갈지는 로봇이 알아서 거꾸로 계산한다. 이 자동 계산이 역기구학이다. 문제는, 목표점만 찍어 주는 순간 '어떤 자세로 갈지' 고를 권한이 통째로 그 자동 계산에 넘어간다는 데 있다. 그래서 병이 카메라를 가리는 어정쩡한 자세가 나와도, 모델에게는 "관절을 이렇게 놓아라"라고 끼어들 수단조차 없다.
그러니 저자들의 진단은 "모델이 멍청해서"가 아니다. 병목은 머리가 아니라 그 사이의 인터페이스에 있었다. 같은 방식으로 한 번 더 시도해 봐야 소용없다. 필요한 건 쓸 만한 시야를 확보하거나, 자세를 직접 고를 권한을 되찾는 것 — 인터페이스 자체를 바꾸는 일이다.
여기가 이 연구에서 가장 묘한 대목이다. 실패를 못 막은 바로 그 모델이, 어떻게 그 실패를 고칠까.
답은 "언제 보느냐"에 있다. 행동을 고르는 순간에는 없던 증거가, 다 끝난 뒤 되짚어 볼 때는 남아 있다. 실행이 끝나면 모델이 어떤 명령을 내렸고 로봇이 실제로 어떻게 움직였는지가 전부 기록으로 남는다. 그 사후 기록을 보면 어디서 미끄러졌는지 짚을 수 있다. 실제로 물 따르기에서는, 이 기록을 보고 '빈 팔로 옆에서 장면을 지켜보라'고 스킬을 하나 고쳤더니 다음 시도가 성공했다. 여기서 스킬이란, 로봇이 특정 상황에서 어떻게 움직일지 적어 둔 지침을 말한다.
권한을 되돌려 준 효과는 숫자로도 드러난다. 모델도 스킬도 초기 상태도 예산도 똑같이 맞추고, 세 방식(손끝 목표만·관절 직접·둘 다)을 두 배치에 걸쳐 나란히 비교했다(전체 합계 6회). 손끝 목표만 주는 제어는 평균 40점, 관절을 직접 고르게 한 제어는 100점이었다. 재미있는 건 둘 다 쓸 수 있게 열어 줬을 때가 55점으로, 관절만 줬을 때보다 오히려 낮았다는 점이다. 도구를 많이 쥐여 주는 게 능사가 아니다. '맞는 권한'을 주는 게 핵심이라는 신호다.
그래서 PhysEvo는 한 모델에게 두 역할을 번갈아 맡긴다. 하나는 관찰하고 로봇을 조종하는 작업 에이전트. 다른 하나는 그 실행을 뜯어보고 도구와 스킬을 고친 뒤, 수정안을 시험해 쓸 만한 것만 남기는 메타 에이전트다. 둘은 같은 모델이지만 주어지는 맥락과 손댈 수 있는 도구가 다르다.
같은 사람이 경기 중엔 운전대를 잡고, 끝나면 정비공이 되어 차를 손보는 셈이다. 운전 실력(모델)은 그대로지만, 차(하네스)는 경기를 거듭할수록 나아진다.
경계는 분명하다. 메타 에이전트가 손댈 수 있는 건 행동·관찰 도구, 실행 로직, 스킬, 심지어 자기 진단 도구까지다. 반대로 끝까지 못 건드리는 건 셋 — 모델 가중치, 로봇이 따르는 물리 법칙, 그리고 과제를 채점하는 기준이다.
루프 자체는 단순하다. 실행하고, 기록을 보고 원인을 가설로 세우고, 도구나 스킬을 고치고, 고친 걸 시험하고, 통과한 것만 다음 시도로 넘긴다. 채택 기준은 짜다. 동작이 바뀌는 수정이라면 같은 과제·같은 초기 장면에서 지금 하네스와 나란히 돌려, 점수가 오르거나 적어도 떨어지지 않으면서 막혔던 지점을 넘어설 때만 받아들인다. 내려가면 버린다. 도구를 바꾸면 그 사용법까지 같이 고쳐 넘긴다. 그래야 다음 차례가 새 능력과 쓰는 법을 한꺼번에 물려받는다.
여기에 한 겹이 더 있다. 한 라운드에서 만든 도구가 전혀 다른 라운드의 교정을 돕기도 한다. 짐 싸기 과제가 그랬다. 메타 에이전트는 이전 라운드에 자기가 만들어 둔 리뷰 도구를 다시 꺼내, 상자가 밀려나는 현상을 그 앞의 충돌 — 세워 둔 상자 덮개가 손목과 집게손에 부딪힌 순간 — 까지 거슬러 추적했다. 그리고 상자를 돌리기 전에 덮개 위로 여유 공간을 확보하라고 스킬을 고쳤다. 차를 고치는 데 그치지 않고, 더 나은 렌치를 만들어 다음 정비 때 그 렌치를 쓰는 격이다. 개선이 복리로 쌓인다. 저자들이 "물리적 재귀 자기개선"이라 부르는 핵심이 이것이다.
이 점수가 진짜 실력인지, 아니면 개발하면서 본 문제의 '족보'를 외운 결과인지는 어떻게 가려냈을까.
목표는 공정한 시험이다. 그래서 채점에 쓸 물체 배치는 개발하고 고치는 내내 한 번도 보여주지 않았다. 처음 보는 다섯 가지 배치를 채점 때만 꺼내 한 번씩 돌리고 그 결과를 평균한다. 자기개선으로 만든 수정안도 개발 중에만 시험하고, 이 채점용 배치에는 손대지 않는다. 과제마다 '배포 버전' 하나를 고정한 뒤, 그 버전으로 다섯 번을 치른다. 더 깐깐하게는, 채점 직전에 세션 맥락과 과거 화면 기록, 수정 가능한 메모리를 모두 비운다. 한 번의 시도 안에서 그때그때 바로잡는 건 허용하되, 한 번 고정한 도구와 스킬이 채점 도중에 바뀌지는 않게 했다. 그래야 처음 보는 상황에서도 통하는 개선만 점수에 남는다.
PhysEvo의 성공률은 62%다. 다만 이 62%는 42개 과제를 그대로 평균낸 값이 아니라, 아래 다섯 역량별 성공률을 동일 가중치로 평균한 값이다 — 42개 과제를 동일 가중치로 평균하면 58.57%다. 저자들이 가장 강한 공개 기준선으로 꼽은 상대(RoboDawn one-shot)의 47.17%를 역량 평균 기준 14.83%p 앞선다. 다만 모든 역량에서 이긴 건 아니다. 자기개선은 특정 역량에 집중적으로 작동했다.
| 역량 | 가장 강한 기준선과 비교 |
|---|---|
| 기억 | 크게 앞섬 (+46.67%p, 점수·성공률 모두 만점) |
| 열린 지시 수행 | 앞섬 (+17.50%p) |
| 정밀도 | 앞섬 (+15.00%p) |
| 장기 실행 | 비김 |
| 일반화 | 조금 뒤짐 |
여기서 "왜"를 물어야 한다. 하필 '기억'이 만점을 찍은 건 우연으로 보이지 않는다. 여기서부터는 결과가 아니라 그 결과를 읽는 해석이다. 실패 기록을 되짚어 스킬을 고친다는 메커니즘 자체가, 과거의 실수를 문서로 남겨 다음에 참고하게 만드는 일 — 곧 '기억'을 시스템에 심는 과정이기 때문이다. 같은 논리로 읽으면, 일반화가 뒤처지고(점수 51.08 대 55.08) 장기 실행이 제자리인 것도 설명이 된다. 하네스 수정은 "이 상황에서 이렇게 실패했으니 이렇게 고친다"는 국소적 교정에 강하다. 처음 겪는 유형으로 넓히거나 긴 단계를 끝까지 끌고 가는 힘은, 이 방식만으로는 크게 늘지 않는다.
인터페이스가 병목이라던 진단이 가장 선명하게 드러나는 자리는 따로 있다. 직접 조종만으로는 좀처럼 끝내지 못하는 어려운 조작 과제 8개다.
| 어려운 조작 과제 8개 | 성공률 |
|---|---|
| PhysEvo | 55.00% |
| Simate-beta | 50.83% |
| Liber-0 Preview | 46.44% |
| RoboDawn | 45.00% |
| 공식 Astra 기준선 | 1.25% |
같은 모델을 직접 조종만 시킨 공식 Astra 기준선은 1.25%에 머물렀다. 하네스를 고친 PhysEvo는 55%. 53.75%p 차이다. 가려진 시야와 접힌 자세 같은 인터페이스 문제가 성패를 가르는 영역에서, 모델이 아니라 그 주변이 길을 막고 있었다는 진단이 숫자로 가장 크게 벌어진다. 물론 이 안에서도 과제별 편차는 있다. 전방위 우세가 아니라, 특정 실패 유형에 강한 개선이다.
시뮬레이션에서만 통하는 얘기도 아니다. 진화시킨 하네스를 실제 로봇 팔(AgileX PiPER)에 올리고 같은 실행-수정 루프를 이어 갔다. 5개 과제를 각 5회씩, 모두 25회 시도해 평균 90.60점, 성공률 84%를 기록했다. 블록 쌓기·그릇 쌓기·펜 놓기는 100%, 물 따르기와 "PhysEvo" 글씨 쓰기는 각각 60%였다(쓰기는 점수 93). 눈여겨볼 대목은, 시뮬레이션에서는 안 보이던 현실의 틈을 같은 루프가 메웠다는 점이다. 흐르는 물이 앞으로 쏠리는 힘에 컵을 넘치자, 병 입구를 컵보다 살짝 뒤로 당기도록 따르기 스킬을 고쳤다. 물체 위치도 형상 계산만으로 잡던 것을, 먼저 카메라로 대략 다가간 뒤 가까이서 다시 재어 미세 조정하는 순서로 바꿨다.
좋은 숫자가 전부는 아니다. 곱씹어 둘 한계가 둘 있다.
첫째, 서두에서 그어 둔 선이 여기서 진짜 중요해진다. '처음 보는 물체 배치'에 대한 일반화는 입증됐다. 하지만 개발 과정 없이 '처음 보는 과제 유형'을 곧바로 푸는 능력은, 이 실험이 보여준 것이 아니다. 둘은 구분해서 읽어야 한다.
둘째, 이 방식이 돌아가려면 "같은 상황에서 두 버전을 나란히 비교할 믿을 만한 성과 신호"가 반드시 있어야 한다. 시뮬레이터의 채점기나 실환경의 과제별 성공 기준이 그 신호 역할을 한다. 그런 신호를 설계하기 어려운 영역에서는 이 방법을 그대로 옮기기 어렵다. 평가 자체가 로봇 조작이라는 물리 영역에 한정돼 있다는 점도 함께 기억해 두자.
그대로 베낄 수 있는 연구는 아니다. 이건 로봇 조작 이야기이고 온틀은 소프트웨어 PM이다. 넘어오는 건 설계 패턴뿐이다. 한 장면에 대 보자.
고객이 프로젝트 중간에 납기를 앞당겨 달라고 요청한다. AI PM 에이전트가 이를 받아 일정을 다시 짜고, 연동된 시스템에 변경을 밀어 넣는다. 문제는 실행이 끝난 뒤에야 드러난다. 미처 못 본 의존성 때문에 산출물 하나가 어긋나고, 지금은 사람이 그걸 알아채 손으로 되돌린다. 더 나쁜 건 같은 부류의 실수가 다음 고객의 납기 변경에서 또 반복된다는 점이다.
PhysEvo의 처방을 이 장면에 대면 이렇게 된다. 실행하는 PM과, 끝난 뒤 로그·변경 내역·결과를 읽어 실패를 진단하고 PM이 쓰는 도구와 플레이북을 고치는 역할을 나눈다. 그리고 고친 걸 다음 프로젝트가 물려받게 한다. PM이 쓰는 그 플레이북과 액션 도구가, 서두에서 말한 하네스의 소프트웨어 판이다. 성과를 더 똑똑한 모델이 아니라 이 중간층을 고치고 검증해 보존하는 규율에서 끌어낸다는 점에서, 에이전트의 행동 방식을 공통 규격으로 좁히고 서버가 그 실행을 검증하도록 바꿔 온 온틀의 방향과 겹친다.
단, 그냥 옮기면 안 되는 지점이 하나 있다. PhysEvo는 채점용 배치를 수정에서 철저히 뺐다. 온틀 식으로 옮기면, 액션 도구나 플레이북을 자기개선으로 고칠 때 그 검증은 개발용 사례로만 돌리고, 실제 고객이 결과를 받아들이는 수용 기준은 튜닝 대상에서 빼야 한다는 뜻이다. 고객의 수용 기준에 맞춰 도구를 깎기 시작하면, 그 고객 건은 통과해도 처음 보는 다음 프로젝트에서 통할 보장이 사라진다. "점수가 오르거나 적어도 떨어지지 않을 때만 채택한다"는 규칙은 그대로 PM 도구 개선의 기준으로 쓸 만하다.
그래서 이 연구가 남기는 한 줄은 이렇다. 더 똑똑한 천재 모델 하나를 기다리기보다, 실패를 기록으로 남겨 자산으로 쌓고 그 기록으로 제 도구와 절차를 스스로 고쳐 가는 시스템을 설계하는 편이 — 적어도 온틀이 선 자리에서는 — 더 빠른 길일 수 있다.
이 글에서 Astra는 논문이 다루는 '끝까지 고정된 단일 파운데이션 모델'을 가리키는 이름으로 읽으면 됩니다. 요점은 그 모델의 정체가 무엇이냐가 아니라, 얼려 둔 채 주변 시스템만 바꾼다는 설계에 있습니다.
모델은 함수를 호출하듯 행동 도구와 관찰 도구를 골라 씁니다. 기본 제어는 양팔을 지원하고, 물체를 쥔 상태에서도 쓸 수 있습니다. 관찰 도구는 환경을 진행시키지 않은 채 증거만 가져오거나 형상을 계산합니다. 실행기는 실제 구동기의 물리적 한계를 강제하고, 로봇이 명령대로 움직였는지 점검합니다.
직역하면 "Astra는 행동할 수 있다, 그러게 두라"입니다. 모델은 이미 로봇을 조종할 능력이 있고, 신뢰할 수 있는 조작을 가로막는 건 모델이 아니라 그 행동이 지나가는 시스템이라는 주장을 압축한 제목입니다. 그 시스템을 스스로 고쳐 쓰게 함으로써 '행동하게 두라'를 실현한다는 뜻으로 읽힙니다.