PhysBrain 1.5는 물리 환경을 이해하고, 행동을 만들어내고, 다음 장면을 예측하는 세 가지 일을 하나의 모델에 담은 연구다. 이미지와 글을 함께 다루는 일반 AI(비전-언어 모델)에서 출발해, 이 세 가지를 모두 같은 방식으로 학습시켰다. 그 결과 8B(80억 개의 조절 값을 가진) 크기로, 몸을 쓰는 상황을 이해하는지 평가하는 28개 시험에서 평균 72.5점을 받아 오픈소스(누구나 받아 쓸 수 있게 공개된) 부문 최고를 기록했다. 최고 수준 상용 모델인 GPT-6-Astra, Gemini 3.6 Flash와도 어깨를 나란히 했다.
다만 읽기 전에 못박아둘 구분이 하나 있다. 72.5점은 '이해'를 얼마나 잘하는지 재는 점수다. 행동 능력에도 정량 지표가 있긴 하다 — 부록 B.3을 보면 사전학습 동안 행동 토큰 예측의 perplexity(다음 조각을 얼마나 잘 맞히는지 재는 값, 낮을수록 좋음)가 학습 분포 안에서 17.12에서 5.07로, 학습에서 제외한 RoboDojo에서도 12.39에서 6.57로 떨어졌다. 다만 이것은 미리 녹화된 데이터에서 다음 행동을 맞히는 '오프라인' 지표일 뿐, 실제 로봇이 그 행동을 폐루프(움직이고 그 결과를 다시 보는 순환)로 실행해 작업을 성공시키는지는 이번에 검증되지 않았다. 한마디로 이 모델은 이해력은 물론 행동 예측까지 숫자로 보였지만, 실제로 몸을 써서 일을 끝내는 능력은 아직 추가 검증이 필요한 단계다. 이 구분을 쥐고 나머지를 읽으면 그림이 또렷해진다.
지금까지의 큰 AI 모델은 대부분 '보고 말하는' 데 능했다. 사진을 설명하고, 질문에 답하고, 글을 요약한다. 하지만 실제 세계에서 무언가를 '하는' 일은 다른 차원이다. 사람은 눈으로 보고, 손을 뻗어 개입하고, 그 결과 바뀐 장면을 다시 보는 순환 속에 산다. 컵을 보고, 잡고, 옮겨진 자리를 다시 보는 식이다.
기존 방식의 한계는 이 순환의 세 고리를 따로 다뤘다는 데 있다. 장면을 이해하는 모델, 동작을 만드는 모델, 다음 장면을 그리는 모델이 각각 따로 있었다. 눈 담당, 손 담당, 상상 담당이 서로 말을 섞지 못하는 셈이다. PhysBrain 1.5는 이 셋을 하나의 학습 틀로 묶으려 한다.
또 하나의 현실적 난제는 데이터다. 로봇이 직접 움직인 기록은 모으기 비싸고 양이 적다. 반면 사람이 물건을 다루는 영상은 세상에 넘쳐난다. 이 논문은 값싸고 풍부한 사람 영상을 학습의 주 연료로 삼는다.
가장 중요한 발상은 '서로 다른 정보를 모두 같은 언어로 번역한다'는 것이다. 여기서 말하는 언어란 토큰의 나열이다. 토큰은 정보를 잘게 끊은 조각으로, 언어 모델이 문장을 단어 단위로 쪼개 다루듯 여기서는 움직임과 장면까지 조각으로 쪼갠다.
PhysBrain 1.5는 세 가지를 모두 이 조각들의 줄로 바꾼다.
셋을 모두 조각으로 바꾸고 나면, 언어 모델이 원래 잘하던 한 가지 방법으로 전부 학습할 수 있다. 바로 '앞을 보고 다음 조각을 맞히는' 방식이다. 문장에서 다음 단어를 맞히듯, 로봇 손끝의 다음 위치나 다음 장면의 다음 조각을 맞힌다. 세 가지를 한꺼번에 최적화하니, 하나의 두뇌가 말하기·움직이기·상상하기를 같은 문법으로 배운다.
학습은 두 단계다.
첫째는 사전학습이다. 본격적인 훈련에 앞서 큰 감각을 잡는 단계로, 여기서 몸을 쓰는 능력을 가르치는 신호를 오직 사람의 영상에서만 가져온다. 로봇 기록이 아니라 사람이 물건을 다루는 영상이 교재다. 이때 '과제 중심 에피소드'라는 단위를 쓴다. 하나의 과제를 중심으로, 무엇을 왜 어디에서 하는지, 영상에서 복원한 움직임, 그 뒤에 이어지는 장면을 한 묶음으로 짝지어 준다. 요리 영상을 보며 '저 손이 이렇게 움직였고, 다음에 냄비가 저렇게 놓였구나'를 통째로 익히는 것과 닮았다.
둘째는 미세조정이다. 사전학습으로 큰 감을 잡은 모델을 세 종류의 데이터로 다듬는다. 사람의 시연, 실제 로봇의 움직임 기록, 가상 환경(시뮬레이션)에서 얻은 경험이다. 영상으로 잡은 감을, 실제 로봇과 가상 환경의 정밀한 데이터로 손끝까지 맞추는 셈이다.
핵심 수치는 아래 표에 모았다.
| 항목 | 내용 |
|---|---|
| 모델 크기 | 8B |
| 시험 수 | 28개 (몸 쓰는 상황 이해) |
| 평균 점수 | 72.5 |
| 위상 | 오픈소스 최고, 상용 상위권과 대등 |
| 오픈소스 최고 달성 | 28개 중 14개 |
숫자만큼 중요한 대목이 따로 있다. 로봇 동작을 배우면서도 원래의 일반 능력, 즉 이미지 이해나 언어 능력이 무너지지 않았다는 점이다. 새 기능을 넣으면 기존 기능이 퇴화하는 것이 이 분야의 흔한 함정인데, 그 균형을 지켰다. 실제 제품에 올릴 때 이 점이 특히 값지다.
행동과 예측 능력은 오프라인 정량 지표와 시연 장면으로 함께 제시된다. 부록 B.3의 행동 토큰 예측 perplexity가 사전학습 중 꾸준히 떨어졌고(학습 분포 내 17.12→5.07, 제외한 RoboDojo 12.39→6.57), 여기에 손끝 궤적을 만들어내고 다음 장면을 그리는 시연이 더해진다. 다만 이 수치는 미리 녹화된 데이터에서 다음 행동을 맞히는 오프라인 지표이지, 실제 로봇이 폐루프로 움직여 작업을 성공시킨 성공률은 아니다. 특히 다음 장면을 그릴 때 같은 장면을 세 겹으로 맞춰 함께 내놓는다. 색(RGB), 거리감(depth), 그리고 로봇 자신이 화면 어디에 있는지(robot-mask)다. 색만 상상하는 게 아니라 깊이와 자기 위치까지 함께 그린다는 뜻이다.
앞서 리드에서 짚은 구분이 이 절의 핵심이다. 평균 72.5는 '이해' 시험의 점수이고, 행동 예측은 오프라인 perplexity 지표(부록 B.3)까지는 확인됐다. 다만 실제로 로봇이 폐루프로 움직여 얼마나 정확히 잡고 옮기는지, 즉 작업 성공률을 재는 수치는 이번 발표 범위 밖이다.
또 하나. 사전학습을 사람 영상에만 기대는 방식은 확장성이 크지만, 사람의 몸과 로봇의 몸은 다르다. 사람 손과 로봇 집게(그리퍼)의 간극을 얼마나 메웠는지는 이번 발표만으로 판단하기 어렵다. 미세조정에서 실제 로봇 기록과 가상 환경을 섞은 것은 이 간극을 좁히려는 시도로 읽히지만, 그 효과가 얼마나 큰지 역시 수치로는 나와 있지 않다.
정리하면 '하나의 틀로 묶을 수 있다'는 가능성과 이해력의 강함은 설득력 있게 보였고 행동 예측의 오프라인 지표도 개선됐지만, 실제 조작의 폐루프 성공률과 일반화 범위는 본문과 후속 검증에서 확인해야 할 열린 질문으로 남는다.
온틀은 고객 프로젝트마다 AI 프로젝트 매니저를 파견하는 서비스다. 로봇 논문과 멀어 보이지만, 이 연구가 남긴 교훈 하나는 우리 제품 검증에 바로 꽂힌다. '이해를 잘한다'와 '실제로 해낸다'는 별개이며, 따로 평가해야 한다는 것이다.
PhysBrain 1.5는 이해 점수는 72.5로 또렷이 증명했고 행동 예측도 오프라인 지표로 보였지만, 실제 로봇이 폐루프로 일을 끝내는 능력은 검증 전이다. AI PM도 똑같다. 고객 요청을 정확히 알아듣는 능력(이해)과, 그 요청을 실제 업무 완수로 끝내는 능력(행동)은 다른 잣대로 재야 한다. 예를 들어 "지난주 지연된 작업 정리해줘"라는 요청을 PM이 매끄럽게 요약했다고 해서, 담당자 재배정과 일정 갱신까지 제대로 끝냈다는 보장은 없다. 그래서 온틀 QA는 두 축을 나눠 본다. 요청을 제대로 이해했는지(이해 정확도)와, 약속한 일이 실제로 처리됐는지(업무 완수율)를 각각 따로 측정한다. 벤치마크 점수 하나로 '되는 제품'이라 결론짓지 않는 습관을, 이 논문이 다시 확인해 준다.
이번 발표 기준으로는 행동 토큰 예측의 오프라인 정량 지표(부록 B.3의 perplexity 감소)와 손끝 궤적·다음 장면 예측 시연까지는 제시됐지만, 실제 로봇이 폐루프로 조작해 작업을 성공시키는지에 대한 수치는 제시되지 않았습니다. '움직일 수 있는 방향'을 보인 단계로 이해하면 됩니다.
로봇이 직접 움직인 기록은 모으기 비싸고 적은 반면, 사람이 물건을 다루는 영상은 풍부하기 때문입니다. 값싸고 많은 자원으로 기초 감각을 잡은 뒤, 정밀한 로봇·가상 데이터로 다듬는 순서입니다.
이 연구는 새 능력을 얻으면서도 기존 이미지·언어 이해 능력을 유지했다고 밝힙니다. 새 기능이 옛 기능을 밀어내는 흔한 함정을 피한 점이 실용적 강점입니다.