화면 왼쪽에 검은 그림자 하나가 떠 있다. 오른쪽에는 3D 물체가 비스듬히 돌아간 채 놓여 있다. 할 일은 단순하다. 물체를 조금씩 돌려서, 그 물체가 만드는 그림자를 왼쪽 목표 그림자와 똑같이 겹치게 만드는 것이다.
한 번에 끝나지 않는다. 지금 모습을 보고 → 한 칸 돌리고 → 바뀐 모습을 다시 보고 → 또 돌린다. 목표에 맞을 때까지 이 과정을 되풀이한다. 이렇게 "행동하고, 결과를 다시 관찰해서, 다음 행동을 고치는" 반복 구조를 닫힌 루프(closed-loop)라고 부른다. 로봇 팔이든 화면을 조작하는 소프트웨어 에이전트든, 현실의 에이전트는 모두 이 안에서 산다.
샤먼대·난양공대 연구진의 RoTA-Bench는 바로 이 닫힌 루프 안에서 최신 비전·언어 모델(VLM, 이미지와 글을 함께 처리하는 모델)이 어디까지 하는지를 재는 벤치마크다. 결과는 한쪽으로 기울었다. 초록 기준으로, 평가한 모델 중 가장 잘한 GPT-5.6-Sol이 100개 과제 중 17%를 풀었다. 학부생 20명은 같은 테스트셋을 통틀어 네 바퀴 돌며 전부 풀었다. 이 벤치마크가 겨냥하는 건 한 가지 구분이다. 이미지를 알아보는 능력과 본 것을 정확한 3D 조작으로 바꾸는 능력은 서로 다른 문제라는 것.
VLM은 요즘 그림을 꽤 잘 읽는다. 사진 속 물건이 뭔지 맞히고, 왼쪽에 있는지 오른쪽에 있는지도 답한다. 그런데 이 능력들은 거의 다 "고정된 이미지 한 장을 보고 한 번 대답하는" 방식으로 측정돼 왔다. 논문은 이런 평가를 정적(static) 벤치마크라 부른다. 행동도 없고, 결과를 되먹이는 피드백 루프도 없다.
상호작용형 벤치마크가 없진 않았다. 다만 논문이 정리한 바로는 저마다 빈 곳이 있다. 웹 브라우징이나 OS 조작은 2D 평면 화면 안에서만 돌아간다. 미로 탐색이나 슬라이딩 타일 퍼즐은 가로세로로 정렬된 격자 위에서 길을 찾는 문제라, 물체를 돌리는 회전 자세(pose)의 변화가 아예 없다. 그래서 "3D 방향을 눈으로 읽어 행동으로 옮기는" 바로 그 능력을 콕 집어 재는 자리가 비어 있었다. 3D를 모델에 직접 집어넣는(좌표계·3D 표현을 따로 주입하는) 접근과도 선을 긋는다. RoTA-Bench는 그런 보조 장치 없이, 모델이 2D 화면만 보고 3D 이해에 도달하는지를 본다.
여기에 설계 판단 하나가 깔려 있다. 연구진은 물리적 조작을 오직 회전으로만 제한했다. 이유는 둘이다. 첫째, 물체를 옆으로 돌리면 윤곽이 크게 달라지고 일부가 뒤로 숨는다 — 글로 받아적기 어려운, 눈으로만 풀리는 시각 문제가 된다. 둘째, 회전만 쓰면 밀기·마찰·쥐는 방식 같은 잡다한 물리 변수가 끼어들지 않아, 공간 방향을 읽는 능력만 깨끗하게 떼어 볼 수 있다.
과제를 한 장면으로 그리면 이렇다. 목표 실루엣(검은 그림자)이 주어지고, 그 옆에 3D 물체가 어정쩡하게 돌아가 있다. 모델은 정해진 회전 동작을 골라 물체를 조금씩 돌려 두 그림자를 겹치게 만든다.
고를 수 있는 동작은 24가지로 딱 떨어진다. 세 개의 카메라 축(위아래로 끄덕이는 pitch, 좌우로 도리질하는 yaw, 화면 안에서 빙글 도는 roll) × 두 방향(정/역) × 네 가지 크기(큰 각부터 미세한 작은 각까지). 여기에 "그만"을 뜻하는 STOP 하나가 붙는다.
매 스텝 모델이 손에 쥐는 입력은 네 가지다.
겹친 정도는 투영 IoU(Intersection over Union, 두 그림자가 겹친 면적을 합친 면적으로 나눈 값, 1에 가까울수록 완벽히 겹침)로 잰다. IoU가 임계값(본문 그림·서술 기준 0.90)을 넘는 순간이 성공이다.
연구진은 흔한 3D CAD 모델을 쓰지 않았다. 익숙한 모양은 모델이 학습 때 외워둔 사전지식(의자는 이렇게 생겼지)을 자극해, 보고 추론하는 대신 기억으로 때우게 만들기 때문이다. 대신 오픈소스 아이콘 라이브러리(Game-icons)의 2D 벡터 아이콘을, 구(球) 안에 가둔 채 깊이 방향으로 밀어내(sphere-bounded extrusion) 생소한 3D 입체로 바꿨다. 이 방식에는 두 가지 수학적 보장이 따라붙는다. 정면에서 본 모습(canonical front view)은 원래 아이콘의 세밀한 윤곽을 그대로 재현하고, 물체의 모든 점이 반지름 안에 들어가므로 아무리 돌려도 화면 밖으로 잘려나가지 않는다(카메라 배율이 전역 고정).
또 하나는 가역적 초기화(reversible initialization)다. 정답 자세에서 출발해 되돌릴 수 있는 회전들을 무작위로 쌓아 초기 자세를 만들되, 직전 동작의 즉시 역회전은 금지해 헛도는 것을 막는다. 쌓은 순서를 거꾸로 되밟기만 하면 반드시 정답에 닿으므로, 생성된 과제 전부가 풀 수 있는 문제임이 구조적으로 보장된다. 이렇게 674개를 만들고, 참조 경로 길이를 기준으로 층화 표집(stratified sampling, 길이 분포를 고르게 섞어 뽑기)해 100개 테스트셋을 고정했다. 나머지 574개는 학습·연구용으로 남겼다.
비교 대상의 폭이 이 논문의 설득력을 만든다. VLM 9종, 에이전트 프레임워크 2종(ReAct, Magentic), 학부생 20명, 확률 기준선 2종, 그리고 정답을 들여다볼 수 있는 탐욕(greedy) 기준선 2종을 같은 규칙·같은 행동 공간·같은 결정 예산·같은 성공 기준으로 돌렸다. 실험 환경은 아래와 같다.
| 항목 | 내용 |
|---|---|
| VLM 9종 | GPT-5.6-Sol·Terra·Luna, GPT-6-Astra, Gemini 3.6 Flash, Claude Opus 5, Claude Sonnet 5, Qwen 3.7 Plus, SpatioLM-Understanding-InternVL3.5 |
| 공통 설정 | temperature 0, 결정 한도 48스텝 |
| 상용 모델 호출 | API, 총 비용 $1,482.07 |
| 로컬 배포 | SpatioLM = A100(40GB) 8장 |
| 사람 평가 | 학부생 20명이 각 20개 블록 담당, 테스트셋 전체를 네 번(총 400회) 수행 → 400회 전부 성공 |
평가 지표는 두 층으로 나뉜다. 겉층은 과제 성능 — 성공률, 평균 최종 IoU, 평균 회전 스텝 수다. 에피소드는 성공하거나, STOP을 누르거나, 48번 결정 한도에 걸리거나, 더 나아지지 않고 정체되면 끝난다.
속층이 실패의 원인을 가른다. 연구진은 모델에게는 알려주지 않는 실제 3D 자세 오차(pose error)를 정답 데이터로 따로 계산한다. 그리고 각 회전을 방향(어느 축·어느 부호)과 각도(스텝 크기)로 쪼개 따로 채점한다. 유효 방향 비율(Effective Direction Rate)은 자세 오차를 줄이는 올바른 방향을 고른 비율이고, 최적 각도 비율·각도 격차·각도 손실은 방향을 맞게 골랐다는 전제에서 각도까지 얼마나 정밀하게 골랐는지를 잰다.
한 가지는 미리 분명히 해두자. IoU는 겉보기 겹침만 잴 뿐, 3D 자세가 실제로 일치하는지는 재지 않는다. 대칭성과 정사영 탓에 서로 다른 3D 자세가 똑같은 그림자를 만들 수 있기 때문이다. 그래서 자세 오차는 성공 기준이 아니라 진단용으로만 쓴다. 겉보기 겹침과 진짜 자세는 같은 말이 아니다 — 이 구분이 다음 결과를 읽는 열쇠다.
최고 성공률은 GPT-5.6-Sol의 17.0%였다. 그다음이 Gemini 3.6 Flash와 GPT-6-Astra로 각 10.0%. Claude Sonnet 5·Claude Opus 5·Qwen 3.7 Plus는 성공률 0%였고, 최종 IoU가 균등 무작위(0.473)를 겨우 웃돌았다. SpatioLM은 더 극단적이다. 행동의 91.12%가 YAW_POS 10° 한 동작에 쏠리는 정책 붕괴를 일으켜, 성공률 0%에 최종 IoU 0.463으로 무작위보다도 낮았다. 반면 사람은 100.0% 성공, 평균 최종 IoU 0.923을 평균 16.22스텝에 달성했다. 그림 3에 따르면 사람의 궤적은 0.90 임계값을 넘는 반면, 모델들의 궤적은 대략 0.50~0.63 사이에서 일찌감치 평평해진다.
다음 분석은 이 실패가 방향 선택과 각도 조절 중 어디서 생기는지를 나눈다. 두 탐욕 기준선이 그 입구다. 둘 다 정답 시뮬레이터로 24개 후속 수를 미리 다 비교할 수 있는 치트 기준선인데, 보는 곳이 다르다. IoU-greedy는 다음 스텝의 겉보기 겹침을 최대화하는 수를, pose-greedy는 진짜 3D 자세 오차를 최소화하는 수를 고른다. 결과가 갈렸다. 겉보기 겹침만 좇은 IoU-greedy는 39.0% 성공(최종 IoU 0.725)에 그친 반면, 진짜 자세를 아는 pose-greedy는 100.0% 성공(0.924, 8.32스텝)으로 전부 풀었다. 눈앞의 겹침을 키우는 전략만으로는 많은 과제가 막히고, 진짜 자세에 접근할 수 있으면 다 풀린다는 뜻이다.
왜 겹침만 좇으면 막히는가. 한 사례로 보자. 겹침이 좋아지는 쪽으로 한 수를 두었는데, 그 수가 물체를 다른 자세로 돌려놓는 경우가 있다. 그림자는 목표에 가까워 보이지만 3D 자세는 오히려 멀어진 상태다. 당장의 겹침은 이득이어도, 그다음에 목표로 가려면 방금 벌어진 자세 차이를 되돌려야 하므로 길이 더 꼬인다. 실제로 같은 상태(matched states)에 놓였을 때, GPT-5.6-Sol은 이렇게 "겹침은 개선되지만 자세 정렬은 나빠지는" 수를 사람보다 자주 둔다(19.4% vs 10.9%). 겉보기 지표에 낚이는 IoU-greedy의 실패와 같은 결의 이야기다.
방향과 각도 분해도 같은 그림을 그린다. GPT-5.6-Sol의 유효 방향 선택률은 58.75%로, 사람(83.91%)에 한참 못 미치고 균등 무작위(53.78%)를 겨우 넘는다. 방향을 맞게 골랐을 때조차 선택 각도와 최적 각도의 평균 편차가 6.49°로 사람(2.99°)의 두 배가 넘고, 그 결과 스텝당 평균 2.25°의 각도 손실을 낸다(사람 0.96°). 반면 둘러본 양(표면 커버리지)은 GPT-5.6-Sol 79.58%로 사람 83.07%에 근접한다. 실패 원인이 "충분히 둘러보지 못해서"는 아니라는 뜻이다.
마지막 조각은 히스토리다. GPT-5.6-Sol로 30개 과제를 돌린 입력 제거(ablation) 실험 결과다. 전체 입력을 다 준 기준은 성공 5/30(16.67%), 최종 IoU 0.5656이다. 여기서 보조 깊이 뷰를 빼면 성공률이 3.33%, IoU가 0.5490으로 떨어진다. 상호작용 히스토리를 빼면 성공이 0/30으로 사라지고 IoU는 0.4822까지 내려가 균등 무작위(0.4808)에 바싹 붙는다. 더 말해주는 건 각도 분포다. 히스토리를 빼면 모델 행동의 96.76%가 가장 큰(30°) 스텝 한 칸에 몰린다. 사전 IoU와 선택 각도 크기의 상관계수도 전체 입력에서는 -0.472(가까워질수록 작은 각도로 미세 조정)인데, 히스토리를 빼면 -0.242로 무너진다. 과거 시도를 기억하지 못하면 "거의 다 왔으니 살살 돌리자"를 못 한다는 것이다.
종합하면 메시지는 하나다. 이미지를 알아보는 능력과, 시각 증거를 정밀한 3D 제어로 바꾸는 능력은 다른 축이며, 현 프런티어 모델은 후자에서 사람과 큰 격차를 보인다.
저자들이 스스로 그은 선부터. 과제는 순수 회전으로 제한돼 있으니(설계 의도상 이동·마찰을 일부러 뺐다), 이 결과를 쥐기·밀기·이동이 섞인 일반 조작으로 바로 확장해 읽으면 안 된다. 자세 오차는 성공 기준이 아니라 진단 지표이며, 대칭성 때문에 "성공했지만 자세 오차가 0은 아닌" 경우가 정상적으로 존재한다. 입력 제거 실험은 100개 전체가 아니라 30개 부분집합에서 돌렸고, 그 분포가 전체와 잘 맞는다는 통계 근거(Spearman 상관·부트스트랩 신뢰구간)를 함께 제시했다.
남는 질문은 pose-greedy가 100%를 찍었다는 사실에서 출발한다. 이 치트 기준선은 세 가지를 한꺼번에 제공받았다. (1) 현재 상태를 아는 능력 — 진짜 3D 자세를 알고, (2) 행동 결과를 예측하는 능력 — 24개 후속 수를 미리 시뮬레이션하며, (3) 다음 행동을 고르는 능력 — 그중 자세 오차를 가장 줄이는 수를 택한다. 즉 "자세 정보만 있으면 쉽다"가 아니라, 자세 정보에 더해 결과를 미리 비교할 수단까지 쥐여줬을 때 쉬워진다는 이야기다. 그렇다면 실무의 승부처는 분명해진다. 모델이 (1)과 (2)를 시각 피드백만으로 얼마나 복원하느냐, 그리고 그중 무엇을 외부 도구(명시적 자세 추정, 3D 시뮬레이터 호출 같은 스캐폴딩)로 보완해줄 것이냐다. 성공률 17%는 특정 모델 세대·프롬프트·에이전트 구성에서의 스냅샷일 뿐, 이 보완을 어디까지 할 수 있느냐에 따라 달라진다.
온틀에서 이 결과가 바로 와닿는 지점은 구조다. AI PM이 운영 대시보드를 스스로 조작하는 상황 — 가령 캠페인 예산 분배 화면에서 스크린샷을 보고 슬라이더를 끌어 목표 배분에 맞추는 일 — 은 보고 → 끌고 → 바뀐 화면을 다시 보고 → 보정하는 닫힌 루프다. RoTA-Bench와 공유하는 건 이 반복 관찰·행동 구조이지, 3D 퍼즐의 숫자 그 자체가 아니다. 그래서 아래는 결론이 아니라 우리가 검증해볼 가설로 적는다.
표 1 기준으로는 뚜렷한 개선이 아니었습니다. ReAct는 최종 IoU 0.628로 수치상 가장 높았지만 성공률은 16.0%였고, Magentic은 2.0%였습니다. 둘 다 단일 모델 GPT-5.6-Sol의 17.0%를 넘지 못했습니다. 즉 프레임워크로 추론 과정을 감싸는 것만으로는 "방향·각도를 정밀하게 고르는" 병목이 풀리지 않았습니다.
그렇게 단순하지 않습니다. pose-greedy는 진짜 자세를 아는 것에 더해, 24개 후속 수를 미리 시뮬레이션해 그중 최선을 고르는 능력까지 함께 제공받았습니다. 실무에서는 이 세 가지(현재 상태 파악·결과 예측·행동 선택)를 어디까지 모델이 스스로 하고, 어디부터 외부 도구로 보완할지가 과제로 남습니다.