로봇에게 "컵을 집어 선반에 올려"라고 시킨다. 카메라로 장면을 보고, 말로 된 지시를 받아, 팔과 집게를 움직여야 한다. 이렇게 영상(Vision)과 언어(Language)를 받아 동작(Action)으로 바꿔 주는 모델을 VLA라고 부른다. 세 글자를 그대로 이은 이름이다.
그런데 이런 모델이 자주 보이는 실패가 있다. 컵 집기에 실패한다. 그런데도 로봇은 빈 집게를 든 채 선반으로 향한다. 손에 아무것도 없는데 내려놓는 동작까지 마친다. 지금 장면이 어떻게 바뀌었는지는 보지 않고, 학습 때 본 동작 순서를 그대로 되감아 재생한 것이다.
VLA-Δ는 여기에 다른 학습 목표를 세운다. 관찰을 동작에 곧바로 붙이는 대신, 지금 상태와 다음 상태 '사이의 차이(difference)'—무엇이 어떻게 바뀌어야 하는가—를 가르친다. 제목의 Δ(델타)가 이 변화량을 가리킨다.
이 연구가 겨냥하는 건 조작 성능이다. 상태 변화를 학습시켜 과제 성공률을 끌어올린다. 실패를 스스로 알아채고 되돌리는 '복구' 능력을 입증하는 건 범위 밖이다. 이 구분은 결과를 읽는 내내 따라오니 미리 적어 둔다.
VLA의 설계는 단순하다. 영상과 "서랍을 열어" 같은 지시를 받아, 미리 학습된 비전-언어 모델(VLM, 이미지와 글을 함께 이해하도록 학습된 모델)의 지식을 빌려 관절 동작으로 바꾼다. 벤치마크 점수는 이미 높다. 문제는 틀리는 방식이다. 목표에 닿기도 전에 집게를 닫거나, 집기에 실패하고도 놓을 자리로 이동한다. 둘 다 장면이 어떻게 바뀌는 중인지를 읽지 못한 모습이다.
여기서 학습 목표의 차이가 갈린다. 대부분의 VLA는 '이 관찰에는 이 동작'이라는 짝을 맞히도록 배운다. 관찰과 시연된 동작을 곧바로 대응시킬 뿐, 그 사이에 일어나야 할 물리적 상태 변화는 가르치지 않는다. 그래서 장면과 동작의 조합에만 들러붙고(과적합), 장면이 조금만 비틀리면 무너진다. VLA-Δ는 짝을 맞히는 대신 '지금에서 다음으로 무엇이 바뀌는가'를 맞히도록 배운다.
중간 과정을 다룬 연구가 없진 않았다. 논문은 기존 흐름을 세 갈래로 정리한다.
기존 접근은 고수준 작업 의미 아니면 미래의 겉모습을 가르친다. 정작 물체의 자세, 공간 관계, 로봇과 물체의 접촉이 지금에서 다음으로 어떻게 변하는지—물리적 상태 전이 그 자체—는 좀처럼 가르치지 않는다. 로봇이 취할 동작을 실제로 규정하는 건 이 변화다. 여기가 VLA-Δ가 파고드는 틈이다.
VLA-Δ의 중심에는 물리 상태 차이 쿼리(Physical State Difference Queries)가 있다. 쿼리는 동작 결정에 필요한 변화 정보를 담도록 학습되는 숫자 묶음이다. 처음엔 빈 그릇이지만, 학습이 끝나면 그 안에 '지금에서 다음으로 무엇이 바뀌는가'가 압축돼 들어간다.
컵을 집어 선반에 올리는 장면으로 보자. 로봇은 지금 화면과 집게 상태를 관찰한다. 쿼리는 그 관찰과 지시를 조건으로 변화 정보를 길어 올리고, 동작은 그 변화 정보를 보고 결정된다. 관찰 → 변화 → 동작. 가운데에 변화가 한 칸 끼어드는 게 핵심이다.
그러면 쿼리에 무엇을 담도록 훈련할까. 이 연구는 '컵이 지금 어디에 있고 집게가 닿았는가' 같은 변화를 세 가지 방식으로 기록하게 한다.
세 방식은 같은 변화를 서로 다른 언어로 받아 적는다. 그래서 한 방식이 놓치는 걸 다른 방식이 메운다. 화면의 움직임은 컵과 손이 어디로 갔는지 알려 주지만, 집게가 컵을 실제로 쥐었는지는 모른다. 쥐지 않고도 컵과 손이 나란히 미끄러질 수 있기 때문이다. 상태 항목은 쥐었는지 아닌지는 알려 주지만, 그 쥠이 목표에 가까워지는 쥠인지는 모른다. 문장 설명은 목표를 향한 진행의 방향은 주지만, 지금 화면의 구체적 움직임은 비어 있다. 셋을 함께 두면 컵의 위치, 집게의 접촉, 목표 진행이 한 쿼리 안에서 서로를 보완한다.
설계에는 한 가지 장치가 더 있다. 변화 정보를 만드는 통로가 원본 영상과 지시에는 직접 손대지 못하고, 오직 쿼리를 거치도록 길을 좁혔다. 관찰의 정보가 변화 설명에 쓰이려면 반드시 쿼리를 한 번 통과해야 한다는 뜻이다. 길목을 좁히면 세 방식의 신호가 쿼리 안으로 밀려 들어오고, 쿼리는 변화를 담도록 자연히 학습된다.
운영상 가장 중요한 결정은 이 세 기록을 사전학습 때만 쓴다는 점이다. 과제에 맞춰 미세조정(파인튜닝)할 때는 동작 목표 하나만 최적화한다. 과제마다 변화 주석을 새로 달 필요가 없다는 뜻이다. 배포 때도 변화 정보 추출과 동작 생성 경로만 남고 보조 목표는 계산하지 않는다. 그래서 추론 비용이 늘지 않는다. 미래 이미지를 매번 그려야 했던 WAM 계열의 약점을 비켜 간 지점이다.
성능이 어디서 왔는지는 절제 실험(ablation, 요소를 하나씩 켜고 꺼 기여를 재는 실험)이 가른다. 40개 LIBERO 과제 기준이다.
| 구성 | LIBERO 평균(%) |
|---|---|
| 고밀도 VLM 특징(사전학습 없음) | 95.70 |
| 고밀도 VLM 특징 + 사전학습(동작만) | 95.85 |
| 차이 쿼리만(사전학습 없음) | 96.25 |
| 차이 쿼리만 + 사전학습(동작만) | 96.45 |
| 쿼리 + 차이 텍스트 | 97.20 |
| 쿼리 + 구조화 슬롯 | 96.90 |
| 쿼리 + 광학 흐름 | 97.35 |
| VLA-Δ (전체) | 98.40 |
같은 데이터를 동작 감독만으로 쓰면 개선 폭이 거의 없다(95.70→95.85, 96.25→96.45). 반면 쿼리 메커니즘을 넣으면 기준선보다 0.55%p 오른다(95.70→96.25). 이 비교는 성능을 움직인 것이 '데이터를 더 봤다'가 아니라 '무엇을 가르쳤느냐'임을 보여 준다. 세 기록을 모두 더한 전체 구성이 98.40%로 가장 높다.
한 가지는 선을 그어 둔다. 표가 직접 보여 준 건 '세 기록을 더하면 성공률이 오른다'까지다. 앞서 설명한 '각 기록이 서로의 사각을 메운다'는 그 수치에 대한 해석이다. 둘을 포개 하나의 증명처럼 읽으면 수치가 감당하지 못하는 주장이 된다.
평가는 시뮬레이터와 실로봇 양쪽에서, 과제 성공률을 주 지표로 삼았다. 대표 결과만 추린다.
기본 수행(LIBERO). LIBERO는 네 세트(Spatial·Object·Goal·Long)로 기본 조작을 본다. VLA-Δ(2B)는 평균 98.4%로 표에 오른 모든 비교 방법을 앞섰다. openVLA-OFT 같은 7B급(97.1%)보다 작은 몸집으로 거둔 수치다.
환경을 흔들면(LIBERO-Plus·RoboTwin 2.0). LIBERO-Plus는 같은 과제에 언어·조명·배경·배치 네 가지 교란을 걸어 학습 때 못 본 상황을 시험한다. 네 교란 전반에서 높은 성공률을 유지했고, 언어 교란에서는 89.0%로 비교 대상 82.6%보다 6.4%p 높았다(이 비교는 언어 한 조건의 수치다). RoboTwin 2.0은 장면을 무작위로 흔든다. 깨끗한 설정 90.06%, 무작위 설정 89.74%로 둘 다 비교 방법을 앞섰다. 눈여겨볼 건 떨어지는 폭이다. 깨끗함에서 무작위로 갈 때 평균 하락이 0.32%p에 그쳤다. 같은 전환에서 가장 강한 기준선 ZR-0은 0.72%p, Motus는 1.50%p 떨어졌다. 상태 변화를 명시적으로 가르친 방향과 맞아떨어지지만, 이 대응은 저자들의 해석이지 과제 특성과 점수 사이의 상관을 넘어선 인과는 아니다.
실제 로봇(AgileX PiPER). AgileX PiPER 6-DoF 양팔 로봇에서 다섯 과제(장애물 회피·장기 수행·정밀 조작·공간 추론·환경 변화 일반화)를 각 40회씩 모두 200회 돌렸다. 평균 68.0%로, 초록 기준 비교 모델 π0.5보다 5.5% 높았다. 장애물 회피에서 42.5%로 가장 높았는데, 저자들은 이를 변화 서술에 들어가는 '피해야 할 장애물·지켜야 할 관계' 부분과 연결 짓는다.
성공률이 못 재는 것도 적어 둔다. 성공률은 '끝냈는가'라는 이진 결과만 담는다. 동작이 매끄러운지, 궤적이 안전 여유를 뒀는지는 들어오지 않는다. 시뮬레이터와 실로봇 성공률 사이의 간극도 그대로 남고, 저자들이 실로봇 200회를 따로 돌린 이유가 여기 있다. 성공률이 올랐다는 것과 로봇이 실패를 알아채고 복구했다는 것은 같지 않다. 앞서 둔 유보가 여기서도 유효하다.
로봇 논문이지만, 업무 에이전트를 운영하는 쪽에도 옮길 지점이 있다. 이 연구에서 얻은 설계 질문은 이것이다—업무에서도 행동이 아니라 상태 변화를 명시할 수 있는가.
온틀의 AI PM이 소기업의 재고 보충을 반복 대행한다고 하자. 매일 재고를 조회하고, 임계치 아래 품목으로 발주서를 만들고, 공급사 포털에 입력하고, 사내 장부를 갱신한다. 흔한 구축 방식은 '이 화면이 보이면 이 버튼'이라는 입력→행동 매핑을 시연으로 학습시키는 것이다.
문제는 발주가 중간에 반려될 때다. 에이전트는 반려 화면을 못 읽고 외운 다음 단계로 직진한다. 반려된 발주를 접수로 치고 장부를 갱신해 버린다. 집기에 실패하고도 선반으로 향하는 로봇과 같은 자리에서 미끄러진 것이다.
이 논문에서 빌릴 원칙은 하나다. 단계와 단계 사이의 '기대 상태 전이'를 명시 변수로 들고, 화면이 아니라 그 전이가 실제로 일어났는지를 본다.
여기서부터는 온틀이 제안하는 별도의 운영 설계이지, 논문이 구현한 내용은 아니다. 발주 단계라면 기대 상태를 먼저 적는다. "대상 품목이 미발주에서 발주 접수로 바뀌고, 접수 번호가 생기고, 공급사 확인이 대기로 선다." 다음 단계로 넘어가기 전에 이 전이가 실제로 일어났는지 확인한다. 어긋나면 직진하지 않고 멈추거나 되돌린다. 이때 논문의 비용 원칙—무거운 상태 학습은 사전에 몰고 실행은 가볍게—도 함께 가져온다. 실행 중 매 단계를 장황하게 추론시키면 느리고 비싸기 때문이다. 다만 실행 중 확인과 복구는 논문이 다룬 성능 향상의 범위를 넘어선, 온틀 쪽 설계 제안임을 다시 밝혀 둔다.
이 설계는 측정할 수 있다. 발주가 반려된 화면을 일부러 섞어 넣고, 상태 확인 장치를 넣기 전과 후로 두 숫자를 비교한다. 잘못된 장부 갱신 비율, 그리고 한 건 처리 시간. 비율이 떨어지고 시간이 과하게 늘지 않으면, 이 연결은 당위가 아니라 측정으로 선다.
구조화 전이 슬롯(Structured Transition Slots)은 과제 관련 상태 변수를 아홉 범주로 나눠 각각 예측 목표를 붙인다: 과제 진행도, 과제 단계, 목표 위치, 그리퍼 위치, 운동·상대 변위, 상호작용 가능 위치, 그리퍼 상태 전이, 접촉 전이, 장애물 위험. 범주마다 가벼운 예측 헤드가 해당 쿼리를 읽어 값을 낸다.
고밀도 광학 흐름(Dense Optical Flow)은 같은 시점에서 지금과 다음 관찰 사이의 2차원 움직임을 픽셀 단위로 가르친다. 손실은 전체 픽셀 평균 오차와, 움직임이 임계값을 넘는 '운동 픽셀'의 오차를 함께 쓴다.
미래 상태 차이 텍스트(Future-State Difference Text)는 지금과 미래 사이의 과제 진행, 공간 변화, 접촉 전이, 지켜야 할 물리 제약을 자연어로 서술하고, VLM 본연의 다음 단어 예측(자기회귀) 목적함수로 학습한다.
동작 생성은 GR00T N1 구조를 따른다. 백본은 Qwen3-VL-2B-Instruct, 동작 전문가(action expert)는 9층 Diffusion Transformer다. 동작 전문가는 변화 정보를 크로스 어텐션으로 받고, 따로 인코딩한 로봇 자세 감각(proprioception)과 합쳐, 플로우 매칭(flow matching)으로 노이즈를 연속 동작으로 바꾼다.
아홉 슬롯은 일곱 개의 고정 쿼리 그룹을 쓴다(과제 진행도·단계는 G12를, 그리퍼 상태·접촉 전이는 G78을 공유). 구조화 감독을 받은 쿼리의 내부 상태를 t-SNE로 2차원에 펼치면 그룹별로 또렷한 덩어리를 이루고, 감독이 없으면 흩어진다. 쿼리에 역할을 나눠 준 설계가 실제로 작동한다는 신호다.
사전학습 데이터는 약 484시간, 2,400만 프레임 규모로 DROID·MolmoAct·RH20T에서 모았다. VLM은 ZR-0 base 가중치로 시작했다. 상태 변화 주석은 사람이 일일이 달지 않았다. 모든 소스를 LeRobot v3 궤적 포맷으로 통일 → Qwen3.8로 영상을 조작 단계(접근·정렬·파지 등)로 분할해 키프레임·의미 라벨 생성 → SAM 3로 대상 물체·그리퍼·장애물의 경계상자와 분할 마스크 → UniDepth V2로 깊이 추정 → MegaFlow로 오프라인 광학 흐름. 품질 관리는 자동 검사(포맷 오류·시간 어긋남·좌표 이상·물체 정체성 불일치·깊이 이상)를 거치고, 복잡하거나 충돌하는 주석은 GPT-5.6이 시각 증거와 대조해 필드 단위로 검토하며, 마지막에 계층 표본 수동 감사를 둔다. 자동이지만 검사 없이 흘려보내는 구조는 아니다. 이 무거운 주석을 사전학습 한 번에 몰아넣어, 과제별로 다시 달지 않게 했다.