로봇이 작업을 하다 실패하면, 지금까지는 사람이 끼어들어 올바른 동작을 다시 시범 보여 주며 고쳐 왔다. 이 논문은 다른 길을 제안한다. 기초 학습을 이미 마친 로봇이, 사람의 추가 교정 시범 없이 스스로 성능을 끌어올리는 방법이다.
핵심은 이렇다. 한 로봇이 작업 도중 막히면, 그 순간의 상황을 단서로 삼는다. 그리고 같은 일을 하는 다른 로봇들이 전에 성공했던 기록을 뒤져, 비슷한 장면을 찾아낸다. 그때 그 로봇이 취한 동작을 본보기로 삼아 배운다. 사람이 새로 시범을 보일 필요가 없다 — 본보기는 함대(같은 일을 나눠 맡는 여러 대의 로봇 무리) 안에 이미 쌓여 있기 때문이다.
이 방식으로 다섯 가지 실제 손 작업에서, 가장 큰 함대 규모 기준 93.3~99.2%의 성공률에 도달했다. 칭화대(Tsinghua University), AgiBot, Infinigence AI가 함께 낸 논문이다.
로봇 파운데이션 모델(여러 작업에 두루 쓰도록 크게 사전학습해 둔 바탕 모델)은, 눈으로 본 것과 말로 받은 지시를 실제 움직임으로 옮긴다. 덕분에 로봇은 "일단 시도는 하는" 초기 능력을 얻는다. 하지만 이 초기 능력은 곧바로 믿을 만한 실행이 되지 못한다. 물체의 성질, 접촉하는 조건, 로봇마다 미세하게 다른 개체 차이가 자꾸 틈을 벌린다. 여러 단계로 이어지는 작업이면 그 작은 오차가 쌓인다. 폰을 집어 충전 포트에 꽂고 다시 상자에 담는 작업이라면, 한 단계의 흔들림이 통째로 실패로 번진다.
이 틈을 메우는 가장 확실한 길은 사람의 교정이었다. 원격 조종자(teleoperator, 로봇을 사람이 대신 움직여 주는 조작자)가 실행을 지켜보다가, 정책(로봇이 상황을 보고 다음 동작을 정하는 규칙)이 실패하는 순간 제어를 넘겨받아 올바른 동작을 보여 준다. 효과는 입증됐다. 다만 로봇이 늘면 사람도 같이 늘어야 한다. 수십, 수백 대 규모가 되면 모든 로봇을 지켜보며 교정을 공급하는 인력 자체가 병목이 된다.
매장에 빗대 보자. 가게가 하나면 숙련 점장이 신입 뒤에 붙어 실수할 때마다 손을 잡아 줄 수 있다. 그런데 매장이 전국 100곳으로 늘면, 점장도 100명을 새로 뽑아야 할까? 이 논문의 답은 "아니다"이다. 점장을 늘리는 대신, 전국 매장이 이미 성공시킨 사례를 모아 두고, 신입이 막힌 바로 그 상황에 맞는 사례만 골라 보여 준다. 기존 로봇 학습이 번번이 "새 전문가의 시범"을 더 받아야 했던 자리를, 함대가 쌓아 둔 성공 기록으로 대신하는 것이다.
저자들은 이 큰 틀을 집단 경험 학습(CEL, Collective Experience Learning)이라 부른다. 흩어져 일하는 로봇들이 각자 겪은 실행 경험을 한곳에 모아 공유 정책 하나를 손본다. 개선된 정책은 다시 함대로 돌아가 새 경험을 만든다. 개별 로봇의 실행이 함대 전체의 학습이 되고, 그 학습이 다시 모든 로봇의 실행을 끌어올린다. 돌고 도는 고리다.
장면 하나로 따라가 보자. 폰 포장을 하던 로봇이 상자 모서리에 폰을 맞추다 자꾸 미끄러진다 — 실패다. 이 순간 로봇은 두 가지 일을 나눠서 한다. 미끄러진 그 동작 자체는 따라 할 본보기가 못 된다. 실패한 동작을 흉내 내면 틀린 버릇만 굳기 때문이다. 그래서 실패한 동작은 버리고, "막히기 직전의 상황"만 단서로 남긴다. 그 단서를 들고 함대가 공유하는 성공 기록 창고로 간다. 비슷한 상황에서 폰을 상자에 잘 맞춰 넣은 구간을 찾아내, 그 동작만 집중해서 배운다.
이 짜임을 저자들은 FERT(실패 유도 경험 검색 미세조정)라 이름 붙였다. 미세조정(fine-tuning)은 이미 학습된 모델을 특정 작업에 맞게 조금 더 다듬는 과정이다. 한 문장으로 줄이면 이렇다. 실패는 "어디를 배울지"를 가리키고, 성공은 "무엇을 따라 할지"를 준다. 전문가의 추가 시연은 끼어들지 않는다.
전체 흐름은 네 단계다.
기술 해설 — 두 가지 "왜" 왜 비교 잣대를 고정하나. 정책은 학습하면서 계속 변한다. 만약 "상황이 비슷한지"를 재는 자까지 정책과 함께 변하면, 어제의 비슷함과 오늘의 비슷함이 달라져 검색 결과를 믿을 수 없다. 그래서 상황을 숫자로 바꾸는 부분(VLA 모델의 비전 타워)을 복사해 고정(frozen)해 두고, 거기서 뽑은 특징에 로봇의 관절 상태를 붙여 "상황 지문"을 만든다. 정책이 아무리 바뀌어도 이 지문의 잣대는 그대로다. 왜 동작 속도가 달라도 같은 상황을 찾나. 로봇마다, 시도마다 작업 속도가 조금씩 다르다. 같은 동작도 어떤 로봇은 빠르게, 어떤 로봇은 느리게 한다. 그대로 겹쳐 비교하면 어긋난다. 그래서 속도가 다른 두 시계열을 늘였다 줄였다 맞춰 주는 고전 기법 DTW(동적 시간 왜곡)를 쓴다. 단, 시간 순서가 뒤집히지 않도록 제약을 건 변형(S-DTW)을 써서, 느리게 한 성공과 빠르게 한 실패 직전도 같은 상황으로 맞춰 찾아낸다.
보충 — 경험을 끊김 없이 돌리는 시스템(FATS) 알고리즘이 "경험을 어떻게 정책 개선으로 바꾸나"를 맡는다면, FATS(고장 내성 비동기 학습 시스템)는 "그 경험을 어떻게 끊기지 않게 모으고 배포하나"를 맡는다. 함대는 늘 일부가 리셋·정비·복구로 멈춰 있고, 수집·추론·최적화가 제각기 다른 일정으로 돈다. 데이터 층 SwarmLink는 추론 결과와 궤적을 모아 학습으로 보내고, 제어 층 HotSwarm은 고장 난 로봇을 제자리에서 재시작하면서 멀쩡한 로봇은 계속 경험을 모으게 한다. 한 대가 멈춰도 나머지 함대의 학습 고리는 돈다.
FERT는 맨땅에서 시작하지 않는다. 초기 정책에는 사람 시연이 필요하다. 먼저 사람 시연을 학습하는 지도 미세조정(SFT), 그리고 사람 개입이 섞인 다중 로봇 HG-DAgger로 기초 정책을 세운다. FERT는 그 정책에서 출발한다. 정리하면 두 국면이다. 전문가 지도로 기초를 깔고, 그다음부터는 함대가 만든 동작으로 배운다. FERT가 없애는 것은 "배포된 뒤에도 계속 전문가 교정을 공급해야 하는 부담"이지, 초기 전문가 데이터 자체가 아니다.
그래서 실행 단계에서 사람이 하는 일은 두 가지로 준다. 각 시도의 결과에 성공/실패 표시를 달고, 환경을 원래대로 되돌리는 것. 학습에 쓰이는 동작은 전부 로봇의 실행에서 나온다. 저자들은 이 결과 표시를 사람 대신 학습된 보상 모델이 달 수도 있다고 언급하지만, 이 논문의 실험은 사람이 단 표시와 사람이 한 리셋을 썼다.
평가 대상은 다섯 가지 실제 손 작업이다. 꽃꽂이(Flower Arrangement), 빨래 개기(Clothes Folding), 폰 충전(Phone Charging), 스툴 조립(Stool Assembly), 폰 포장(Phone Packaging). 잘 휘는 물체, 정밀한 정렬, 도구 사용, 다단계 실행을 고루 담았다.
결과는 두 질문으로 나눠 읽는 게 깔끔하다.
얼마나 개선됐나. 가장 큰 함대 규모에서 다섯 작업의 정책은 93.3~99.2% 성공률을 기록했다. 특히 단계가 꼬리를 무는 폰 포장이 눈에 띈다. 96대로 학습했더니 FERT 시작 시점의 79.2%가 98.3%까지 올랐다. 여러 단계가 이어질수록 집단 경험의 효과가 크게 드러난 셈이다.
검색 덕분인가. 성공 기록을 그냥 다 쓰는 것과, 실패가 가리키는 지점에 맞는 성공만 골라 쓰는 것은 다르다. 이 차이를 보려고 같은 폰 포장을 16대로 돌려, 실패 유도 검색만 떼어 봤다. 성공률이 86.7%에서 64.2%로 떨어졌다. 20%포인트가 넘는 격차다. 많이 모으는 것보다 "맞는 것"을 골라 쓰는 게 핵심이라는 뜻이다.
| 보려는 것 | 함대 규모 | 비교 | 성공률 |
|---|---|---|---|
| 학습 효과 | 96대 | FERT 전 → 후 | 79.2% → 98.3% (폰 포장) |
| 검색의 기여 | 16대 | 검색 켬 → 끔 | 86.7% → 64.2% (폰 포장) |
| 전체 도달점 | 가장 큰 규모 | — | 93.3~99.2% (다섯 작업) |
두 핵심 수치는 서로 다른 실험에서 나온 값이다. 79.2%→98.3%는 96대에서 학습 전후를 잰 것이고, 86.7%→64.2%는 16대에서 검색을 켜고 끈 것이다. 함대 규모도 비교 대상도 다르므로, 하나의 성과로 합쳐 말하지 않는다.
평가 조건은 다섯 작업에 공통으로 걸었다. 각 작업을 120회 시도로 재되, 그 시도를 학습에 참여하지 않은 같은 플랫폼의 로봇 2대에 절반씩 나눠 돌렸다. 학습에 쓴 로봇이 자기가 본 걸 되풀이하는지가 아니라, 함대의 경험이 처음 보는 로봇에게도 옮겨 가는지를 재기 위해서다. 함대 규모를 키우는 실험에서는 로봇당 수집 시간을 고정했다. 더 오래 돌려 좋아진 게 아니라, 같은 시간이면 로봇이 많을수록 경험이 쌓여 좋아지는지를 가려내기 위해서다. 비교 기준선은 RECAP과 RLT를 썼다(세부는 부록).
성공률이 재는 것은 분명하다. 정책이 작업을 끝까지 해내는 신뢰도다. 다만 120회라는 표본, 평가 로봇 2대, 특정 다섯 작업이라는 테두리 안의 값이다. 다른 플랫폼이나 더 넓은 작업으로의 일반화는 이 숫자만으로 단정할 수 없다.
왜 통하는지는 실패가 잦을수록 더 또렷해진다. 어떤 상황에서 자꾸 막히면, 그 상황과 비슷한 성공 구간이 그만큼 자주 검색되어 학습에 반영된다. 즉 학습의 무게가 저절로 약점 쪽으로 쏠린다. 자주 틀리는 자리를 더 자주 메우는 구조이니, 개선이 약한 곳부터 파고드는 것이다. (부록 B의 이론 분석도 일정 조건에서 성공 경험의 재생이 정책을 옳은 방향으로 끌고, 검색 가중이 거기에 플러스를 더한다는 것을 보인다.)
그런데 바로 이 구조가 한계의 윤곽이기도 하다. 검색의 잣대는 "장면과 자세가 비슷한가"이다. 그렇다면 장면과 자세가 비슷하면 필요한 동작도 늘 같은가? 대개는 그렇다. 하지만 겉보기는 닮았는데 정작 해야 할 동작이 다른 상황이라면, 엉뚱한 본보기를 끌어올 수 있다. 검색 기준이 곧 이 방법의 눈이고, 그 눈이 놓치는 지점이 약점이 된다.
더 근본적인 한계도 있다. FERT는 "함대 어딘가에 그 상황의 성공 사례가 이미 있다"는 가정에 기댄다. 누군가 한 번이라도 성공한 실패라면 그 기록을 끌어와 메울 수 있다. 하지만 아무도 성공한 적 없는 완전히 새로운 실패 유형이라면, 검색해 올 본보기가 없다. 이때는 검색만으로 길이 없고, 결국 바깥에서 새 성공 경험을 채워 넣어야 한다. "집단 경험으로 메울 수 있는 실패"와 "집단에조차 답이 없는 실패"의 경계가 이 방법의 작동 범위를 정한다.
전이의 범위도 직접 말해 두는 게 정확하다. 평가는 같은 플랫폼의 다른 로봇으로 전이를 확인했다. 다른 종류의 로봇이나 다른 작업 분포로도 통하는지는 이 결과의 범위 밖이다. 또 질의 길이, 끝점 오프셋, 다운샘플링 배율, 우선순위 감쇠 같은 설정값이 검색에 얽혀 있어, 새 작업으로 옮길 때 이 값들을 다시 맞추는 비용이 얼마나 드는지는 눈여겨볼 대목이다.
남는 질문도 하나 있다. 함대가 클수록 좋아진 이유가 경험의 "양" 때문인지, 서로 다른 로봇이 겪은 상황의 "다양성" 때문인지는 아직 가른 바 없다.
이 논문의 구조는 온틀 운영에 하나의 가설로 옮겨 볼 수 있다. 아래는 전부 가정이다. 아직 돌려 본 것이 아니라, 돌려 보면 어떻게 될지를 그려 본 그림이다.
온틀의 AI 프로젝트 매니저(PM)가 여러 고객사에 들어가 "세금계산서 발행 → 승인 라우팅 → 회계 반영" 같은 다단계 업무를 처리한다고 하자. 그런데 어떤 거래처 양식에서 유독 승인 라우팅이 자꾸 엉키는 PM이 있다. 사람 운영자가 그 실패를 하나하나 찾아 올바른 처리 예시를 붙여 주는 방식이라면, 맡은 업무가 늘수록 운영자도 그만큼 바빠진다. 바로 이 지점에서, 인건비를 더 쓰지 않고 반복 실패를 줄일 수 있느냐는 질문이 선다.
논문의 틀을 여기 얹으면 이렇게 된다. 그 PM이 막힌 순간의 맥락을 질의로 삼아, 같은 유형의 승인 라우팅을 제대로 끝낸 과거 처리 기록을 검색한다. 실패한 처리를 흉내 내는 게 아니라, 이미 쌓인 성공 사례만 본보기로 쓴다. 활용 방식은 한 가지로 못 박아 두자. 검색한 성공 사례를 실행 도중 즉석으로 참고하는 게 아니라, 일정 기간 모아서 그 PM의 처리 방식을 다시 학습시키는 쪽이다(논문의 미세조정과 같은 결).
단, 로봇 플랫폼과 사무 업무는 전제가 다르다. 그대로 규칙으로 삼지 말고, 아래 세 가지를 먼저 정한 뒤 가설로 검증해야 한다.
검증의 끝그림은 분명하다. 검색을 적용하기 전과 후로 나눠, 같은 업무의 재실패율과 사람 개입 횟수가 얼마나 줄었는지를 재는 것이다. 이 두 지표가 유의미하게 내려간다면, 로봇 함대에서 통한 구조가 사무 업무에서도 통한다는 첫 증거가 된다.