똑똑한 LLM에게 운전대를 맡겨 보자. LLM(사람 말로 묻고 답하는 거대 언어모델)이 스스로 판단해 웹을 클릭하고 검색하며 일을 처리하도록 만든 소프트웨어를 에이전트라고 한다. 이 에이전트는 학습 때 달려 본 코스에서는 F1 드라이버처럼 매끄럽게 달린다. 그런데 처음 보는 골목에 들여놓으면 금세 벽에 부딪힌다. 에이전트가 새 환경에서 유독 맥을 못 추는 이 현상, 정말 '아는 게 모자라서'일까?
EVOKE는 질문을 뒤집는다. 세계를 몰라서가 아니라, 이미 아는 것을 정작 결정하는 순간에 꺼내 쓰지 못해서라는 것이다. 그래서 처방도 다르다. 새 지식을 머리에 더 집어넣는 대신, 잠들어 있는 지식을 흔들어 깨운다.
배운 것이 특정 과제와 환경에만 묶여 있으면, 에이전트는 새 상황으로 넘어가지 못한다. 이를 고치는 한 갈래가 '월드모델'을 세우는 방식이다. 에이전트가 행동하기 전에 그 결과를 머릿속으로 미리 그려 보는, 일종의 내부 예측 모델을 갖게 하는 것이다. 행동을 고르기 전에 "이 행동을 하면 화면이 어떻게 바뀔까"를 예측하도록 훈련한다. 이 결과에는 환경을 가로질러 통하는 규칙이 있으니("주문하기를 누르면 어느 쇼핑몰에서든 구매가 끝난다"), 결과를 따져 내린 결정은 새 환경에서도 통할 가능성이 높다는 논리다.
그런데 예측으로 결과를 배우는 데는 두 가지 비용이 든다. 하나, 예측이라는 별도 목표가 학습을 더 비싸게 만드는데, 그 예측의 상당수는 정작 지금 내릴 결정과 무관하다. 둘, 예측한 미래를 계획에 쓰는 순간 그 오차가 여러 단계에 걸쳐 눈덩이처럼 불어난다.
여기서 질문이 분명해진다. LLM 에이전트가 과연 그 결과를 예측으로 '새로' 배워야 할까? 물리 환경이라면 접촉이나 운동 같은 역학은 몸으로 겪지 않으면 잡기 어렵다. 하지만 LLM 에이전트가 주로 움직이는 곳은 웹사이트나 검색엔진 같은 디지털 환경이다. 그런 곳에서 행동이 어떤 결과를 낳는지는 상당 부분, 모델이 세상의 방대한 글을 미리 읽어 기본 상식을 쌓는 1차 학습인 사전학습에서 이미 흡수해 둔 지식 안에 들어 있다. 선행 연구에 따르면, 사전학습된 모델은 예시 몇 개만 보고도 텍스트 환경이 행동에 어떻게 반응할지 꽤 잘 맞힌다.
그렇다면 문제의 성격이 바뀐다. 지식을 새로 '얻는' 게 아니라, 이미 있는 지식을 '꺼내 쓰게' 만드는 일이 된다. 문제는, 보통의 사후학습 — 학습이 끝난 모델을 특정 일에 맞게 더 가르치는 단계 — 은 바로 이 꺼내 쓰기에 압력을 주지 못한다는 점이다. 기존 방식에선 에이전트가 "이 화면에선 늘 이 버튼"이라는 식의 단순 암기만으로도 정답을 맞힐 수 있다. 족집게 과외만 받은 학생이 시험 범위 안에서는 만점을 받지만 처음 보는 응용 문제에선 무너지는 것과 같다. 암기한 습관은 학습 때 본 환경에서만 통하고, 새 환경에서는 금세 깨진다.
다시 운전 교습으로 가 보자. 늘 같은 길에서 "이 사거리에선 우회전"만 반복해 가르치면 학생은 그 길의 습관만 외운다. 그런데 교관이 같은 사거리에 세워두고 "이번엔 병원으로", "이번엔 주유소로" 목적지를 바꿔 물으면, 학생은 더 이상 외운 습관으로는 답할 수 없다. 각 길이 어디로 이어지는지를 실제로 알아야 목적지마다 다르게 고를 수 있다.
EVOKE가 하는 일이 정확히 이것이다. 환경 상태, 지금까지의 기록, 지금 할 수 있는 행동 목록은 그대로 둔 채 목표만 갈아 끼운다. 논문의 예가 선명하다. 에이전트가 결제 페이지에 서 있다. 목표가 "지금 구매"라면 주문하기를 눌러야 하고, 목표가 "선택 수정"이라면 장바구니로 돌아가야 한다. 상황은 하나인데, 목표가 바뀌니 정답 행동이 뒤집힌다.
이 뒤집힘을 기술 용어로 풀면 이렇다. 우회전이든 병원 방향이든, 모든 길은 "이 길을 따라가면 저곳에 도착한다"는 결과 지식을 공유한다. 행동이 일으키는 이 결과를 전이(transition)라고 부른다. 달라지는 건 그 결과가 지금 목표에 얼마나 쓸모 있느냐, 즉 가치뿐인데 이를 점수라고 하자. 교관이 목적지를 바꿔 묻는 것은 학생이 '어디에 도착하는가(전이)'와 '그게 지금 가야 할 곳인가(점수)'를 분리해서 생각하게 만드는 일이다. 상황만 보고 외운 습관으로는, 목표가 뒤바뀐 양쪽을 동시에 올바로 줄 세울 수 없기 때문이다. 이렇게 해서 정책 — 어떤 상황에서 어떤 행동을 할지 정하는 규칙 — 안에 잠들어 있던 결과 지식이 "그냥 가지고만 있는" 상태에서 "결정에 쓰는" 상태로 끌려 나온다.
이 발상에는 이론적 뒷배가 있다. Richens 외(2025)는, 충분히 다양한 다단계 목표를 두루 잘 해내는 에이전트라면 그 목표별 행동 안에 복원 가능한 월드모델이 들어 있을 수밖에 없음을 보였다. EVOKE는 이 명제를 거꾸로 쓴다. 다양한 목표에서 올바른 행동을 요구하면, 정책은 어쩔 수 없이 제 안에 잠든 세계 지식을 동원하게 된다는 것이다.
실제 절차는 네 단계가 맞물려 도는 고리다.
여기에 가장 결정적인 장치가 숨어 있다. 바로 에이전트가 "이게 정답 같은데?" 하고 가장 먼저 집으려 드는 '매력적인 오답'을 콕 집어 학습 문제로 만드는 것이다(policy-favored hard negatives, 정책이 스스로 좋다고 착각하는 함정 오답). 정책이 반사적으로 집으려는 선택이 정답이 아니면 바로 그걸 경쟁 자리에 넣는다. 예컨대 더러운 컵을 든 채 깨끗한 컵을 식탁에 놓아야 하는 목표라면 정답은 싱크대로 가는 것인데, 정책이 덥석 제안하는 "더러운 컵을 그냥 식탁에 놓기"가 바로 그 함정 오답이다. 무작위 오답 수백 개를 보여주는 것보다, 가장 헷갈리는 함정 하나를 집중 교정하는 편이 훨씬 효과적이다 — 솔깃한 오답을 명시적으로 눌러 주기 때문이다. 반대로 정답만 끌어올리는 학습은 이 함정을 그냥 지나친다.
이 모든 과정은 모델 전체가 아니라 작은 추가 부품만 학습하는 저비용 방식(LoRA)으로 돈다. 그리고 학습한 모델을 다시 현장에 투입해 얻은 새 데이터로 교정을 반복하는 방식(DAgger)으로 라운드를 거듭하며 점점 똑똑해진다. 정작 배포 시점에는 예측 모델도 별도 부품도 없는 평범한 정책 하나로 작동한다.
평가는 텍스트 기반 가사 과제, 웹 내비게이션, 검색 기반 QA 세 영역에서, 세 가지 백본(backbone, 바탕이 되는 기본 LLM) 모델로 수행됐다. 결과는 세 갈래가 맞물린다. EVOKE는 적은 데이터만으로도, 배운 것을 처음 보는 환경에 적용하는 능력(일반화)을 키워, 결국 전반적인 문제 해결 능력을 높였다. 예측 목표도 별도 월드모델도 붙이지 않고, 결정에 대한 직접적 지도(정답을 알려 주는 학습 신호)만으로 전이되는 행동을 끌어냈다는 것이 이 연구의 중심 주장이다. 영역·백본별 세부 수치는 원문 표에서 볼 수 있다.
가장 주목할 대목은 "이 효과가 대체 어디서 오는가"를 따로 떼어 본 통제 분석이다. 핵심 질문은 이렇다. 이득의 원천이 목표를 바꿔 끼운 개입 자체인가, 아니면 그저 목표 데이터를 더 많이 넣으면 되는 문제인가. 둘을 갈라야 하는 이유는 분명하다. 후자라면 누구나 데이터를 더 부어 따라잡을 수 있지만, 전자라면 개입 그 자체가 값을 하는 것이기 때문이다. 논문이 데이터 양을 똑같이 맞춘 대조군과 견준 끝에 가리키는 결론은 분명하다 — 이득은 데이터를 더 부은 데서가 아니라 '목표를 바꿔 묻는 방식' 그 자체에서 나온다. 분석은 이 밖에도 반복이 정말 정책을 계속 개선하는지, 그 지식이 처음부터 모델 안에 있었는지, 그리고 이득이 더 나은 결정에서 오는지 아니면 단지 시도 횟수가 늘어난 것인지를 함께 떼어 본다.
데이터 효율은 현장에서 특히 값지다. 환경마다 라벨을 새로 수천 건씩 쌓아야 한다면, 파견형 AI 제품은 환경이 바뀔 때마다 비용이 불어난다. 적은 데이터로 전이되는 행동을 얻을 수 있다면, 새 고객·새 환경으로 넘어가는 문턱이 그만큼 낮아진다.
짚어 둘 한계도 뚜렷하다. 첫째, 이 접근의 대전제는 "결과 지식이 이미 사전학습에 들어 있다"는 것이다. 논문도 선을 긋는다. 이는 디지털 환경에 해당하는 이야기이고, 접촉이나 운동 같은 물리 역학은 여전히 직접 겪지 않으면 배우기 어렵다. 사전학습이 담지 못한 낯선 도메인에서는 "꺼내 쓸 지식" 자체가 얇을 수 있다.
둘째, 라벨 품질이 보조 모델(주석기)에 상당히 기댄다. 대안 목표를 제안하고, 장면과 양립하는지 판정하는 일을 주석기가 맡는다. 실제 실행 결과로 정답과 경쟁을 가른다는 점이 안전장치이긴 하나, 목표를 제안하고 걸러내는 앞 단계의 편향은 남은 질문이다.
온틀의 AI PM이 A고객사의 긴급 티켓을 들여다보고 있다고 해 보자. 요청 하나가 "결정 기다리는 중(on_hold)"으로 멈춰 있고, 화면에는 몇 개의 버튼이 떠 있다 — 답변 재촉, 대안 제시, 상급자 보고(에스컬레이션), 보류 유지. 그동안 B고객사에서 배운 공식은 "막히면 일단 재촉"뿐이다. 하지만 지금 A고객사는 속도보다 신뢰가 더 중요한 국면이다. 단일 목표로만 길들여진 PM은 "on_hold면 늘 재촉"이라는 표면적 습관으로 굳기 쉽고, 바로 이 습관이 고객사가 바뀌는 순간 어긋난다.
여기서 EVOKE가 주는 힌트는 두 가지다. 하나는 같은 미결 상태에 목표만 "마감 사수", "신뢰 유지", "비용 최소화"로 바꿔 끼워 행동 후보를 다시 줄 세우는 것이다. 그러면 PM은 각 버튼이 '실제로 무엇을 일으키는지'를 목표와 연결해야만 세 경우 모두에서 올바로 고를 수 있게 된다. 다른 하나는 함정 오답을 눌러 주는 것이다. PM이 가장 저지르기 쉬운 반사적 선택, 예컨대 "애매하면 일단 에스컬레이션"을 함정 오답으로 집어넣어 교정하는 식이다.
다만 한 가지는 분명히 해 두자. 논문의 '접지된 행동 평가'는 행동을 실제로 실행해 결과로 판정했지만, 온틀의 PM은 고객 티켓에서 함부로 실행해 볼 수 없다. 그래서 과거 유사 프로젝트의 진행 기록을 정답지 대신 쓰게 되는데, 이때 그 기록이 '지금과 같은 상태'에서 나온 것인지를 먼저 맞춰 봐야 한다. 상황이 다른 기록으로 정답을 베끼면 또 하나의 표면적 습관을 만들 뿐이다. 이 문단은 검증된 성과가 아니라 우리가 그려 보는 적용 구상이며, 상황 차이를 어떻게 정교하게 맞출지는 남겨진 숙제다.
아닙니다. 목표를 갈아 끼워 묻는 건 '가르치는 동안'에만 쓰는 훈련법입니다. 그 과정을 거치며 정책이 결과 지식을 결정에 쓰도록 길들여지면, 배포할 때는 예측 모델도 추가 부품도 없는 평범한 정책 하나로 그냥 돌아갑니다. 비유하자면 교습이 끝난 운전자는 더 이상 교관의 돌발 질문 없이도 스스로 길을 고릅니다.
순수한 자기 채점은 아니지만, 보조 모델의 판단이 완전히 빠지는 것도 아닙니다. 라벨은 후보 행동을 실제로 실행해 얻은 '관측된 결과'에 근거하되, 그 결과를 보고 '목표 진전 / 열세 / 불확실'로 분류하는 일은 여전히 주석기(보조 모델)가 맡습니다. 불확실로 분류된 행동은 아예 학습에서 제외하고요. 즉 채점 기준을 모델 밖 현실(실제 실행 결과)에 묶어 둔다는 점에서 맹목적 자기 채점과는 다르지만, 그 결과를 해석하는 모델의 판단은 여전히 개입합니다. 그래서 대안 목표를 제안하고 거르는 앞 단계뿐 아니라 이 라벨링 단계의 편향도 논문이 남은 과제로 둡니다.