이 논문은 장기 과업(여러 단계를 거치는 오래 걸리는 작업)을 수행하는 LLM 에이전트가 중간중간 내리는 '갈림길 선택'의 품질을 측정하는 방법을 제시한다. 연구진은 이런 좋은 장기 의사결정 능력을 에이전트의 '안목(taste)'이라 부르고, 이를 사람 손을 거의 대지 않고 자동으로 만든 벤치마크 Taste-Bench로 평가했다. 그리고 놀랍게도, 최고 성능 모델조차 이 문제를 59.7%밖에 맞히지 못했으며 안목은 학습을 통해 개선될 수 있음을 보였다.
요즘 AI 에이전트는 단순히 한 번 질문에 답하는 데서 그치지 않고, 코드를 고치거나 연구를 수행하는 것처럼 여러 단계를 거치는 긴 작업을 한다. 이런 작업에서는 도중에 수많은 선택이 생긴다. "어떤 가설을 먼저 검증할까", "어느 구현 위에 기능을 얹을까" 같은 것들이다. 문제는 이 중간 선택 하나하나가 전체 결과의 성패를 좌우한다는 점이다.
비유하자면 산을 오르는 등반가와 같다. 정상까지 가는 여러 갈림길이 있고, 그중 어떤 길은 절벽으로 이어지고 어떤 길은 정상으로 이어진다. 등반가의 실력은 단순히 체력이 아니라, 갈림길에서 어느 쪽이 좋은 길인지 알아보는 '안목'에 크게 좌우된다.
기존 벤치마크의 한계는 여기 있다. 지금까지의 평가 도구들은 에이전트가 작업을 처음부터 끝까지 해서 최종적으로 성공했는지(end-to-end success)만 측정했다. 즉 정상에 도착했는지 여부만 본다. 하지만 초록이 지적하듯, 그 어떤 벤치마크도 에이전트의 안목 자체 — 즉 갈림길에서의 판단력 — 를 따로 떼어 측정하지는 못했다. 최종 성공만 보면, 그 성공이 좋은 판단 덕분인지 운 덕분인지 구분할 수 없다.
연구진의 해법은 'Taste-Bench'라는 벤치마크다. 핵심은 실제 에이전트가 엔지니어링·연구 과업을 수행하며 남긴 궤적(trajectory, 작업 과정의 발자취)에서 '결정 갈림길(decision fork)'을 뽑아내는 것이다.
결정 갈림길이란, 궤적 안에서 여러 방향으로 갈 수 있고 그중 하나가 더 좋은 결과로 이어지는 지점을 말한다. 평가받는 모델은 이 갈림길에서 제시된 두 방향 중, 그 선택 이후에 무슨 일이 벌어지는지 보지 못한 채로 더 나은 쪽을 골라야 한다. 마치 시험 문제에서 정답의 결과를 미리 알려주지 않고 "이 상황에서 어떻게 하겠는가"만 묻는 것과 같다. 이때 선택지를 어느 순서로 보여주느냐에 따라 답이 흔들리는 편향을 없애기 위해, 같은 문제를 정방향과 역방향 두 순서로 물어 두 번 모두 맞혀야만 정답으로 인정한다. 그래서 아무렇게나 찍었을 때 기대되는 정답률은 50%가 아니라 25%다.
여기서 영리한 부분은 이 갈림길 문제들을 사람 주석(human annotation) 없이 자동으로 캐낸다는 점이다. 방법은 두 가지다.
이렇게 실제 작업 기록에서 갈림길을 자동으로 채굴(mine)하기 때문에, 사람이 일일이 "여기가 중요한 선택 지점"이라고 라벨을 붙이지 않아도 대량의 안목 문제를 만들 수 있다.
초록이 제시하는 결과는 크게 세 가지다.
| 발견 | 내용 |
|---|---|
| 낮은 정답률 | 최전선(frontier) 모델을 평가했을 때, 최고 모델조차 문제의 59.7%만 정답(두 순서 모두 맞혀야 인정, 무작위로 찍으면 기대값 25%) |
| 늦게 드러나는 근거가 더 어렵다 | 선택을 가르는 결정적 증거가 궤적에서 나중에 나타나는 갈림길일수록, 모든 모델이 훨씬 어려워함 |
| 추론 예산 늘려도 정확도 그대로 | 더 큰 추론 예산(reasoning budget, 생각할 시간·토큰을 더 주는 것)을 줘도 정확도는 나아지지 않음 |
첫 번째 결과가 시사하는 바는 크다. 앞서 보았듯 아무렇게나 찍으면 기대 정답률이 25%이므로, 59.7%는 우연보다는 분명히 높다. 그러나 뒤집어 보면 갈림길의 40% 안팎에서는 여전히 틀린다는 뜻이기도 하다. 최종 과업을 곧잘 성공시키는 강력한 모델도, 정작 '갈림길에서 옳은 방향을 고르는' 순수 판단 능력에서는 아직 갈 길이 멀다는 것이다. 실력과 안목이 별개일 수 있다는 것을 수치로 보여준다.
두 번째와 세 번째 결과는 함께 읽으면 의미심장하다. 어떤 선택이 옳은지 판가름하는 근거가 한참 뒤에 가서야 드러나는 경우, 모델은 특히 취약하다. 그런데 이 문제는 '더 오래 생각하게' 한다고 해결되지 않는다. 즉 안목의 부족은 단순히 계산량을 늘려서 메울 수 있는 게 아니라, 다른 종류의 능력이라는 점을 암시한다.
마지막으로 가장 희망적인 결과는 "안목은 학습될 수 있다(taste can be trained)"는 것이다. 연구진은 결과를 이미 본 교사 모델(teacher, 갈림길 이후에 무슨 일이 벌어졌는지 아는 상태에서 판단하는 모델)의 판단을 학생 모델(student)에게 증류(distill, 지식을 옮겨 담는 학습 기법)했다. 그 결과 학생 모델은 처음 보는 과업에서 더 나은 결정을 내렸고, 따로 떼어 둔 SWE-bench Pro 과업에서 최종 성공률(end-to-end success)까지 향상되었다. 안목을 가르치면 실제 성과가 올라간다는 것을 보인 셈이다.
(초록은 학생 모델의 구체적 향상 수치나 데이터셋 크기를 명시하지 않으므로, 여기서는 정성적으로만 서술한다.)
솔직하게 짚으면, 초록만으로는 확인되지 않는 부분이 많다.
온틀은 AI 프로젝트 매니저(PM)를 파견하는 형태의 서비스다. AI PM은 본질적으로 긴 호흡의 과업을 수행하며, 매 순간 "어떤 일을 먼저 처리할까", "이 접근을 계속 밀까 아니면 방향을 틀까" 같은 갈림길 선택을 반복한다. 이 논문의 문제의식은 온틀이 하는 일의 핵심을 정확히 건드린다.
첫째, '최종 성공률'만으로 에이전트를 평가하는 것은 불충분하다는 교훈이다. 어떤 AI PM이 결과적으로 프로젝트를 마무리했더라도, 그 과정의 판단이 좋았는지는 별개다. 온틀이 에이전트 품질을 관리할 때, 최종 산출물뿐 아니라 중간 의사결정의 질을 따로 들여다보는 관점이 필요하다는 시사점을 준다.
둘째, "안목은 학습될 수 있다"는 결과는 실무적으로 고무적이다. 결과를 아는 상태의 판단을 궤적에서 뽑아 다음 에이전트에게 가르치는 방식은, 온틀이 실제 운영에서 쌓이는 성공·실패 궤적을 자산으로 삼아 에이전트를 점진적으로 똑똑하게 만드는 파이프라인의 밑그림이 될 수 있다.
셋째, '추론 예산을 늘려도 안목은 나아지지 않는다'는 발견은 비용 관점에서 중요하다. 판단력이 부족한 에이전트에게 무작정 더 많은 생각 시간을 주는 것은 비용만 늘릴 뿐 해법이 아닐 수 있다. RAG(검색 증강 생성)로 근거를 더 많이 보여주거나, 좋은 판단을 학습시키는 쪽이 더 효과적일 수 있다는 방향성을 제시한다.
다만 이 논문의 결과는 엔지니어링·연구 궤적에서 나온 것이므로, 온틀의 실제 업무 도메인에 그대로 적용된다고 단정하지는 않는다. 이 연구는 "무엇을 측정하고 어떻게 개선할지"에 대한 사고의 틀로 참고하는 것이 정직한 태도다.
이 논문에서 안목은 장기 과업을 수행하는 도중 여러 갈림길에서 더 좋은 결과로 이어지는 방향을 고르는 능력을 말합니다. 최종 결과가 아니라 '중간 선택의 품질'에 초점을 둡니다.
아닙니다. 실제 에이전트가 남긴 작업 궤적에서, 같은 과업의 여러 병렬 시도를 비교하거나 한 궤적 안의 우회로를 찾는 방식으로 갈림길을 자동 채굴합니다. 사람 주석 없이 만들어진다는 점이 특징입니다.
초록에 따르면 최고 모델도 59.7%만 맞혔고(두 순서 모두 맞혀야 인정하는 방식이라 무작위로 찍으면 25% 수준), 추론 예산을 늘려도 정확도는 개선되지 않았습니다. 다만 결과를 본 교사의 판단을 학생 모델에 증류하는 학습으로는 개선이 가능했습니다.
최종 성공률만이 아니라 중간 의사결정의 질을 따로 평가할 필요가 있다는 점, 그리고 축적된 성공·실패 궤적을 학습 자산으로 삼아 에이전트의 판단력을 개선할 수 있다는 가능성을 제시합니다.