SoL-Pi는 코딩 에이전트를 감싸는 '하네스(harness, 에이전트가 도구를 쓰고 맥락을 관리하는 실행 골격)' 자체를 자동으로 개선하는 연구다. 사람이 손으로 튜닝하는 대신, 여러 환경에서 자동 연구 루프를 반복적으로 확장(스케일업)해 좋은 개선책만 걸러냈다. 그 결과 51개 과제로 구성된 EdgeBench 평가에서 기록된 토큰 트래픽을 44.7~49.0% 줄이고 API 비용은 약 3분의 1 절감했다. 다만 이는 공짜가 아니어서, 평균 점수는 기존 강력한 하네스(Pi) 대비 약 5~6% 낮아졌다(자세한 수치는 아래 '결과와 의미' 절).
예전의 코딩 AI는 대부분 '자동완성' 도우미였다. 사람이 코드를 치면 다음 줄을 예측해 주는 식이라, 한 번의 예측이 곧 한 번의 일이었다. 그런데 최근 코딩 에이전트는 성격이 완전히 달라졌다. 사람이 계속 지켜보지 않아도 밤새, 하루 종일 스스로 코드베이스를 탐색하고(unattended, around-the-clock exploration), 추론하고, 도구를 쓰고, 실행 결과라는 피드백을 받아 다시 판단한다.
문제는 이렇게 되면서 에이전트의 작업이 '한 번의 예측'에서 '길게 이어지는 궤적(trajectory)'으로 늘어났다는 점이다. 추론 → 도구 사용 → 피드백 → 다시 추론이 수십, 수백 단계로 이어진다. 요리에 비유하면, 예전에는 "다음 재료 하나 집어줘" 수준이었다면 이제는 장보기부터 조리, 간 보기, 다시 조리까지 통째로 맡기는 셈이다. 이 긴 과정에서 오가는 텍스트(토큰)가 폭발적으로 늘어난다.
그래서 토큰 효율(token efficiency)이 핵심 병목이 된다. 특히 에이전트가 스스로를 반복적으로 개선하는 '재귀적 자기개선(RSI, Recursive Self-Improvement)'을 크게 키우려면, 한 번 도는 데 드는 비용이 낮아야 여러 번 굴릴 수 있다. 비용이 비싸면 자기개선 루프 자체를 많이 돌릴 수 없다.
기존 접근의 한계는, 개선의 초점이 주로 '모델' 쪽에 맞춰져 있었다는 점이다. 이 논문은 모델이 아니라 그 바깥을 감싸는 하네스 계층(harness layer)을 손본다. 같은 모델이라도 하네스를 잘 짜면 훨씬 적은 토큰으로 같은 일을 해낼 수 있다는 관점이다.
이 연구의 방법을 한마디로 하면 "하네스를 사람이 아니라 자동 연구 루프가 스스로 발견하게 만든다"이다.
접근은 RSI에서 영감을 받되, 그 대상을 하네스 계층에 둔다. 저자들은 자동 연구 루프(auto-research loop)를 점점 더 많고 다양한 환경(increasingly numerous and diverse environments)에 걸쳐 확장하며 하네스 후보들을 실제로 굴려본다(harness rollouts). 여기서 '다양한 환경'이 중요하다. 한 가지 상황에서만 잘 통하는 요령은 그 상황을 벗어나면 쓸모없어지기 때문이다.
비유하자면, 요리사 한 명을 한 주방에서만 훈련시키는 것이 아니라, 수많은 서로 다른 주방에 보내 온갖 조건에서 일하게 한 뒤 "어느 주방에서든 통하는 습관"만 남기는 것과 같다. 특정 주방에서만 통하는 잔재주는 걸러지고, 어디서든 재사용 가능한(reusable) 개선책만 살아남는다. 논문은 이렇게 얻은 개선이 "개발했던 환경을 넘어(transfer beyond their development setting)" 이전(transfer)되며, 자동 하네스 발견을 실전 수준의 결과(production-level outcomes)에 가깝게 끌어올린다고 말한다.
이 선택(selection) 과정에서 끝까지 살아남아 SoL-Pi를 구성하는 메커니즘은 네 가지다. 초록이 밝힌 각 축은 다음과 같다.
| 메커니즘 | 다루는 영역 | 쉬운 설명 |
|---|---|---|
| Action execution | 행동 실행 | 에이전트가 도구·명령을 실제로 실행하는 방식 |
| Context compaction | 맥락 압축 | 길어진 대화·기록을 눌러 담아 토큰을 아끼는 방식 |
| Observation handling | 관찰(결과) 처리 | 도구 실행 결과 같은 관찰값을 다루는 방식 |
| Delegated reading | 위임된 읽기 | 읽기 작업을 따로 위임해 처리하는 방식 |
여기서 주의할 점 하나. 초록은 이 네 가지가 각각 '무엇을 다루는 축'인지는 밝히지만, 각 메커니즘의 세부 구현이 구체적으로 어떻게 동작하는지까지 서술하지는 않는다. 위 설명 중 '쉬운 설명' 칸은 축의 이름에서 자연스럽게 유추한 개념적 부연이며, 정확한 알고리즘 세부는 본문(논문 전체)을 확인해야 한다.
직관적으로 보면 네 축 모두 "긴 궤적에서 새어 나가는 토큰을 어디서 줄일 수 있는가"라는 한 가지 질문의 서로 다른 국면이다. 실행 방식, 기록 압축, 결과 처리, 읽기 위임 — 에이전트가 오래 일할 때 토큰이 불어나는 대표적인 길목들이다.
핵심 평가는 51개 과제로 이뤄진 EdgeBench(51-task EdgeBench evaluation)에서 이뤄졌다. 비교 대상은 기존의 강력한 하네스인 Pi다. 모델로는 GPT-5.6 Sol과 Opus 5가 함께 쓰였다.
성과와 그 대가는 다음과 같다.
의미를 정리하면, "점수를 약 5~6% 내주는 대신 토큰과 비용을 크게 낮췄다"는 것이 이 연구의 핵심 메시지다. 성능 손실이 전혀 없는 것은 아니지만, 그 폭이 크지 않다는 점에서 절감의 대가로 받아들일 만한 수준이라는 주장이다. 특히 절감액을 '시간당(hourly)'으로 환산해 제시한 점이 인상적이다. 밤새 쉬지 않고 도는 에이전트를 전제하면, 시간당 절감이 곧 운영 비용의 구조적 차이로 누적되기 때문이다. 하루 24시간, 한 달을 곱해 보면 왜 하네스 계층의 효율이 '스케일업의 전제 조건'인지가 분명해진다.
또 하나 주목할 점은 개선책의 이전 가능성(transfer)이다. 서로 다른 여러 환경에서 살아남은 메커니즘이라, 개발했던 특정 세팅을 넘어 다른 상황에서도 재사용된다는 주장이다. 이는 "한 번 잘 튜닝하면 끝"이 아니라 "발견한 개선이 자산으로 남아 계속 쓰인다"는 뜻에 가깝다.
정직하게 짚자면, 초록만으로는 확인하기 어려운 부분이 여럿 있다.
요약하면, 방향과 성과의 골격은 분명하지만, 재현과 일반화를 판단하려면 초록 너머의 본문 근거가 필요하다.
온틀은 'AI 프로젝트 매니저 파견형 SaaS'다. AI PM이 사람 대신 오래, 자율적으로 프로젝트를 살피고 도구를 쓰고 판단하는 구조라는 점에서, 이 논문이 다루는 '감시 없이 오래 도는 에이전트'와 문제의식이 정확히 겹친다.
시사점을 세 가지로 정리한다.
하네스가 곧 원가 구조다. 온틀처럼 AI가 상주하며 계속 일하는 제품은, 모델을 바꾸지 않고도 에이전트를 감싸는 실행 골격(맥락 압축·관찰 처리·읽기 위임 방식)만 손봐서 비용을 크게 낮출 여지가 있다. 점수를 소폭(약 5~6%) 내주는 대신 토큰을 절반 가까이 줄인다는 결과는, 운영 마진과 요금 경쟁력에 직접 연결된다. 다만 이때 감수하는 성능 하락이 우리 서비스 품질 기준을 넘지 않는지는 별도로 확인해야 한다.
맥락 관리가 자율성의 상한을 정한다. AI PM이 길게 일할수록 대화·기록·도구 결과가 쌓여 토큰이 폭증한다. SoL-Pi의 네 축 중 맥락 압축(context compaction)과 관찰 처리(observation handling)는, RAG로 지식을 붙이고 긴 프로젝트 이력을 다루는 제품에서 특히 중요한 설계 지점이다. 무엇을 남기고 무엇을 눌러 담을지가 곧 얼마나 오래 자율로 굴릴 수 있는지를 결정한다.
'개선의 자동 발견'이라는 방법론. 사람이 하네스를 일일이 튜닝하는 대신, 다양한 실제 환경에서 굴려보고 살아남는 것만 채택하는 접근은, 여러 프로젝트에 파견되는 AI PM 운영에 그대로 대응된다. 여러 현장에서 통하는 운영 습관만 표준으로 남기고, 특정 현장에만 맞는 잔재주는 걸러내는 셈이다.
다만 도입 시에는 위 한계를 그대로 안고 가야 한다. 우리 도메인은 EdgeBench와 다르므로, 절감 효과와 그에 따른 성능 하락 폭은 실제 온틀 워크로드에서 소규모로 함께 측정해 확인하는 것이 순서다. 초록의 수치는 '기대치의 근거'이지 '우리 환경의 보장'은 아니다.
아니요. 이 연구의 초점은 모델이 아니라 그 바깥을 감싸는 하네스 계층입니다. 같은 모델(초록에서는 GPT-5.6 Sol, Opus 5)을 쓰면서 실행 골격을 개선해 토큰과 비용을 줄였습니다.
떨어집니다. 초록은 '견줄 만한(comparable)' 성능이라고 표현하지만, 본문 표(§3.1)를 보면 평균 점수가 GPT-5.6 Sol에서 44.833→42.003(약 6.3% 하락), Opus 5에서 44.756→42.224(약 5.7% 하락)로 낮아집니다. '성능 손실 없음'이 아니라 '소폭의 점수 하락을 감수한 절감'으로 이해해야 합니다.
행동 실행(action execution), 맥락 압축(context compaction), 관찰 처리(observation handling), 위임된 읽기(delegated reading)입니다. 초록은 각 축이 다루는 영역만 밝히며, 구체적 구현은 논문 본문을 봐야 합니다.
초록은 API 비용을 약 3분의 1 줄였다고 하며, 시간당 절감액을 네이티브 Codex·Claude Code 대비 약 8.75~13.50달러, Pi 대비 약 4.36~5.71달러로 '추정' 제시합니다. 비교 기준과 사용 패턴에 따라 달라질 수 있는 추정치입니다.