NeoHorse-1은 AI가 스스로의 능력을 관찰하고, 그 관찰을 다음 학습 재료로 바꾸는 순환 고리를 실제로 구현한 에이전트 네이티브 모델군이다. 핵심은 여러 모델을 모아 둔 풀에 '지능형 라우팅'을 붙여 매 사용자 턴마다 어떤 능력이 필요한지·어떤 등급 모델이 골라졌는지·그 뒤 상호작용이 어땠는지를 기록하고, 이 기록을 다시 학습 데이터로 되먹이는 것이다. 초록 기준으로 사후학습(post-training)은 10개 벤치마크 거시평균을 4B에서 58.94에서 64.87로, 9B에서 65.60에서 69.04로 끌어올렸다.
'재귀적 자기개선(RSI, Recursive Self-Improvement)'은 AI가 스스로를 반복해서 더 낫게 만든다는, 오래된 그리고 다소 아득한 목표다. 문제는 이 말이 대개 구호에 머문다는 점이다. "스스로 좋아진다"는 그럴듯하지만, 정확히 무엇을 관찰해서, 그 관찰을 어떤 경로로 다음 학습에 흘려보내는지 구체적 기계장치가 빠져 있으면 실체가 없다.
비유하자면 이렇다. 헬스장에 다니는 사람이 "나는 매주 더 강해질 거야"라고 다짐만 하는 것과, 매 세트 무게·반복 수·다음 날 근육통을 기록해 다음 주 프로그램을 그 데이터로 짜는 것은 전혀 다르다. 기존의 많은 자기개선 논의는 앞쪽, 즉 다짐에 가까웠다. NeoHorse-1이 하려는 것은 뒤쪽, 즉 '측정하고 → 다음 훈련표를 바꾸는' 실제 순환을 만드는 일이다.
여기서 '하네스(harness)'라는 말이 자주 나온다. 하네스는 모델 자체가 아니라 모델을 감싸고 굴리는 실행 껍데기(도구 호출·라우팅·문맥 관리 같은 운영 장치)를 가리킨다. 논문의 표현을 빌리면 이 연구가 지향하는 것은 '하네스가 매개하는 RSI(harness-mediated RSI)'다. 즉 개선의 순환이 모델 안의 마법이 아니라, 모델을 운용하는 껍데기가 남긴 기록에서 흘러나온다.
전체 그림은 '이질적 모델 풀 + 지능형 라우팅'에서 출발한다.
여러 능력·크기의 모델을 한데 모아 두고(이질적 모델 풀), 들어온 요청마다 라우터가 판단한다. 회사에 신입·중견·전문가가 섞여 있고, 접수 담당자가 일의 난이도를 보고 누구에게 배정할지 정하는 장면을 떠올리면 된다. 이때 라우터는 세 가지를 남긴다.
이 기록이 곧 다음 학습의 원재료다. 다만 대화를 그대로 학습에 쓰지는 않는다. 기록을 학습 예제로 바꿀 때 중간중간의 추론·도구 호출·하네스 문맥이 서로 얽힌 상태(interleaved)를 그대로 보존한다. 에이전트가 실제로 일하는 모습은 '생각 → 도구 호출 → 결과 보고 생각 → 또 도구'처럼 얽혀 있는데, 이 결을 살려야 에이전트답게 배운다는 취지다.
원재료라고 다 받아들이지는 않는다. 세 겹의 검문을 통과해야 한다.
품질 관리자가 원자재를 형태·내용·세부 항목별로 검수해 합격품만 라인에 올리는 것과 같다.
이렇게 걸러진 데이터로 학습을 진행하는데, 여기서도 라우팅 신호가 지휘봉을 잡는다.
그리고 순환을 닫는 마지막 조각이 '능력 유도 배분(capability-guided allocation)'이다. 평가 피드백을 다음 학습 혼합(mixture)으로 변환한다. 즉 지금 약한 능력이 무엇인지 평가로 드러나면, 그 부분을 다음 훈련 데이터 배합에 더 담는다. 논문은 이를 '평가–선택–갱신(evaluation-selection-update) 루프'라 부른다. 시스템이 무엇을 하도록 배웠는지가, 다음에 무엇으로부터 배울지를 결정하는 되먹임 구조다. 헬스장 비유로 돌아가면, 지난주 기록을 보고 약한 부위 운동을 다음 주 프로그램에 더 넣는 코치가 모델 안에 들어간 셈이다.
초록이 제시하는 수치는 다음과 같다. 하네스 기반 에이전트, 도구 사용, 코딩, 지시 따르기를 아우르는 10개 벤치마크에서 사후학습은 거시평균(macro-average)을 다음과 같이 올렸다.
| 모델 규모 | 사후학습 전 | 사후학습 후 |
|---|---|---|
| 4B | 58.94 | 64.87 |
| 9B | 65.60 | 69.04 |
주목할 지점은 초록이 특별히 언급한 대목이다. 사후학습을 거친 4B 모델과 학습 전 9B 베이스 모델 사이의 총합 격차(aggregate gap)가 상당히 좁혀졌다는 것이다. 쉽게 말해, 작은 모델을 잘 굴려 데이터를 되먹이면 두 배 이상 큰 원본 모델에 총점 기준으로 상당히 근접하더라는 이야기다. 파라미터를 키우는 것 말고, 운용 기록을 학습으로 되돌리는 경로에도 실질적 여지가 있음을 보여주는 신호다.
다만 초록에 명시된 수치는 위 표와 '10개 벤치마크'가 전부다. 개별 벤치마크 점수, 데이터셋 크기, 라우팅 정확도, 반복(iteration) 횟수별 추이 같은 구체 수치는 초록에 없으므로 여기서는 단정하지 않는다.
논문 스스로도 이것을 완성된 RSI가 아니라 '초기 프로토타입(initial prototype)'이자 '하네스 매개 RSI로 가는 경로'라고 표현한다. 절제된 이 자기 규정 자체가 한계를 시사한다.
온틀은 고객 프로젝트마다 AI PM을 파견해 요청 접수부터 서비스 노출까지 관리하는 구조다. 이 논문이 반가운 이유는, 우리가 이미 하고 있거나 하려는 일과 얼개가 겹치기 때문이다.
첫째, 모델 라우팅이 그렇다. 온틀은 전사 표준 라우팅으로 챗·접수는 상위 모델, 실행 단계는 난이도(s·m·l)에 따라, 수정·배포는 경량 모델로 배분한다. NeoHorse-1이 말하는 '예측된 능력 수요 → 등급 선택'과 정확히 같은 발상이다. 이 논문의 시사점은 한 걸음 더 나아간다. 라우터가 내린 판단과 그 결과를 단순 로그가 아니라 학습 재료로 취급하라는 것이다. 온틀의 라우팅 로그·작업 이력도, 지금은 운영 기록이지만 향후 '무엇이 잘 풀리고 무엇이 막혔는가'를 되먹이는 자산이 될 수 있다.
둘째, 얽힌 문맥의 보존이다. NeoHorse-1은 추론·도구 호출·하네스 문맥이 얽힌 결을 학습에 그대로 살린다. AI PM의 일도 '고객 요청 → 분석 → 도구 실행 → 중간 판단 → 재실행'으로 얽혀 있다. 이 흐름을 요약본이 아니라 원래 구조대로 남겨야, 나중에 어떤 개선이든 실제 업무 결을 반영할 수 있다.
셋째, 평가–선택–갱신 루프는 제품 개선 사이클의 이상적 형태다. 다만 논문이 스스로 경계하듯, 되먹임은 편향을 키울 수도 있다. 온틀 관점의 교훈은 명확하다. 자동 개선 루프를 도입하더라도 품질 게이트(구조 검증·의미 평가)를 사람이 감사할 수 있게 열어 두어야 하며, '잘하는 것만 더 잘하게' 되는 함정을 배분 단계에서 의식적으로 막아야 한다. RAG나 에이전트 파이프라인을 운영하는 팀이라면, 성능 지표뿐 아니라 '무엇을 학습에서 빠뜨리고 있는가'를 함께 봐야 한다는 뜻이다.
아닙니다. 논문은 NeoHorse-1을 완성된 RSI가 아니라 '초기 프로토타입'이자 하네스 매개 RSI로 가는 경로로 규정합니다. 반복 순환의 한 사이클을 실제로 구현해 보인 단계이며, 여러 번 반복해도 개선이 누적되는지는 열린 질문입니다.
초록 기준으로 10개 벤치마크 거시평균이 4B에서 58.94에서 64.87로, 9B에서 65.60에서 69.04로 상승했습니다. 또한 사후학습한 4B 모델과 학습 전 9B 베이스 모델 사이의 총합 격차가 상당히 좁혀졌다고 초록은 밝힙니다. 개별 벤치마크 점수 등 세부 수치는 초록에 없어 여기서는 다루지 않습니다.
하네스는 모델 자체가 아니라 모델을 감싸 운용하는 실행 껍데기(라우팅·도구 호출·문맥 관리)를 말합니다. 개선의 순환이 모델 내부의 능력이 아니라, 모델을 굴리는 이 껍데기가 남긴 기록(능력 수요·등급 선택·상호작용)에서 흘러나오도록 설계했다는 뜻입니다.
발상은 곧바로 참고할 만합니다. 라우팅 판단과 결과를 로그로만 두지 말고 학습·개선 재료로 취급하고, 얽힌 작업 문맥을 원형대로 보존하며, 평가 결과를 다음 개선 우선순위로 되먹이는 방향입니다. 다만 되먹임 루프의 편향과 평가 신뢰도라는 위험이 함께 오므로, 품질 게이트를 감사 가능하게 열어 두는 설계가 전제됩니다.