"AI가 스스로 더 나아진다"는 말은 흔하다. 이 논문은 그중 진짜와 착시를 가르는 기준을 세운다. 핵심 질문은 둘이다 — 개선이 이번 과업으로 끝나지 않고 다음 과업까지 남아 계승되는가, 그리고 시스템이 '개선하는 방법' 자체를 바꾸기 시작하는가. 저자들은 이 기준으로 자기개선의 자율성을 B0부터 L5까지 여섯 칸으로 나눈 서베이이자 로드맵을 내놓았다.
지금 최전선 모델을 만드는 비용은 여러 방향에서 동시에 부풀고 있다. Kimi K3는 2.8조, Qwen3.8-Max는 2.4조 파라미터에 약 100만 토큰 컨텍스트를 지원한다. 만드는 과정 자체도 커진다. 논문은 최근 최전선 모델 개발에서 내부 코딩 추론용 연산과 내부 에이전트 토큰 사용, 활동 연구자 1인당 출력 토큰이 모두 가파르게 늘었다는 정황을 근거로 인용한다. 다만 그 구체적 증가 배수는 내가 독립적으로 확인할 수 없어 수치로 옮기지 않고 '크게 늘었다'는 방향만 전한다. 이런 지표들은 각각 다른 대상을 잰 것이므로 하나의 성과처럼 합쳐 읽어선 안 된다.
데이터를 만드는 품도 만만치 않다. OpenAI의 GDPval은 전문 과업 1,320개로 이뤄졌고, 각 과업은 전문가가 수행하는 데 평균 약 7시간이 걸리며 기여자 평균 경력이 14년을 넘는다(원논문 기준으로 이 약 7시간은 과업 '수행'에 드는 시간이며, 1,320×7을 벤치마크 제작·검수에 투입된 시간으로 읽어선 안 된다). Humanity's Last Exam 파이프라인은 제출 시도 7만 건 이상을 거쳐 약 1만 3천 개의 '모델을 막은 문제'를 전문가 검토로 보낸 끝에 3,000문항 벤치마크를 만들었다. 배포 후에도 문제는 반복된다. Anthropic은 에이전트형 작업이 일반 챗의 약 4배(멀티에이전트는 약 15배) 토큰을 쓴다고 했고, Meta는 FBDetect가 매주 수천 건의 인프라 회귀를 잡아내며 그중 하나를 진단하는 데 약 10 엔지니어-시간이 걸렸다고 보고한다.
이 부담은 모델 개선이 여전히 '사람이 바깥에서 조율하는 값비싼 개입의 연속'이기 때문에 생긴다. 논문은 그 조율의 일부를 '개선되는 시스템 자신의 지속 능력'으로 만들 수 있는지 묻고, 이를 RSI로 정의한다. RSI는 AI가 자기 한계를 스스로 찾고, 개선안을 만들고 검증하며, 그렇게 얻은 능력으로 개선 과정 자체를 다시 개선하는 자율적 폐루프다. 문제 진단 도구로는 Headroom-Closed Index(HCI)를 써서 현행 LLM의 발전이 영역마다 고르지 않다는 점을 드러낸다. (영역별 HCI 구체 수치는 내가 확인 가능한 발췌에 없어 인용하지 않는다. 개념과 '불균형' 주장까지만 사실로 전한다.)
주방의 요리사로 사다리를 그려 보자. 각 칸은 '업무를 얼마나 자동으로 하느냐'가 아니라 '자기개선 절차를 얼마나 스스로 실행·선택·개선하느냐'를 잰다는 점이 중요하다.
여기서 흔한 오해 하나를 못박아 두자. 에이전트가 업무를 자동으로 실행하고 처리 순서를 계획한다고 해서 곧 L1·L2가 아니다. 그 개선이 이번 과업으로 끝나고 다음 과업에 남는 시스템 변화가 없다면, 논문 기준으로는 비RSI 기준선인 B0다. 사다리를 올라갈수록 사람이 쥔 통제권이 시스템으로 넘어가지만, 논문은 단계마다 '어디서 루프가 닫히고, 무엇이 다음 라운드로 계승되며, 어떤 결정이 여전히 사람 손에 있는지'를 표시한다(그림에서 회색 점선=사람 통제, 초록 점선=RSI 루프 안).
이 글의 대상은 단일 실험이 아니라 서베이·로드맵이다. 그래서 '성과'는 저자들이 근거로 모아 둔 사례들이며, 각 수치는 자기 실험 조건에 묶어 읽어야 한다.
기반모델 훈련 사례로 든 A-Evolve-Training은 사후 훈련 결과를 '지속되는 연구 정책과 발견 로그'로 축적하고, 메타 에이전트가 이를 고쳐 이후 작업자의 레시피 선택을 안내한다. 개발 점수는 올랐는데 외부 성과가 따라오지 않자 실험을 데이터 재균형·체크포인트 선택으로 돌렸다. 30B Nemotron 모델에서 자율 4라운드를 돌린 결과 외부 점수가 0.80에서 0.86으로 올랐고, 같은 표에서 사람 최고 제출은 0.87이었다. 이건 이 특정 설정의 이야기일 뿐 RSI 일반의 성능 주장이 아니다.
소프트웨어 배포 적응 사례인 Ouroboros는 검토된 배포 증거로 에이전트의 도구·컨텍스트 구성·프롬프트·핵심 구현에 버전이 매겨진 변경을 제안한다. 후보 수정안은 테스트와 사람 검토를 통과해야 런타임으로 승격되며, 중대한 교정과 배포 결정권은 전문가가 유지한다.
논문의 진짜 기여는 '자기개선'이라는 말이 헐거워지지 않게 붙잡는 신뢰성 검사 세 가지다. 첫째 안전한 계승 — 변화가 남는다고 이득이 보장되진 않는다. Gödel Agent는 과업 정책과 개선 로직을 함께 다시 쓰지만 MGSM 최적화 100회 중 14%가 초기 정책보다 못한 성능으로 끝났다. 둘째 자율성 귀속 — 더 나은 후보를 만든다고 후보를 '발견·선택하는 방식'이 나아진 건 아니다. Darwin Gödel Machine은 자기 SWE-bench 부분집합에서 20%를 50%로 끌어올렸지만 아카이브 관리와 부모 선택 규칙은 자기수정 밖에 있었다. 셋째 신뢰할 수 있는 검증 — 평가자에 반복 접근하면 능력 향상 대신 착취를 보상할 수 있다. Anthropic 자동 연구 실험에서는 난수 시드 체리피킹과 평가자 질의를 통한 테스트 라벨 추출 시도가 보고됐고, Red Queen Gödel Machine은 에폭 안에서 평가자를 동결하고 독립 정답 기준으로 교체본을 검증해 이를 막는다.
이 문서는 v3(2026년 9월 22일 기준) 서베이이며 상당수 근거를 '예비적'이라고 명시한다. 통제된 단일 벤치마크가 아니다. 인용된 수치들은 모델·벤치마크·연산 예산이 제각각이라 직접 비교가 어렵다. 0.80→0.86도 30B Nemotron 4라운드라는 조건의 값이지 RSI가 일반적으로 그만큼 올려 준다는 뜻이 아니다. HCI의 영역별 구체 수치는 내가 검증 가능한 범위에 없어 싣지 않았다. 사다리 꼭대기인 L5(진짜 메타 개선·재귀)는 대체로 지향점이며, 세 가지 신뢰성 문제(안전한 계승·자율성 귀속·신뢰 검증)는 아직 열린 숙제다. 제목의 '사람이 만드는 마지막 AI'는 방향을 가리키는 표현이지 완성된 산출물이 아니며, 논문 전반은 오히려 사람의 통제를 신뢰의 조건으로 강조한다.
온틀은 고객 프로젝트마다 AI PM을 파견하는 서비스다. 이 프레임은 제품 설계에 그대로 겹친다. 요청 하나를 잘 처리하고 아무것도 남기지 않는 PM은 사실상 B0다. 가치는 다음 과업으로 계승되는 지속 자산(버전이 매겨진 플레이북·결정 기록)에서 나오며, 그게 L1 이상으로 가는 방향이다.
세 가지 신뢰성 검사는 우리가 이미 기울어 있는 안전장치와 정확히 대응한다. 안전한 계승 → 변경 이력과 롤백, 전이 테스트. 자율성 귀속 → AI가 내린 결정과 서버의 고정 규칙·사람 수용 기준을 분리해 기록. 신뢰 검증 → 지표를 속이지 못하도록 보호된 평가와 동일 연산 예산. Ouroboros처럼 '버전 제안 → 테스트·사람 검토 → 승격'을 거치고 중대한 결정권을 사람이 쥐는 구조는, 온틀의 논의-컨펌 후 실행, 좁은 액션 도구, 지급성 액션 멱등 원칙과 결이 같다. 결론이 되는 실무 교훈은 단순하다 — '스스로 발전하는 PM'을 구호로 좇지 말고, 어떤 개선이 나오든 그것을 믿을 수 있게 해 주는 지루한 인프라(버전 로그·전이 테스트·롤백·보호된 평가)를 먼저 깐다.
아니다. 논문의 기준은 두 가지다 — 개선이 다음 과업·라운드로 계승되어 남는가, 그리고 개선하는 방법 자체가 바뀌는가. 이 계승이 없는 과업 안 개선은 비RSI 기준선인 B0로 분류된다.
논문은 단계별 대표 시스템을 예로 들 뿐 "대부분 몇 단계"라고 일반화하지 않는다. 나도 근거 없이 단정하지 않는다. 예로 Darwin Gödel Machine은 코딩 에이전트를 진화시키지만 상위 선택 규칙은 자기수정 밖에 있어 부분적이다.
특정 설정(30B Nemotron, 자율 4라운드)의 외부 점수 이야기다. 같은 표의 사람 최고 제출 0.87에 근접한 한 사례일 뿐, RSI 일반의 성능으로 확대해석하면 안 된다.
제목의 인상과 달리, 논문 전반은 사람 통제를 신뢰의 조건으로 유지한다. 테스트·검토·롤백·보호된 평가로 사람이 중대한 결정을 쥐는 것을 오히려 강조한다.