Atria Dawn 논문 해설: 에이전트 초지능과 사람의 몫

중국 대학 연구자들로 구성된 Atria Team이 744B 파라미터 MoE(전문가 혼합) 기반 위에 올린 에이전트 언어모델 "Atria Dawn Preview"를 arXiv에 올렸다. 이 논문이 흔한 모델 공개와 다른 지점은, 벤치마크 점수를 나열하는 데서 멈추지 않고 그 모델을 만든 개발 과정 자체를 데이터로 삼았다는 데 있다. 56명이 남긴 769건의 작업 기록을 뜯어본 결론은 담백하다. 에이전트가 방법을 먼저 제안하고 수정을 실행하는 일은 잦아졌지만, "무엇을 할 가치가 있는가"를 정하는 최종 판단은 여전히 사람에게 남아 있었다. 논문

이 논문이 푸는 문제

에이전트가 도구를 써서 소프트웨어를 짜고 문서를 다루는 수준을 넘어, 이제는 AI 시스템 자체를 개발하는 일에 끼어들기 시작했다. 알고리즘 탐색이나 자동 연구를 다룬 기존 연구들은 에이전트가 후보를 제안하고, 실험을 돌리고, 피드백에 맞춰 해법을 고칠 수 있다는 걸 보여줬다. 그런데 벤치마크 점수만으로는 답할 수 없는 질문이 하나 남는다. 실제 모델 개발 프로젝트에서 누가 풀 만한 문제를 골라내고, 제안된 여러 방법 중 무엇을 선택하며, 불확실한 결과를 해석하고, 다음에 무엇을 할지 결정하는가.

Atria Team은 이 "책임의 분업"을 이해해야 에이전트의 기여도와 사람 연구자의 바뀌는 역할을 제대로 가늠할 수 있다고 본다. 그래서 논문은 두 갈래로 진행된다. 하나는 모델을 만들어 16개 벤치마크로 평가한 결과, 다른 하나는 그 모델을 만드는 과정에서 사람과 에이전트가 실제로 어떻게 일을 나눴는지에 대한 기록 분석이다.

핵심 아이디어(일상 비유)

첫 번째 축은 훈련 방식이다. 논문은 이를 "검증 가능한 경험 파이프라인(Verifiable Experience Pipeline)"이라 부른다. 요지는 이렇다. 모든 훈련 과제가 실제 실행 환경에 연결돼 있어서, 모델은 상태를 관찰하고 도구를 호출하며 중간 산출물을 만들고 피드백에 맞춰 행동을 고친다. 그리고 그 과제의 최종 결과는 외부 신호로 검증된다. 테스트 통과 여부, 실험 지표, 파일·애플리케이션 상태, 기하 구조 검사, 출처 근거, 사람이 정한 기준 같은 것들이다. 과제와 그 궤적, 산출물, 검증 증거가 서로 연결된 경험만 모델의 재사용 가능한 능력으로 편입된다.

요리 견습생에 비유하면 이해가 쉽다. 레시피를 외웠다고 점수를 주는 게 아니라, 실제로 요리를 해서 손님이 먹고 통과했을 때에만 그 경험이 교재에 실린다. 불완전하거나 모순되거나 중복되거나 행동상 무효인 사례는 궤적 정제 단계에서 걷어낸다. 실패한 기록도 그냥 버리지 않는다. 도구 선택 실패, 검증 누락, 증거 부족, 복구 실패 같은 반복 문제는 다음 과제와 품질 점검을 설계하는 재료가 되고, 원인이 독립적으로 규명된 실패는 진단용 사례로 남는다.

두 번째 축은 사람-에이전트 협업을 재는 방법이다. 논문은 완료된 작업을 뭉뚱그려 세지 않고, 더 잘게 쪼개 물었다. 방법을 제안한 쪽과 그 방법을 채택한 쪽이 누구인지, 문제를 진단한 쪽과 실제 수정을 수행한 쪽이 누구인지를 구분한 것이다. 연구실에 빗대면, 아이디어를 쏟아내고 구현 작업을 도맡는 주니어(에이전트)와, 어느 방향이 추구할 가치가 있는지를 결정하는 책임연구자(사람)의 역할을 따로 센 셈이다.

결과와 의미

평가는 도구 사용, 검색·리서치, 워크스페이스 생산성, 전문 과제, 소프트웨어 엔지니어링, 터미널 작업, ML 엔지니어링, 사이버보안을 아우르는 16개 벤치마크에서 이뤄졌다. 표에 실린 값은 논문이 "공식 릴리스 웹사이트에 보고된 결과"라고 밝힌 수치이고, 비교 대상은 DeepSeek V4 Pro·KIMI K3·Qwen 3.8 Max·GLM 5.3·GPT-5.6 sol·Claude Opus 5 여섯 모델이다. Atria Dawn Preview는 이 중 다섯 개에서 보고된 최고 점수를, 세 개에서 두 번째를 기록했다. 결과가 없는 칸은 0이 아니라 미보고로 처리했다.

최고를 찍은 다섯은 AutomationBench(53.8, 2위 Qwen 3.8 Max보다 4.1점), BFCL v4(77.0, GLM 5.3보다 2.9점), DeepSearchQA(96.0), BrowseComp(92.5), 그리고 코딩 묶음의 CyberGym(86.5, 2위 GLM 5.3 84.5보다 2.0점)이다. 앞의 넷은 도구 호출·심층 검색·범용 작업을 아우르는 "범용 에이전트 지능" 묶음에 속하고, CyberGym에서의 우위는 취약점 분석·보안 과제에서의 강점을 시사한다. 2위를 기록한 셋 — SkillsBench(66.4)·Workspace-Bench(65.0)·Workspace-Bench-Lite(68.2) — 은 각각 1위와 0.3, 0.8, 1.9점 차로 붙어 있다.

다만 전 영역 최강이라는 인상을 주지는 않는다. 논문 스스로 "성능은 도메인마다 편차가 있다"고 적었고, 표를 보면 그 편차가 뚜렷하다. SWE-bench Pro는 Atria가 59.6인데 표의 최고값은 Claude Opus 5의 74.7로 격차가 크다. JobBench(50.3)와 GDPval(1583)에서는 다수 모델에 뒤지고, 논문도 이 두 곳을 "개선 여지가 가장 큰 설정"이라고 인정한다. Terminal-Bench 2.1(78.3)은 DeepSeek V4 Pro(78.7) 수준이며 Qwen·Claude Opus 5 등이 더 높다. 요약하면 보안과 여러 범용 에이전트 과제에서 앞서되, 장기 전문 작업과 일부 소프트웨어 엔지니어링에서는 선두 모델들에 자리를 내준다.

개발 과정 분석이 이 논문의 진짜 무게 중심이다. 56명의 참가자가 남긴 769건의 작업 기록을 에이전트 로그와 함께 봤더니, 참가자들은 완료된 AI 보조 작업 중 약 3분의 1을 "같은 범위·자원 조건에서 AI 없이는 불가능했다"고 평가했다. 그리고 더 잘게 본 역할 분포에서, 에이전트는 접근법을 먼저 꺼내고 변경을 실행하는 일을 자주 맡은 반면, 사람은 평가·선택·탐색 방향 설정에 집중했다. 대부분의 최종 결정권은 사람에게 남았다. 논문은 이를 "과제 단위 실행에서 프로젝트 단위 파트너십으로의 이동"이라 표현한다. 사람의 노력이 "무엇을 추구할 가치가 있는가, 증거가 연구를 어떻게 이끌어야 하는가"로 옮겨간다는 것이다.

한계와 남은 질문

먼저 점수의 성격을 오해하면 안 된다. 표의 값은 논문이 공식 릴리스 웹사이트에 보고한 비교표 기준이고, "최고 점수"도 그 보고된 범위 안에서의 최고다. 미보고 칸이 많아 절대 순위로 읽기는 어렵다.

사례 연구도 평균 성공률이 아니라 "선별된 시연"임을 논문이 분명히 한다. 예컨대 날씨 예측 사례에서는 웹 검색을 끈 채 100GB가 넘는 기상 데이터를 처리하고, 4억 개 넘는 파라미터의 비전 트랜스포머 기반 신경망을 구현해 69개 기상 변수를 대상으로 45,000스텝을 학습했다. 그러나 논문은 생성된 인터페이스를 잘라 실은 것일 뿐 예측 정확도는 보고하지 않는다고 명시한다. GDN(Gated Delta Network) 디코드 최적화 사례에서는 실행 오버헤드를 찾아 Triton에서 네이티브 CUDA로 바꾸고 측정된 회귀에 맞춰 설정을 고쳤는데, 여기서 나온 latency 비율은 7개 대표 배치 크기의 baseline·candidate latency 합에 대한 개발 중 측정값이다. 공개된 trace 끝에서 54개 공식 워크로드 중 52개가 통과했으나 완전한 formal mean은 없어서, 논문은 이 비율이 "최종 벤치마크 점수가 아니다"라고 못박는다. MiniOS를 빈 작업공간에서 약 20분 만에 만들어 두 번의 QEMU 세션에 걸쳐 영속 상태와 자동 실행을 확인했다는 창작 사례, 4기통 엔진·휴머노이드 로봇·로봇 관절·로켓 같은 CAD 조립 사례도 마찬가지로 "기계적·제조 검증이 아니다"라는 단서가 붙는다. 서로 다른 실험에서 나온 이 수치들을 하나의 성과처럼 합치면 안 된다.

가장 큰 열린 질문은 논문 5장이 던진다. AI가 R&D에 참여하는 단계에서 지속적 재귀적 자기개선(RSI)으로 가려면 무엇이 더 필요한가, 그리고 AI가 점점 자기 R&D를 넘겨받을 때 사람은 어떤 역할을 할 수 있는가. 논문의 답은 신중하다. 지속적 자기개선은 과제 수준의 역량만으로는 부족하고, 연구 과정 자체를 강화하는 능력 — 가치 있는 방향을 식별하고, 정보량 있는 실험을 설계하고, 불확실한 결과에서 배우고, 언제 방향을 틀지 판단하는 능력 — 을 요구한다. 그래서 더 자율적인 AI 연구를 향한 진보는 발견 역량과 의미 있는 인간 감독 역량을 함께 키워야 하며, 위험과 방향에 대한 책임 있는 인간 권한을 지켜야 한다고 맺는다.

온틀 관점(AI PM·에이전트 제품 시사점)

온틀은 고객 프로젝트마다 AI PM을 파견해 접수·분석·개발·서비스 노출을 관리하는 제품이다. 이 논문의 발견은 그 설계 철학과 정면으로 맞닿는다.

첫째, "AI가 다 한다"가 아니라 "AI가 실행하고 사람이 판단한다"가 실측으로 확인된 분업이다. 에이전트가 방법을 제안하고 수정을 수행하되 결정과 방향은 사람이 쥔다는 구조는, AI PM이 자동으로 밀어붙일 지점과 반드시 사람 컨펌을 받아야 할 지점을 가르는 데 그대로 옮겨쓸 수 있다. 제안·구현은 자율, 채택·중단·방향 전환은 게이트로 두는 식이다.

둘째, 검증 가능한 경험 파이프라인의 핵심 — 결과를 자기 보고가 아니라 외부 신호(테스트·파일 상태·출처 근거)로 검증한다 — 는 온틀이 반복적으로 겪은 "가짜 완료" 문제의 해법과 같은 방향이다. PM이 "배포했습니다"라고 done 처리해도 실제로는 미개통이던 사고를 막으려면, 완료의 정의를 실행 결과 검증에 묶어야 한다. HTTP 200이나 DB 카운트가 아니라 실제 화면·상태로 확인하는 배포 검증 습관이 여기 해당한다.

셋째, 도메인 편차를 정직하게 받아들이는 것이 제품 설계에 유리하다. 이 모델조차 보안·범용 검색에서는 앞서지만 장기 전문 산출물에서는 선두에 못 미친다. AI PM을 파견할 때도 에이전트가 실제로 우위인 작업 유형에 자율 폭을 넓게 주고, 아직 사람 판단이 결정적인 유형에는 감독을 두껍게 두는 편이 안전하다. 성과 편차를 숨기지 않고 고객에게 어느 영역이 강하고 어디가 사람 손이 필요한지를 밝히는 것이, 과장된 "완전 자동화"보다 신뢰를 만든다.

참고자료

• Atria Team, "Atria Dawn: The Dawn of Agentic Superintelligence — On the Evolving Roles of Human–AI Collaboration," arXiv:2609.15818v2 [cs.AI], 2026-09-17. 교신저자 이메일 fudan.edu.cn. https://arxiv.org/abs/2609.15818