행동을 '쓰지' 말고 '고르게' — 에이전트를 빠르게 만든 JevSpawn
행동을 매번 토큰으로 지어내는 대신 유한한 후보에서 고르게 하되, 그 후보 목록을 모델이 과제에서 스스로 만들고 고쳐 쓰게 한 JevSpawn 논문 분석.
AI는 왜 마지막 한 줄에서 무너지나 — KaliBench 해부
자연어 보안 요청을 Kali 명령어로 옮기는 능력을 '도구 선택'과 '인자 구성'으로 쪼개 쟀더니, 도구는 잘 골라도 인자에서 무너졌다.
코딩 AI는 로봇 엔지니어가 될 수 있나 — RLE-Bench의 자격시험
하버드·조지아텍 연구진이 코딩 AI의 로봇개발 역량을 51개 과제로 쟀다. 보는 눈에서 선두가 갈렸고, 설계 안정성 마진이라는 한 지표에서는 전 모델이 0점을 받았다.
영상은 그럴듯한데 글씨는 틀린다 — 글자 쓰기를 재는 VTR-Bench
영상 생성 AI가 화면 속 글자를 얼마나 정확히 쓰는지 300개 프롬프트로 잰 벤치마크. 최고 모델도 정규화한 편집 오류 점수가 0.250이었고, 영상이 그럴듯한 것과 글자가 정확한 것은 별개였다.
출력은 그대로, 코딩 에이전트 응답 생성 처리량만 최대 4.76배 — KAIST AgSpec
KAIST의 AgSpec은 코딩 에이전트가 답을 써 내려가는 구간만 가속한다. greedy 조건에선 출력을 바꾸지 않고, 생성 처리량이 기존 최고 방식보다 평균 18.0% 높았다.
로봇은 할 줄 안다, 말해주는 법을 몰랐을 뿐
로봇은 이미 할 줄 아는데 시키는 법이 없었다. 몸은 고정한 채 '보상 프로그램'이라는 지시서만 진화시키고, 제안은 언어 모델·판정은 손 못 대는 검증기가 맡아 성공률을 2.5배로 올린다.
소프트웨어를 깔지 않고 GUI 에이전트를 가르친다 — AutoGUIWorld 뜯어보기
소프트웨어를 실제로 돌리지 않고 이미지 생성 모델로 GUI 에이전트 학습 데이터를 합성했다. 이 가짜 데이터로 실제 컴퓨터·과학 작업 성능을 끌어올린 연구.
코드로 움직이는 로봇 에이전트: 토큰 65% 절감, 성공률 14% 향상
로봇 에이전트가 도구를 하나씩 호출하는 대신 파이썬 코드로 행동을 묶어 실행하니, 같은 호출 예산에서 성공률은 63.1%→71.7%로 오르고 토큰은 65% 줄었다.
AI 에이전트의 작업 틀(하네스)을 스스로 진화시키는 MILO
모델을 둘러싼 실행 틀인 '하네스'를 사람 대신 자동으로 찾고, 그 탐색 전략까지 같이 진화시키는 프레임워크. 세 벤치마크에서 기존 최고 설계를 앞섰다.
GraphForge: 실무형 AI 에이전트를 '진짜 파일'로 훈련시키는 법
실제 업무 파일에서 과제와 채점 기준을 동시에 뽑아내는 증거 그래프 방식. 2,169개 학습 궤적으로 Qwen 모델의 세 가지 업무 벤치마크 점수를 끌어올렸다.
코치가 훈련 계획을 바꾸듯, 에이전트의 '배울 거리'도 함께 진화시킨다
에이전트를 고칠 때 '무엇으로 배울지'를 처음 순서에 묶어두면 손해다. 고치는 방법뿐 아니라 훈련 계획까지 함께 진화시키면 같은 예산으로 더 좋아진다.
선명화 세금: 강화학습 후처리가 AI 에이전트에게서 앗아가는 것
강화학습 후처리는 단발 정확도를 높이지만, 시도를 충분히 늘렸을 때 풀어낼 과제 범위는 오히려 좁힐 수 있습니다. 논문은 이 손실을 '선명화 세금'으로 재고, 난이도별 온도 조절 샘플러 PTGS로 줄입니다.