영상은 그럴듯한데 글씨는 틀린다 — 글자 쓰기를 재는 VTR-Bench
영상 생성 AI가 화면 속 글자를 얼마나 정확히 쓰는지 300개 프롬프트로 잰 벤치마크. 최고 모델도 정규화한 편집 오류 점수가 0.250이었고, 영상이 그럴듯한 것과 글자가 정확한 것은 별개였다.
출력은 그대로, 코딩 에이전트 응답 생성 처리량만 최대 4.76배 — KAIST AgSpec
KAIST의 AgSpec은 코딩 에이전트가 답을 써 내려가는 구간만 가속한다. greedy 조건에선 출력을 바꾸지 않고, 생성 처리량이 기존 최고 방식보다 평균 18.0% 높았다.
로봇은 할 줄 안다, 말해주는 법을 몰랐을 뿐
로봇은 이미 할 줄 아는데 시키는 법이 없었다. 몸은 고정한 채 '보상 프로그램'이라는 지시서만 진화시키고, 제안은 언어 모델·판정은 손 못 대는 검증기가 맡아 성공률을 2.5배로 올린다.
소프트웨어를 깔지 않고 GUI 에이전트를 가르친다 — AutoGUIWorld 뜯어보기
소프트웨어를 실제로 돌리지 않고 이미지 생성 모델로 GUI 에이전트 학습 데이터를 합성했다. 이 가짜 데이터로 실제 컴퓨터·과학 작업 성능을 끌어올린 연구.
코드로 움직이는 로봇 에이전트: 토큰 65% 절감, 성공률 14% 향상
로봇 에이전트가 도구를 하나씩 호출하는 대신 파이썬 코드로 행동을 묶어 실행하니, 같은 호출 예산에서 성공률은 63.1%→71.7%로 오르고 토큰은 65% 줄었다.
AI 에이전트의 작업 틀(하네스)을 스스로 진화시키는 MILO
모델을 둘러싼 실행 틀인 '하네스'를 사람 대신 자동으로 찾고, 그 탐색 전략까지 같이 진화시키는 프레임워크. 세 벤치마크에서 기존 최고 설계를 앞섰다.
GraphForge: 실무형 AI 에이전트를 '진짜 파일'로 훈련시키는 법
실제 업무 파일에서 과제와 채점 기준을 동시에 뽑아내는 증거 그래프 방식. 2,169개 학습 궤적으로 Qwen 모델의 세 가지 업무 벤치마크 점수를 끌어올렸다.
코치가 훈련 계획을 바꾸듯, 에이전트의 '배울 거리'도 함께 진화시킨다
에이전트를 고칠 때 '무엇으로 배울지'를 처음 순서에 묶어두면 손해다. 고치는 방법뿐 아니라 훈련 계획까지 함께 진화시키면 같은 예산으로 더 좋아진다.
선명화 세금: 강화학습 후처리가 AI 에이전트에게서 앗아가는 것
강화학습 후처리는 단발 정확도를 높이지만, 시도를 충분히 늘렸을 때 풀어낼 과제 범위는 오히려 좁힐 수 있습니다. 논문은 이 손실을 '선명화 세금'으로 재고, 난이도별 온도 조절 샘플러 PTGS로 줄입니다.
기억한 세계는 이미 과거다 — 물건이 옮겨지는 집에서 목표를 찾는 로봇
물건이 몰래 옮겨지는 집에서도 로봇이 목표를 찾도록, 과거 관측에 시간을 입혀 '지금 어디 있을까'를 추론하고 눈으로 다시 확인하는 EvolvingNav를 소개한다.
AI 에이전트 최고의 미덕은 '실행'이 아니라 '멈춤'이다
저자들이 음성 AI 여섯 개를 재보니 명령은 잘 알아듣는데 "지금은 가만히 있어야 한다"는 판단은 거의 못 했다. 도구는 잘 고르는데 멈추질 못한다.
NavHarness: 대화가 끊겨도 경험을 잇는 평생 내비게이션 에이전트
학습 없이 메모리 처리를 내비게이션 루프 안으로 넣어, 세션이 바뀌어도 지도와 탐색 기록을 이어 쓰는 NavHarness. GOAT-Bench·IR2R-CE에서 최고 성능.