온폴리시가 능사는 아니었다 — 증류를 가른 건 KL 방향과 학습률
케임브리지 연구팀이 온폴리시 증류의 우위를 통제 실험으로 검증했다. 최종 성능을 가른 건 롤아웃 정책이 아니라 KL 방향, 망각과 희소성은 학습률이 좌우했다.
OneStreamer: 과거를 메모로 남겨, 현재를 흐리지 않고 기억하는 영상 AI
난징대 등의 스트리밍 영상 AI OneStreamer. 본 장면을 스스로 캡션으로 적어 과거를 영상 대신 메모로 들고 가, 4B 크기로 벤치마크 8개를 모두 1위 했다.
모델에 이름표만 붙여도 AI들이 편을 가른다 — 파벌주의의 발견
에이전트에게 서로의 모델 계열을 알려주자 같은 이름표끼리 뭉치는 '파벌주의'가 생겼다. 두 협력 게임과 추론 벤치마크로 측정했고, 라벨만 가려도 사라졌다.
계획을 미리 다 짜지 않은 딥리서치 에이전트, 같은 조건에서 더 정확하고 저렴했다
전체 계획을 미리 짜 두지 않고, 끝난 작업의 결과를 보며 조금씩 계획을 키워가는 딥리서치 AI 에이전트가 나왔다. 같은 조건 비교에서 정확도는 올리고 토큰·도구 호출·단계는 함께 줄였다.
같은 AI를 세 번 돌린 점수가, 다른 AI들 사이보다 더 흔들렸다 — BIABench
출판된 생물학 연구를 과제로 되살린 BIABench. 2D는 통과했지만 깊이·시간이 붙은 일부 과제는 최고점이 0.19에 그쳤고, 같은 에이전트의 재실행 편차가 에이전트 사이 편차보다 컸다.
계열 다른 LLM끼리 문맥을 다시 안 읽고 넘기기 — HeteroFold
계열이 다른 두 LLM이 긴 문맥을 다시 읽지 않고 미리 계산한 결과만 넘겨 쓰게 한 HeteroFold. 32K에서 재프리필보다 10.7배 빠르고, 멀티에이전트에서 텍스트 통신과 대등했다.
행동을 '쓰지' 말고 '고르게' — 에이전트를 빠르게 만든 JevSpawn
행동을 매번 토큰으로 지어내는 대신 유한한 후보에서 고르게 하되, 그 후보 목록을 모델이 과제에서 스스로 만들고 고쳐 쓰게 한 JevSpawn 논문 분석.
AI는 왜 마지막 한 줄에서 무너지나 — KaliBench 해부
자연어 보안 요청을 Kali 명령어로 옮기는 능력을 '도구 선택'과 '인자 구성'으로 쪼개 쟀더니, 도구는 잘 골라도 인자에서 무너졌다.
코딩 AI는 로봇 엔지니어가 될 수 있나 — RLE-Bench의 자격시험
하버드·조지아텍 연구진이 코딩 AI의 로봇개발 역량을 51개 과제로 쟀다. 보는 눈에서 선두가 갈렸고, 설계 안정성 마진이라는 한 지표에서는 전 모델이 0점을 받았다.
영상은 그럴듯한데 글씨는 틀린다 — 글자 쓰기를 재는 VTR-Bench
영상 생성 AI가 화면 속 글자를 얼마나 정확히 쓰는지 300개 프롬프트로 잰 벤치마크. 최고 모델도 정규화한 편집 오류 점수가 0.250이었고, 영상이 그럴듯한 것과 글자가 정확한 것은 별개였다.
출력은 그대로, 코딩 에이전트 응답 생성 처리량만 최대 4.76배 — KAIST AgSpec
KAIST의 AgSpec은 코딩 에이전트가 답을 써 내려가는 구간만 가속한다. greedy 조건에선 출력을 바꾸지 않고, 생성 처리량이 기존 최고 방식보다 평균 18.0% 높았다.
로봇은 할 줄 안다, 말해주는 법을 몰랐을 뿐
로봇은 이미 할 줄 아는데 시키는 법이 없었다. 몸은 고정한 채 '보상 프로그램'이라는 지시서만 진화시키고, 제안은 언어 모델·판정은 손 못 대는 검증기가 맡아 성공률을 2.5배로 올린다.