틀어진 한 단계만 실행 중에 고치는 AI 워크플로우 — 정답표 없이
여러 AI가 분업하는 작업에서, 정답표 없이 틀어진 단계만 실행 도중에 골라 고치는 InFlowOp. 그런데 정작 성패를 가른 건 교정 솜씨가 아니었다.
AI에게 기억 '적는 법'을 가르쳤더니 — 줄다리기가 시작됐다
수백 시간 영상을 짧은 글 기억으로 압축하는 MemLife, 그 '적는 법'만 강화학습으로 가르친 MemOpt. 정확도는 올랐지만 읽는 쪽이 똑똑하면 그 이득은 쪼그라들었다.
온폴리시가 능사는 아니었다 — 증류를 가른 건 KL 방향과 학습률
케임브리지 연구팀이 온폴리시 증류의 우위를 통제 실험으로 검증했다. 최종 성능을 가른 건 롤아웃 정책이 아니라 KL 방향, 망각과 희소성은 학습률이 좌우했다.
OneStreamer: 과거를 메모로 남겨, 현재를 흐리지 않고 기억하는 영상 AI
난징대 등의 스트리밍 영상 AI OneStreamer. 본 장면을 스스로 캡션으로 적어 과거를 영상 대신 메모로 들고 가, 4B 크기로 벤치마크 8개를 모두 1위 했다.
AI PM의 "완료했습니다"를 어디까지 믿을까
'완료했습니다'라는 말이 아니라 그 옆의 확인 근거와 아직 안 된 항목을 보라. 납기 단축 요청 한 건을 따라가며, AI PM의 보고를 근거까지 되짚는 운용법을 짚었다.
모델에 이름표만 붙여도 AI들이 편을 가른다 — 파벌주의의 발견
에이전트에게 서로의 모델 계열을 알려주자 같은 이름표끼리 뭉치는 '파벌주의'가 생겼다. 두 협력 게임과 추론 벤치마크로 측정했고, 라벨만 가려도 사라졌다.
계획을 미리 다 짜지 않은 딥리서치 에이전트, 같은 조건에서 더 정확하고 저렴했다
전체 계획을 미리 짜 두지 않고, 끝난 작업의 결과를 보며 조금씩 계획을 키워가는 딥리서치 AI 에이전트가 나왔다. 같은 조건 비교에서 정확도는 올리고 토큰·도구 호출·단계는 함께 줄였다.
같은 AI를 세 번 돌린 점수가, 다른 AI들 사이보다 더 흔들렸다 — BIABench
출판된 생물학 연구를 과제로 되살린 BIABench. 2D는 통과했지만 깊이·시간이 붙은 일부 과제는 최고점이 0.19에 그쳤고, 같은 에이전트의 재실행 편차가 에이전트 사이 편차보다 컸다.
계열 다른 LLM끼리 문맥을 다시 안 읽고 넘기기 — HeteroFold
계열이 다른 두 LLM이 긴 문맥을 다시 읽지 않고 미리 계산한 결과만 넘겨 쓰게 한 HeteroFold. 32K에서 재프리필보다 10.7배 빠르고, 멀티에이전트에서 텍스트 통신과 대등했다.
행동을 '쓰지' 말고 '고르게' — 에이전트를 빠르게 만든 JevSpawn
행동을 매번 토큰으로 지어내는 대신 유한한 후보에서 고르게 하되, 그 후보 목록을 모델이 과제에서 스스로 만들고 고쳐 쓰게 한 JevSpawn 논문 분석.
AI는 왜 마지막 한 줄에서 무너지나 — KaliBench 해부
자연어 보안 요청을 Kali 명령어로 옮기는 능력을 '도구 선택'과 '인자 구성'으로 쪼개 쟀더니, 도구는 잘 골라도 인자에서 무너졌다.
코딩 AI는 로봇 엔지니어가 될 수 있나 — RLE-Bench의 자격시험
하버드·조지아텍 연구진이 코딩 AI의 로봇개발 역량을 51개 과제로 쟀다. 보는 눈에서 선두가 갈렸고, 설계 안정성 마진이라는 한 지표에서는 전 모델이 0점을 받았다.