정답 하나로 매긴 테스트 점수, 다시 재니 반토막
AI가 만든 테스트를 정답 구현 하나로만 채점하면 품질이 부풀려진다. 여러 유효·무효 구현으로 다시 재니 가장 좋은 모델도 59.67%에서 28.00%로 떨어졌다.
오차에도 수명이 있다 — STEPQuant가 AI 서버 메모리를 줄이는 법
선형 어텐션 모델의 상태 메모리를 6비트로 압축해, 특정 서빙 조건에서 메모리를 크게 줄이면서 정확도는 지킨 STEPQuant. 오차가 언제·어디서 쌓이는지 나눠 본 발상.
증거에서 행동까지: 도구 쓰는 AI 에이전트는 어디서 무너지는가
결과가 맞아도 행동의 근거를 미리 확보하지 못했다면 실패다. 656개 과제 벤치마크 SafeActBench로 보니, 에이전트는 실행보다 '행동 전 조사'에서 먼저 무너졌다.
AI가 낸 문제로 AI를 시험한다: AutoSciBench
에이전트가 시험지를 너무 빨리 풀어 벤치마크가 금방 쓸모없어진다. AutoSciBench는 에이전트의 풀이 과정을 훔쳐보며 문제를 스스로 더 어렵게 키운다.
스킬은 고칠수록 나빠질 수 있다 — EviSkill은 재연으로 거른다
스킬을 경험으로 고치면 오히려 퇴보하기 쉽다. EviSkill은 문제가 됐던 장면만 다시 실행해, 효과가 확인된 수정만 반영한다.
흐릿한 프레임은 또렷하게, 움직임은 그대로 — DuoMatching 뜯어보기
빠른 영상 생성이 놓치던 '프레임 한 장의 화질'을, 이미지 생성 모델을 교사로 덧대 되살린 DuoMatching. 움직임은 지키며 화질을 끌어올린 방법을 쉽게 풀었다.
더 넓게 비교할수록 손해였다 — 크로스 토크나이저 증류의 역설
서로 다른 토크나이저 모델 간 증류에서 비교 범위를 넓히자 18개 설정 전부 정확도가 떨어졌다. 중요한 건 범위가 아니라 신호의 신뢰도였다.
저정밀 강화학습, 품질 지키며 5.4배 가속 — 알리바바 TRACE
알리바바 TRACE는 훈련과 롤아웃의 '반올림 어긋남'을 직접 줄여, FP4 강화학습에서 BF16급 품질을 지키며 롤아웃 처리량을 최대 5.4배 높였다. MoE 4종에서 실측.
실행하기 전에 고르게 하라 — AI 에이전트의 진짜 병목은 선별이었다
후보 명령을 여러 개 뽑아 실행 전에 하나만 고른다. 성패를 가른 건 후보의 수가 아니라, 그걸 가려내는 검증기의 질이었다.
번역하면서 스스로 고친다: 한 시즌 자막의 일관성을 잡은 SMART
드라마 한 시즌을 번역하면 같은 호칭이 회차마다 미끄러진다. SMART는 모델을 다시 학습시키지 않고 번역 도중 작업 방식을 고쳐 15개 번역 방향에서 모두 1위를 찍었다.
깨끗한 기억이 아첨을 부른다: MemAdapter가 찾은 해법
틀린 기억이 아니라 정확한 기억이 LLM 에이전트를 아첨하게 만든다. MemAdapter는 기억을 지우는 대신, 꺼낸 뒤 '얼마나 믿을지'를 맥락에 맞춰 다시 맞춘다.
요리가 망하면 누구 탓? 모든 역할을 함께 키우는 FloWright
설계자만 가르치던 멀티에이전트 워크플로. FloWright는 실행 기록의 실패를 역할별로 나눠 모든 역할을 함께 강화학습시켜, 4B 모델 정확도를 평균 +5.03%p 올렸다.