사용자의 기록을 많이 읽는 AI일수록 그 사람을 잘 안다고 생각하기 쉽다. 그런데 실제로는 반대 현상이 보고된다. 행동 이력을 길게 넣어줄수록 다음 행동 예측이 오히려 빗나가고, 일반 능력이 더 센 모델이 '이 한 사람'을 상대하는 일에서는 더 못하기도 한다. 기록은 쌓이는데, 정작 그 사람의 다음 수는 못 맞힌다.
Vela는 이 문제를 정면으로 겨눈 프레임워크다. 발상은 단순하다. 사용자가 "다음에 무엇을 할지"는 이미 데이터 안에 정답으로 들어 있다. 과거 기록의 한 지점을 잘라 앞부분만 모델에게 보여주고, 뒤에 실제로 일어난 행동을 맞히게 하면 된다. 사람이 정답을 달 필요가 없다. 그 사람이 실제로 한 행동이 채점표가 되기 때문이다. 익명화된 사용자 행동 로그를 이런 '문제-정답' 쌍으로 바꿔 모델을 추가 학습(미세조정)했더니, 사용자 이해 능력은 물론 수학·과학 같은 일반 능력까지 함께 올랐다 — 그리고 그 숫자를 어디까지 믿어야 하는지도 이 글에서 따진다.
LLM이 개인 비서·추천·광고에 들어가면 상대가 달라진다. 평균적인 사람이 아니라 '이 한 사람'을 상대하고(개별성), 몇 주에서 몇 년에 걸친 행동을 봐야 하며(장기간), 모든 판단이 그 사람의 실제 기록에 근거해야 한다(근거 기반). 논문은 이 셋이 모이는 능력을 "LLM 지능의 사용자 차원"이라 부른다. 한 사람의 선호·의도·앞으로의 행동을 그의 과거에서 읽어내는 힘이다.
지금 LLM은 여기에 약하다. 대부분 웹페이지·교과서·코드, 그리고 기계가 지어낸 합성 데이터로 배우는데, 이런 자료에는 한 개인의 행동이 시간에 따라 어떻게 변하는지가 거의 담기지 않는다. 그 결과가 앞서 말한 역설이다. 이력을 길게 넣을수록 정확도가 떨어지고, 모델이 '평균적인 사용자' 쪽으로 끌려가 개인화에 실패한다.
저자들이 주목한 건 이미 콘텐츠 플랫폼과 개인비서에 대규모로 쌓인 실제 행동 로그다. 사람이 쓴 공개 텍스트는 고갈돼 가는 반면, 행동 데이터는 계속 늘어난다. 남은 숙제는 이 제각각인 로그를 "정답이 분명한 다양한 문제"로 바꾸는 일이다.
이전에도 사용자를 다룬 시도는 있었다. 다만 추천이나 요약 같은 특정 응용 하나에 묶여 있거나(P5·RLPF·User-LLM), 모델이 사용자를 얼마나 기억·예측하는지 재는 평가(LongMemEval 등)에 머물렀다. Vela가 갈라지는 지점은, 하나의 좁은 응용이 아니라 91개 과제 유형에 걸친 넓은 집합을 같은 "행동=정답" 원리로 찍어내고, 그 효과가 사용자 과제를 넘어 일반 능력까지 번지는지를 함께 물었다는 데 있다.
Vela의 발상은 시험 문제를 만드는 방식과 닮았다. 한 사람의 시간순 기록을 한 지점에서 자른다. 앞부분은 모델에게 보여주는 '가시 이력', 뒷부분은 가리는 '미래'다. 모델은 앞만 보고 뒤에 실제로 일어난 일을 맞혀야 한다. 정답은 지어낼 필요가 없다. 그 사람이 실제로 한 행동이 곧 정답이다.
기록은 여섯 범주로 정리된다. 조회·검색·구매·게시·팔로우, 그리고 게시물 숨김으로 드러나는 부정 피드백이다. 이름·연락처·계정 같은 식별 정보와 프로필은 문제를 만들기 전에 지우고, 식별 정보가 섞인 기록은 통째로 뺀다.
질문은 크게 둘로 갈린다. 가려둔 미래와 직접 대조해 채점하는 예측형과, 정답이 하나로 떨어지지 않아 과제마다 만든 채점 기준(루브릭)으로 평가하는 루브릭형이다. 한 사용자를 예로 들자. 지난 두 달간 러닝화, 운동 양말, 땀 흡수 티셔츠를 차례로 샀다고 하면, 이 기록 하나에서 네 가지 질문이 나온다.
귀인형 질문은 "그가 러닝 재킷을 샀다"는 미래 행동을 이미 드러낸다. 그래서 같은 행동에 예측형까지 붙이면 예측형의 답이 그냥 새어 나간다. 그래서 하나의 미래 행동에는 예측형과 귀인형 중 하나만 무작위로 붙인다 — 커닝 페이퍼를 같이 주지 않는 셈이다.
과제는 네 단계로 만들어진다. 각 단계는 "무엇을"보다 "왜"가 중요하다.
세부 설정은 아래 표로 몰아 둔다.
| 항목 | 설정 |
|---|---|
| 분할 길이 | 7만2천~12만 토큰(Qwen3.6-35B-A3B 토크나이저 기준), 개별 행동 레코드는 쪼개지 않음 |
| 가시 이력 : 미래 | 앞 약 2/3 : 나머지 |
| 객관식 오답 | 다른 사용자 풀에서 추출 |
| 질문·루브릭 작성기, 채점기 | Qwen3.8-2.4T-A95B, 최고 사고 수준(xhigh) |
| 난이도 측정 | 베이스 모델이 사고 끈 채 문제당 4회 응답 → 평균 점수로 난이도 추정 |
| 궤적 생성·선별 | 문제당 4개 생성 → 최고점 1개, 난이도 평균 초과 시에만 채택 |
| 최종 규모 | 사용자 10만 → 후보 과제 10만 → Vela-Instruct 약 7만5천(궤적 1개/과제) · Vela-RFT 9,375 |
표에서 갈라지는 두 코퍼스가 핵심이다. Vela-Instruct의 궤적은 훨씬 큰 Qwen3.8-2.4T-A95B가 만들고, Vela-RFT의 궤적은 베이스 모델(Qwen3.6-35B-A3B)이 스스로 만든다. 즉 한쪽은 큰 모델의 답안을 베껴 배우는 '증류'가 섞여 있고, 다른 쪽은 오직 자기가 만든 행동 기반 풀이만 쓴다. 이 차이는 결과를 읽을 때 결정적이다.
평가는 세 묶음이다.
이 설계가 재는 것과 못 재는 것을 못박아 두자. VelaBench는 Vela가 만든 형식 안에서의 성능이라 '자기 채점' 성격이 있다. 문제를 쓴 모델과 채점하는 모델이 같은 Qwen3.8-2.4T-A95B라, 채점 기준을 만든 쪽의 취향이 점수에 반영될 여지가 있다. 그래서 독립적으로 만든 사용자 OOD 네 개가 함께 있어야 "Vela 형식에만 길들여진 과적합이 아니다"를 보일 수 있다. 반대로 이 벤치마크들은 모두 행동 기록 기반이라, '사용자 이해'는 잘 재지만 실시간 대화 품질이나 안전성 같은 바깥은 재지 않는다.
핵심 점수를 한 표로 묶으면 이렇다.
| 벤치마크 | 베이스 | Vela-Instruct(75K) | Vela-RFT(자기 생성·9,375) |
|---|---|---|---|
| VelaBench(인도메인) | 51.5 | 63.0 | 53.5 |
| 사용자 OOD 평균 | 41.3 | 47.5 | 베이스 대비 +1.6 |
| 일반 OOD 평균 | 54.2 | 58.2 | 54.2 |
Vela-Instruct로 훈련한 Vela-35B-A3B는 VelaBench에서 11.5점(51.5→63.0) 올라, 35B 파라미터만으로 훨씬 큰 DeepSeek-V4-Flash(284B)와 Qwen3.8-2.4T-A95B(2.4T)를 이 벤치마크에서 앞섰다.
가장 크게 오른 쪽과 안 오른 쪽이 갈린다. 사용자 OOD에서 광고 추천이 11.2점(51.1→62.3), 프로필 요약이 10.1점(20.4→30.5) 뛴 반면, 구매의향은 43.8에서 44.0으로 사실상 제자리였다. 모든 사용자 과제가 똑같이 좋아지는 게 아니다.
흥미로운 건 사용자 데이터로만 배웠는데 무관해 보이는 일반 능력이 같이 올랐다는 점이다. 일반 OOD 평균이 4.0점(54.2→58.2) 올랐고, 지시 따르기 6.7점, 맥락 학습(CL-bench Life) 5.6점, 과학(GPQA-Diamond) 4.6점이 올랐다. 저자들은 이를 행동 감독이 일반 지능의 토대까지 넓힌 증거로 읽는다.
이제 숫자를 어디까지 믿을지가 문제다. 자기가 만든 풀이만 쓴 Vela-RFT는 VelaBench에서 2.0점(51.5→53.5), 일반 OOD는 54.2로 베이스와 같았다. 헤드라인인 11.5점과 이 2.0점의 간극이 중요하다. 다만 두 조건은 '증류 유무'만 다른 게 아니다. Vela-Instruct는 약 7만5천 과제로, Vela-RFT는 9,375개로 학습 규모 자체가 다르다. 그러니 11.5점에서 증류 몫만 딱 떼어낼 수도, "순수한 행동 감독의 효과는 2.0점"이라 단정할 수도 없다. 말할 수 있는 건 두 가지다. 헤드라인 숫자에는 큰 교사 모델에서 내려온 몫이 섞여 있다는 것, 그리고 증류 없이 자기 풀이만 써도(RFT) 일반 능력을 깎지 않으면서 사용자 능력이 올랐다는 것. 저자들은 이 두 번째 사실을 두고, "모델이 만든 데이터로 반복 학습하면 원래 분포가 무너진다"는 알려진 위험을 실제 관측 행동에 묶어 피할 수 있다는 근거로 언급한다. 다만 논문은 이 위험을 논의로 소개할 뿐, 반복적인 재귀 학습에서 모델 붕괴가 실제로 방지되는지를 실험으로 입증하지는 않았다. 한 차례 RFT에서 일반 점수 평균이 유지됐다는 것만으로 붕괴 회피와 그 원인을 확정할 수는 없다 — 여기까지는 아직 검증되지 않은 기대에 가깝다.
한 걸음 더 들어가면, "실제로 한 행동이 곧 정답"이라는 전제 자체에 경계가 있다. 행동은 선호의 믿을 만한 대리지표지만 같은 것은 아니다. 추천이 하도 밀어붙여 눌렀을 뿐인 클릭, 할인에 떠밀린 충동구매, 대안이 없어 한 재방문은 '한 행동'이지만 '원한 것'은 아니다. Vela가 맞히는 건 어디까지나 '다음에 할 행동'이고, 그게 늘 '다음에 원하는 것'과 포개지지는 않는다. 그래서 이 방식은 행동 예측에는 강하지만, 사용자가 말로 꺼내지 않은 속마음을 읽는 문제 앞에서는 이 한계를 안고 들어간다.
규모를 키우며 본 실험에서도 방향은 일관됐다. VelaBench는 4.7K 샘플만으로 51.5에서 59.2로 뛰고 75K에서 63.0에 닿았는데, 37.5K→75K 구간에서도 계속 오르는 걸 보면 아직 더 키울 여지가 있다. 사용자 OOD 평균은 4.7K에서 43.5, 75K에서 47.5, 일반 OOD는 4.7K에서 55.8, 75K에서 58.2로, 모든 규모가 베이스를 넘겼다.
마지막으로 저자들은 행동 감독으로 다진 토대 위에 강화학습(더 나은 답에 보상을 주며 모델을 더 미는 추가 학습, GSPO)을 얹어 봤다. 베이스에서 출발한 강화학습은 VelaBench 58.5인데 Vela(18.8K 체크포인트)에서 출발하면 66.2, 프로필 요약은 29.9 대 37.6으로 둘 다 7.7점 벌어졌다. 게다가 베이스에서 출발한 쪽은 강화학습 전의 체크포인트 점수에도 못 미쳤다. 행동 감독으로 다진 바닥이 그 위의 강화학습까지 더 잘 받쳐준다는 뜻이다. 이 7.7점은 앞의 11.5점과 다른 실험이니 섞어 읽으면 안 된다.
관측된 변화는 위에서 봤으니, 여기선 그 숫자를 해석할 때 걸리는 제약만 짚는다.
온틀의 AI PM이 소기업 대표 한 명을 몇 주째 보좌하는 장면을 그려 보자. 이 대표는 월요일마다 재고 리포트만 열고 마케팅 제안은 번번이 건너뛰며, 특정 거래처 메일엔 늘 당일 회신하고 세금계산서는 마감 직전에야 승인한다. 지금 AI PM은 이 패턴을 '기억'은 해도 '예측'으로 바꾸지는 못한다 — 적어도 우리가 아직 검증하지 못한 영역이다.
Vela의 틀은 여기서 검증할 가설을 하나 던진다. 대표의 지난 행동을 '가시 이력', 이번 주에 그가 실제로 한 결정을 '정답'으로 두면, 사람이 라벨을 달지 않아도 회사 데이터 안에서 훈련 문제가 나온다는 가설이다. 막연한 주장으로 두지 말고, 과제 하나로 좁혀 검증 설계를 적어 보자.
여기서 제품 판단이 하나 필요하다. 이 대표가 마케팅 제안을 늘 건너뛴다고 해서, AI PM이 앞으로도 그걸 조용히 접어두는 게 과연 좋은 보좌일까? 행동 예측은 "건너뛸 것"이라 답하겠지만, 좋은 참모라면 때로 "이번엔 보셔야 한다"고 들이미는 쪽이다. 행동을 정답으로 삼는 설계는 사용자의 과거를 잘 좇는 대신, 과거를 반복하게 만들 위험도 함께 들여온다. 온틀이 이 방식을 쓴다면 '맞히기'와 '거드는 참견' 사이를 어디서 끊을지가 진짜 설계 결정이다.
다만 규모가 현실의 벽이다. 논문 효과는 10만 사용자급에서 나왔고, 소기업 한 곳의 몇 주 로그로는 그 규모가 안 된다. 현실적 경로는 둘이다. 여러 고객사의 익명화된 행동을 공통 범주(조회·검색·승인·반려 같은 PM 맥락)로 모아 교차 신호를 키우거나, RFT처럼 작은 자기 생성 풀이로 "일반 능력은 안 깎으면서 사용자 적응만 얹는" 보수적 미세조정부터 검증하는 것이다. 스케일링 실험에서 4.7K 규모부터 이득이 났다는 점은, 전면 재훈련 없이 작게 시작할 명분이 된다.