스마트 안경이 하루 종일 눈앞을 녹화한다고 해보자. 몇 년 쌓이면 수백 시간짜리 영상 더미다. 어느 날 당신이 묻는다. "내 여권 어디 뒀더라?" 답은 그 안에 분명히 찍혀 있다. 하지만 수백 시간을 되감아 볼 수는 없다. 찾는 품이 답의 값어치를 넘어서니까.
Meta Reality Labs와 버지니아대·일리노이대 연구진이 내놓은 MemLife는 이 문제를 이렇게 푼다. 영상을 통째로 뒤지는 대신, 본 것을 그때그때 짧은 글 '기억'으로 적어두고, 질문이 오면 그 글 더미에서 필요한 조각만 꺼내 답한다. 여기에 얹은 MemOpt는 한 걸음 더 간다. '무엇을 어떻게 적어둬야 나중에 잘 찾을까'를 기계가 스스로 연습해 익히게 했다.
핵심부터 말하면 이렇다. 기억을 적는 법만 따로 가르쳤더니 정확도가 올랐다(한 벤치마크에서 56.5 → 60.4). 그런데 기억을 읽어 답하는 쪽이 이미 충분히 똑똑하면, 그 추가 이득은 눈에 띄게 줄었다. 이게 이 연구의 가장 흥미로운 지점이다.
왜냐하면 이 시스템에는 두 선수가 있기 때문이다. 기억을 잘 적는 쪽(이하 기록자)과 그 기억을 읽어 답을 뽑아내는 쪽(이하 판독자). 둘은 서로를 부분적으로 대신할 수 있는 줄다리기 관계다. 기록이 허술해도 똑똑한 판독자가 빈틈을 메우고, 판독자가 평범해도 잘 적힌 기억이 일을 쉽게 만든다. 이 논문은 그중 '기록자를 훈련하는 법'을 파고든 시도다. 아래에서 그게 어디까지 통하는지 따라가 보자.
1인칭 영상(내 시점에서 찍힌 영상)에서 답을 찾는 건 세 가지가 동시에 발목을 잡는다.
첫째, 너무 크다. LLM이 한 번에 읽을 수 있는 분량, 즉 컨텍스트 창은 정해져 있다. 수백 시간 분량의 영상 프레임을 거기에 다 밀어 넣을 수 없다. 질문마다 원본을 다시 처리하기엔 시간도 계산도 감당이 안 된다.
둘째, 너무 모호하다. 그래서 영상을 글로 압축해 저장한다. 그런데 너무 줄이면 정작 질문이 묻는 정보가 날아가고, 너무 다 적으면 사소한 디테일이 검색을 흐린다. 심하면 적는 쪽이 영상에 없는 내용을 지어내(환각) 가짜 증거를 심기도 한다.
셋째, 너무 비슷하다. 어제 부엌과 오늘 부엌은 거의 같다. 비슷한 기억이 쌓일수록 어느 게 맞는 회차인지 가려내기 어려워지고, 정답이 묻힌다. 논문은 이걸 검색 경쟁이라 부른다. 저장량이 커져야 비로소 드러나는, 가장 음흉한 벽이다.
결국 싸움은 둘로 갈린다. 적을 때 핵심 증거를 빠뜨리거나(쓰기 실패), 찾을 때 맞는 항목을 못 꺼내거나(검색 실패). 둘 다 이겨야 답이 맞는다. 그런데 현장에서 '정확도' 하나로만 성적을 매기면, 고칠 곳이 적는 쪽인지 찾는 쪽인지 끝내 가려낼 수 없다. 이 글의 주인공들이 왜 둘을 분리해 다루는지가 여기서 나온다.
MemLife는 먼저 사람이 규칙을 짜 '잘 적는 기록자'를 만든다. 세 가지 원칙이다.
영리한 선택이 하나 더 있다. 기록자는 영상 클립마다 설명을 따로따로 만든다. 앞 구간 결과에 기대지 않으니 한 번 틀린 게 뒤로 번지지 않고, 작업량과 저장량이 영상 길이에 딱 비례해 는다(두 배 길면 딱 두 배). 앞 맥락을 참고하게도 해봤지만 정확도는 나아지지 않았다.
꺼내는 쪽은 판독자다. 판독자는 질문 한 번에 검색 한 번으로 끝내지 않고, 스스로 단계를 밟아 답을 찾는 에이전트다(에이전트란 다음 행동을 스스로 골라 가며 일을 처리하는 프로그램을 말한다). "내 여권 어디 뒀더라?"가 들어오면 대략 이렇게 움직인다. 먼저 질문을 검색에 맞게 다듬어 "여권"이라는 단서와 그럴듯한 시간대를 잡는다. 그 구간에서 비슷한 기억을 훑고, 유력한 대목을 통째로 가져와 읽는다. 원본 영상이 남아 있으면 그 장면 프레임 몇 개를 직접 확인하고, 마지막에 답한다. 꺼낸 기억은 시간순으로 줄 세워 건넨다. 긴 이야기를 되짚을 땐 순서 자체가 단서이기 때문이다.
여기까지는 사람이 짠 규칙이다. MemOpt는 여기서 갈라선다.
보통 강화학습(잘한 행동엔 상을, 못한 행동엔 벌을 줘 버릇을 들이는 학습)은 '최종 답이 맞았나'로 상을 준다. 그런데 최종 답에 상을 걸면, 판독자가 도구를 어떻게 굴렸는지까지 신호에 섞여 든다. 기록을 다듬고 싶은데 판독자의 실행 과정이라는 잡음이 딸려 오는 것이다. 모방이나 증류(잘하는 모델 행동을 베껴 배우기) 계열은 적응력이 떨어지고, 최종 답 보상 계열은 이 잡음을 피하지 못한다.
MemOpt는 판독자를 고정해두고, 오직 '기억을 어떻게 쓰는가'에만 상벌을 건다. 원리는 이렇게 그려볼 수 있다. 기록자가 기억을 한 단어씩 써 내려갈 때, 옆에 앉은 AI 비평가(더 학습시키지 않고 고정해둔 같은 모델)가 매 단어를 채점한다. "나라면 이 상황에서 그 단어를 썼을까?" 예상과 같으면 만점, 전혀 다른 단어면 감점. 영상에 없는 내용을 지어낸 대목일수록 비평가의 예상과 어긋나 점수가 깎인다.
상벌의 이름은 FIRM이고, 세 가지 잣대를 들이댄다.
세 점수는 더하지 않고 곱한다. 하나라도 0에 가까우면 전체가 무너진다. 충실하지만 안 걸리는 기억도, 잘 걸리지만 지어낸 기억도 상을 못 받는다. 셋을 동시에 만족해야만 좋은 기억이다.
검색 가능성을 매번 확인하려면 그때마다 판독자를 돌려야 해서 비싸다. 그래서 학습 한 주기를 시작할 때 판독자를 모든 학습 질문에 한 번만 돌려 '어떻게 검색하는지'를 기록해두고, 이후엔 그 기록을 재생해 걸리는지만 본다. 공개된 강화학습 알고리즘을 활용하되, 긴 기억이 점수 계산을 독차지하지 않게 길이를 고르게 맞추는 처리도 들어간다.
핵심은 하나다. 판독자를 건드리지 않고 '검증된 증거·원본 영상·고정된 검색 행동'에서만 상벌을 뽑는다. 기록자 훈련에서 판독자라는 잡음을 아예 떼어낸 것이다.
학습 없는 MemLife만으로도 네 벤치마크 전부에서 기존 '학습 없는' 방법들을 앞선다. 여기에 기록자까지 훈련한 MemLife+MemOpt는 '학습하는' 방법들까지 전부 제친다.
| 방법 | SuperMemory-VQA | EgoLifeQA | SuperMemory-LVQA | EgoLife-EQA |
|---|---|---|---|---|
| EgoRAG (학습 없는 최강 기준선) | 49.28 | 48.20 | — | — |
| MemLife (학습 없음) | 56.50 | 52.80 | 56.18 | 52.00 |
| MemLife-V (원본 영상까지 참고) | 57.78 | 53.20 | 57.95 | 50.00 |
| MemLife + MemOpt (기록자 학습) | 60.35 | 56.60 | 58.91 | 57.00 |
| Oracle Context (정답에 해당하는 원본 영상 증거를 직접 넣어준 참조 상한) | 67.58 | 66.20 | — | 61.00 |
표의 숫자는 정확도이고, 높을수록 좋다. 네 벤치마크는 모두 '오래된 1인칭 영상에 관한 질문-답' 테스트다. 뒤 두 개는 변형인데, SuperMemory-LVQA는 열 명의 기록을 전부 합치고 '다른 사람 기록'을 방해물로 섞어 검색 공간을 일부러 키운 스트레스 테스트, EgoLife-EQA는 반복되는 사건을 묻되 근거를 원본과 수작업으로 대조해 검증한 것이다. 논문은 가장 센 기존 방법 대비 향상 폭을 4.0~17.0%로 집계하고, 메모리 크기는 최대 31배까지 줄였다고 보고한다.
진짜 성과는 전이다(전이란 학습에 안 쓴 데이터에서도 통하는 것을 말한다). MemOpt는 SuperMemory-VQA의 일부 피험자만으로 학습했고, 나머지 세 벤치마크는 한 번도 학습에 쓰지 않았다. 그런데도 거기서까지 점수가 오른다. 영상 종류, 질문 유형, 기억 규모가 달라져도 통한다는 뜻이다.
표에서 눈여겨볼 두 대목이 있다. 하나는 Oracle Context. 검색 단계를 건너뛰고, 정답에 해당하는 원본 영상 증거를 판독자에게 바로 넣어준 참조 설정이다(기록자가 쓴 텍스트 기억이 아니라, 정답의 근거가 되는 원본 영상 증거 자체를 직접 준다). 검색이 엉뚱한 회차를 끌어오는 변수를 걷어낸, 검색이 이상적이었을 때의 상한 참고치인 셈이다. 정답 근거 증거를 손에 쥐여줘도 100점에 못 미친다는 것은, 그 증거를 읽어 답을 뽑아내는 판독 자체에 아직 여지가 남아 있다는 뜻이다.
다른 하나는 MemLife-V. 원본 영상까지 다시 본 설정인데, 텍스트만 쓴 MemLife와 차이가 거의 없다. 이게 중요하다. 향상의 공이 값비싼 원본 영상 재확인이 아니라, 잘 쓰인 '텍스트 기억' 그 자체에 있다는 뜻이기 때문이다. 영상을 매번 다시 열지 않아도 된다면, 기억 시스템의 운영 비용을 크게 낮출 수 있다.
훈련이 기억을 어떻게 바꾸는지는 사례가 생생하다. 학습 전 기록자는 렌틸콩을 옥수수로 잘못 적었는데, MemOpt는 주변 행동(개수대 쪽으로 이동)은 그대로 두고 사물만 바로잡는다. 모호한 대명사로 뭉개고 음식을 빠뜨린 기억은, 인물을 특정하고 '구운 치킨'을 콕 집어 넣도록 고친다. 지어낸 건 덜고 필요한 건 또렷하게 — 충실성과 유익성이 같이 오르는 모습이다.
여기서 도입부의 줄다리기가 수치로 드러난다. 더 똑똑한 판독자를 쓰면 절대 점수는 크게 뛴다. SuperMemory-VQA에서 판독자를 키우면 56.50이 66.93까지 오른다. 그런데 거기에 MemOpt를 더해 추가로 버는 몫은 66.93에서 67.90, 겨우 1점 남짓이다.
똑똑한 판독자가 어설픈 기억의 빈틈을 알아서 메워주기 때문이다. 좋은 기억을 적는 노력과 똑똑하게 읽어내는 능력은 한쪽을 키우면 다른 쪽의 몫이 줄어드는 줄다리기 관계다. 그러니 "기록 훈련에 투자할까, 더 좋은 판독 모델을 쓸까"는 둘 중 하나가 늘 정답인 문제가 아니다. 가진 자원과 비용이 답을 정한다.
저자가 스스로 그은 선이 솔직하다.
재현율(정답 증거를 실제로 건져 올린 비율)은 들쭉날쭉하다. MemOpt가 정확도를 올려도 재현율은 오르기도 내리기도 한다. 저자들은 정확도 향상이 '증거를 더 많이 건져서'만이 아니라 '답에 더 쓸모 있는 기억을 담아서'이기도 하다고 본다. 정확도가 올랐다고 검색까지 좋아졌다고 단정할 수 없다는 자기 경계다.
비용 구조도 가볍지 않다. 검색 가능성 채점은 주기마다 판독자를 전체 학습 질문에 돌려 행동을 모으는 절차를 깔고 간다. 재생으로 아낀다지만 이 수집 자체가 규모에 민감할 수 있다. 게다가 충실성·유익성 채점을 모두 기록자 자신(고정한 같은 모델)이 맡는다. 자기가 자기 출력을 채점하니, 그 모델이 못 보는 종류의 환각은 상벌 신호에서도 샐 틈이 있다. 검증된 전이도 결국 1인칭 영상 QA라는 한 장르 안이라는 점은 기억해둘 만하다.
이건 남의 이야기가 아니다. 온틀의 AI PM이 매일 부딪히는 문제의 정곡을 찌른다.
고객 프로젝트 하나에 PM 페르소나가 몇 달을 붙어 요청을 받고, 회의하고, 결정하고, 산출물을 넘긴다. 그 몇 달치 대화·로그·산출물이 바로 '수백 시간 영상 더미'와 같다. 구체적인 장면 하나를 끝까지 따라가 보자.
9월 어느 날, 고객 담당자 김OO이 PG 수수료가 부담된다며 결제 연동을 1차 범위에서 빼자고 한다. PM은 회의 끝에 그렇게 합의한다. 그리고 두 달 뒤, 고객이 묻는다. "그 결제 연동 안 붙이기로 한 거, 언제 왜 그렇게 정했죠?"
지금 구조라면 PM은 두 달치 로그를 질문 때마다 긁어모아 통째로 밀어 넣는다. 프로젝트가 길수록 MemLife가 짚은 그 벽에 그대로 부딪친다. 너무 커서 재처리가 비싸고, 비슷한 회의가 여러 번이라 엉뚱한 회차가 끌려 올라온다.
MemLife식 처방을 대면 그림이 바뀐다. PM이 상호작용을 끝낼 때마다 그 세션을 시간과 개체가 박힌 한 줄 기억으로 적어둔다. "나는 9월 10일 결제 연동 회의에서 담당자 김OO의 PG 수수료 우려를 근거로 1차 범위에서 결제를 뺐다." 핵심은 이게 미래 질문을 미리 알고 쓴 요약이 아니라는 점이다. 담당자·날짜·근거라는 개체를 박아두면, 두 달 뒤 들어온 질문도 그 날짜 구간으로 좁혀 해당 기억을 정확히 꺼낼 수 있다.
MemOpt의 함의는 한 겹 더 깊다. '무엇이 좋은 기억인가'를 세 잣대로 정의해 기록을 그쪽으로 다듬게 한 게 MemOpt다. 온틀로 옮기면, 이 '좋은 기억'의 기준을 회사가 직접 쥔다는 뜻이 된다. 어떤 결정의 근거를 꼭 남기고 무엇을 중요하게 적을지 정하는 일이 곧 기록 품질의 정의다. 다만 온틀에선 충실성이 특히 무겁다. PM 기억이 사실을 지어내면 고객 산출물의 신뢰가 곧바로 깎인다. 그래서 자기 모델이 자기 기록을 채점하는 구조의 사각지대는, 온틀이라면 서로 다른 모델로 교차 검증해 메워야 할 자리다.
남의 벤치마크 숫자를 외우는 것보다, 지금 우리 기억 시스템을 스스로 진단하는 쪽이 쓸모 있다.
아니다. MemOpt로 EgoRAG의 기록자를 최적화하자 EgoRAG 기본 파이프라인도 두 벤치마크에서 개선됐고, 그 기억을 MemLife 판독자로 읽으면 더 올랐다. 토대가 되는 기반 언어모델을 Qwen3.5-9B에서 Qwen3.6-27B로 바꿔도 모든 조합에서 향상이 유지됐다. 특정 모델에만 매인 기법은 아니라는 뜻이다.
하나씩 더해가며 쟀더니 SuperMemory-VQA 기준, 화면과 소리를 함께 읽을 때 52.33, 이름을 사물에 붙이면 54.09, 1인칭 서술까지 더하면 56.50으로 올랐다(학습 전). 판독자 쪽에서도 검색 범위를 시간으로 좁히고 시간순으로 정렬할수록 EgoLifeQA가 50.40 → 50.60 → 52.80으로 올랐다. 다만 재현율은 단조증가가 아니라, 모든 장치가 모든 지표를 같은 방향으로 밀어올리지는 않는다.
이 벤치마크들이 몇 지선다인지는 공개된 발췌에 없어, 찍었을 때의 기준선은 단정하지 않는다. 다만 정답에 해당하는 원본 영상 증거를 직접 넣어준 참조 상한조차 60점대에 머문다. 검색을 이상적으로 가정하고 정답 근거 증거를 직접 쥐여줘도 천장이 있다는 뜻이며, 남은 몫은 그 증거를 읽어 답을 뽑아내는 판독 쪽의 여지다.