긴 작업을 맡은 AI 에이전트를 지켜보면 묘한 장면이 나온다. 쉬지 않고 뭔가를 한다. 검색하고, 파일을 열고, 명령을 내린다. 그런데 한 시간 뒤에도 과제는 제자리다. 같은 행동을 또 하고, 이미 지나온 상태로 되돌아가고, 지금 당장 쓸모없는 정보만 그러모은다. 예산이 바닥날 때까지 "일은 하는데 전진은 없는" 상태. 이 논문은 이걸 믿음의 덫(Belief Trapping)이라 부른다. 바로 이 지점이 글의 중심이다.
여기서 에이전트란 사람 대신 여러 단계를 스스로 처리하는 AI를 말한다. 흔히 이런 헛돎을 "기억이 부족해서"라고 진단한다. 그래서 컨텍스트 창을 늘리고, 외부 메모리를 붙이고, 대화를 압축·요약하는 기법이 쏟아졌다. 논문의 주장은 다르다. 문제는 기억이 아니라 판단이다. 지금 상황이 어떤지에 대한 일관된 그림이 없는 것이다.
창고를 떠올려 보자. 상자를 아무리 많이 쌓아 둬도, "지금 재고가 몇 개이고 어디 있는지" 적은 장부가 없으면 필요할 때마다 상자를 처음부터 다시 뒤져야 한다. 에이전트가 거쳐 온 행동과 관찰의 날것 기록 — 이걸 원시 궤적이라 부른다 — 이 딱 쌓아 둔 상자다. 증거는 다 거기 있다. 다만 과거의 증거와 중간 판단이 시간순으로 뒤엉켜 있을 뿐이다.
게다가 상자는 가만히 있지 않는다. 에이전트가 행동하면 환경이 바뀌고, 새 관찰이 조금 전의 추론을 뒤집는다. 그래서 "어떤 사실이 아직 유효한가, 어떤 추론이 여전히 근거가 있는가, 무엇이 아직 안 끝났는가"를 가려내기가 시간이 갈수록 어려워진다.
메모리 기법은 이 상자 더미를 골라내 압축하는 쪽이다. 쓸모없진 않다. 하지만 상자에 손이 닿는다고 해서 장부가 저절로 써지는 건 아니다. 저자들은 다음 과제를 '기록 보관'이 아니라 '현재 상태 유지'라고 못 박는다. 즉, 장부를 따로 쓰고 계속 고쳐 나가자는 것이다.
발상 자체가 처음은 아니다. 고전적인 에이전트 이론에도 "지금 세계가 어떤 상태일 확률이 얼마인지"를 추정하고 관찰이 들어올 때마다 갱신하는 틀이 있다(이 추정값을 믿음 상태, belief state라 부른다). 다만 사람이 아니라 언어모델이 이 장부를 쓰기 시작하면서 두 가지 고장이 생긴다.
첫째, 장부가 스스로 모순된다. 논문 예시가 선명하다. 전자레인지를 "열림"이자 동시에 "닫힘"으로 적어 두면, 머그잔을 넣기 전에 문을 열어야 하는지조차 알 수 없다.
둘째, 모순이 없어도 에이전트가 제자리를 맴돈다. 앞서 말한 믿음의 덫이다. 모순은 틀린 장부, 덫은 틀리진 않았는데 나아가지 못하는 장부. 이 둘을 어떻게 다루느냐가 PoS의 승부처다.
PoS(Progression of States)는 이 문제를 세 단계의 장치로 공략한다. 먼저 지금 상황에 대한 믿음을 체계적으로 기록하고(믿음 모델링), 그 믿음이 길을 잃지 않도록 행동 하나하나를 검증하며(믿음 기반 상호작용), 그럼에도 함정에 빠지면 감지해 끌어낸다(덫 감지와 회복). 창고에 빗대면, 장부를 제대로 쓰고, 그 장부를 꼼꼼한 관리자가 검수하고, 재고 실사가 안 맞을 때 원인을 찾아 바로잡는 셋이다.
PoS의 믿음은 네 조각이다. 지금 세계 상태의 추정, 과제 목표, "아직 모르는 것"(지식 격차), "아직 못 이룬 것"(달성 격차). 이 중 세계 상태는 사물·행위자를 꼭짓점으로 놓고, 각각의 현재 이해를 자연어로 적고, 이들이 어떻게 얽히는지를 선으로 잇는 식으로 쓴다. 각 항목에는 출처와 신뢰도가, 가능하면 근거까지 붙는다.
영리한 선택은 세계를 빠짐없이 그리려 들지 않는다는 점이다. 행동 가능성, 결과 판정, 목표 달성에 영향을 줄 것만 장부에 남긴다. 장부가 창고 전체 도면이 아니라 "지금 중요한 것"의 요약이어야 쓸모가 있다.
두 격차를 갈라 둔 설계가 핵심이다. 모르는 것과 못 한 것은 처방이 다르다. 모르면 더 알아봐야 하고, 못 했으면 행동으로 옮겨야 한다. 둘을 뭉뚱그리면 "정보를 더 캐야 할 자리에서 엉뚱하게 실행부터 시도"하는 혼선이 생긴다.
장부에는 격차가 여럿 적혀 있을 수 있다. 전부 똑같이 급하다고 두면 에이전트는 이것저것 기웃대다 하나도 못 끝낸다. 그래서 PoS는 전체 장부는 그대로 두되, 지금 다루기에 가장 값진 하나를 활성 격차로 골라 거기 집중한다.
그동안 Belief Sentinel이 일한다. 이름 그대로 장부를 지키는 파수꾼, 창고로 치면 새로 적히는 줄마다 앞뒤가 맞는지, 증거가 받쳐 주는지 검수하는 꼼꼼한 관리자다. 앞의 전자레인지 모순을 잡아내는 게 바로 이 관리자다.
저자들이 날카롭게 파고든 지점이 여기다. 비슷한 문제의식을 가진 기존 연구들은 대개 거기서 멈춘다. 학습 중 쓸모없는 궤적을 잘라내거나, 특정 조건에서 행동을 막는 장치로 비생산적인 정보 수집을 끊는 식이다. 끊고 멈추는 데 그친다. PoS는 추론이 돌아가는 와중에 진척 자체를 되살리려 한다. 재고 실사가 안 맞으면 창고 문을 닫는 게 아니라, 왜 안 맞는지 원인을 찾아 바로잡는 쪽이다.
먼저 세 신호로 장부의 건강을 본다. 같은 격차가 계속 안 풀리는지, 진척이 멈췄는지, 믿음이 같은 데를 맴도는지.
여기서 끝이면 "멈춤"과 다를 바 없다. 핵심은 다음이다. 덫의 성격을 두 축으로 쪼개 진단한다. 에이전트가 어떻게 헛돌고 있는지, 그리고 막혀 있는 격차가 모르는 쪽인지 못 한 쪽인지. 그 진단에 맞춰 이후 행동을 다른 방향으로 민다. 똑같이 막혔어도 처방이 갈린다. 정보가 없어 막혔으면 "더 알아보라"고, 할 일을 못 해 막혔으면 "접근을 바꿔 실행하라"고 밀어낸다. 모르는 것과 못 한 것을 애초에 갈라 적어 둔 장부 설계가, 바로 이 순간 서로 다른 구출 방법으로 이어진다.
평가는 네 벤치마크에서 이뤄졌다. 손발을 움직여 과제를 수행하는 실행 쪽으로 ALFWorld와 LOCA-Bench, 원인을 짚어내는 진단 쪽으로 RCA-100과 ClinDiag를 썼다. 그리고 에이전트의 두뇌 역할을 하는 기반 언어모델 — 이걸 백본이라 부른다 — 을 세 종류로 바꿔 가며 돌렸다. PoS는 네 벤치마크 모두에서 가장 높은 종합 성능을 냈다.
벤치마크마다 재는 자가 다르다. ALFWorld는 과제를 끝까지 해냈는지 보는 전체 성공률로 평가하고, RCA-100은 결함 유형과 근본 원인 개체를 둘 다 맞혀야 점수를 주는 결합 정확도로 평가한다. 결합 정확도는 여러 판정을 한꺼번에 다 맞혀야 점수를 주는, 즉 하나만 틀려도 0점인 깐깐한 척도다. 두 벤치마크 모두에서 PoS는 가장 강한 기존 방법을 앞섰다. 더 중요한 건, 백본을 갈아 끼워도 이 우위가 유지됐다는 점이다. 특정 모델 덕을 본 게 아니라 틀 자체가 일했다는 뜻이다.
실험에서 더 흥미로운 대목은 절제 실험이다. 구성 요소를 하나씩 빼 보며 각자의 기여도를 재는 방법인데, 여기서 장부를 검수하고(일관성 검증) 덫에서 끌어내는(회복) 두 축이, 믿음을 명시적으로 쓰는 것만큼이나 중요하게 나왔다. 장부를 쓰는 것만으로는 부족하다. 검수와 구출이 받쳐 줘야 비로소 작동한다. 저자들은 기존 컨텍스트 관리 기법이 원시 궤적을 늘 개선하지는 못한다고도 보고한다. 상자를 정리하는 것만으로는 안 된다는 같은 이야기다. 컨텍스트가 커질 때의 견고성도 함께 확인됐다.
공짜는 아니다. 장부를 매 단계 쓰고 검수하는 일은 추가 토큰과 추론을 요구한다. 논문에는 토큰 소비와 성능 사이의 트레이드오프 분석이 실려 있다. 성능은 오르지만 비용도 같이 오른다. 그래서 "얼마나 긴 작업에, 얼마나 비싸게 장부를 유지할 가치가 있는가"가 도입을 가르는 실질적 질문이 된다. 짧게 끝나는 일에까지 매 단계 검수를 걸면 얻는 것보다 드는 게 클 수 있다.
둘째 한계는 더 근본적이다. 저자들은 "더 나은 결정 컨텍스트가 실행 능력이나 도메인 지식을 대체하지는 않는다"고 못 박는다. 장부는 생각을 또렷하게 해 주는 도구일 뿐, 애초에 없던 실력이나 분야 지식을 만들어 내는 마법이 아니다.
남는 질문도 있다. 세계 상태를 "중요한 것만" 남기는 설계는 효율적이지만, 무엇이 중요한지 잘못 판단하면 정작 필요한 사실을 빠뜨린다. 그 선별 자체가 언어모델의 판단에 기대고 있으니, 파수꾼이 어디서 경계 사례를 놓치는지는 더 들여다볼 대목이다.
그렇다면 이 개념은 실제 현장에서 어떻게 쓰일까. 우리가 매일 마주하는 AI PM의 문제를 믿음의 덫이라는 렌즈로 들여다보면 꽤 구체적인 그림이 나온다.
온틀의 AI PM이 한 고객 프로젝트를 몇 주째 끌고 가는 중이라고 하자. 어느 날 고객이 "납기를 2주 당겨 달라"고 요청한다. 대화 로그는 이미 수백 줄이다. 로그만 길게 쥔 PM은 매번 처음부터 되짚는다. 어떤 작업이 끝났는지, 뭐가 결정 대기인지, 당긴 납기에 뭘 포기해야 하는지를 로그에서 다시 재구성한다. 그 재구성이 매번 조금씩 어긋나는 순간, 바로 그 자리가 믿음의 덫이 피어나는 곳이다. 이미 확정된 범위를 또 묻고, 끝난 작업을 다시 손대고, 당장 필요 없는 자료만 모은다. 고객은 "일은 계속하는데 왜 안 끝나느냐"고 느낀다.
온틀은 이미 고객 화면에서 프로젝트 상태를 6종으로 못 박고 작업을 시간순 흐름으로 보여 준다. 사람이 보라고 만든 장부다. PoS가 더하는 건, 같은 장부를 사람용 화면에 그치지 않고 PM의 의사결정 재료로도 쓰자는 것이다. 납기 변경이 들어온 순간, PM은 "지금 믿음"을 꺼내 갈라 적는다. 아직 모르는 것은 "고객이 품질을 어디까지 양보할지"(지식 격차), 아직 못 이룬 것은 "당긴 일정에 맞춘 작업 재배치"(달성 격차)다.
여기서부터는 논문이 검증한 결과가 아니라 우리가 그려 보는 구상이다. 온틀의 auto_proceed 게이트는 고객 답변을 기다릴지 다음 단계로 넘어갈지를 자동으로 판단하는 장치다. 여기에 PoS식 신호를 얹는다. PM이 같은 납기 건을 맴돌기 시작하면, 게이트는 두 축으로 진단한다. 지금 막힌 게 "고객이 품질 양보 범위를 안 알려줘서"인지, 아니면 "재배치 방법을 못 찾아서"인지. 전자면 맴돌기를 멈추고 고객에게 딱 하나의 명확한 질문을 올린다. 후자면 자료만 더 모으는 짓을 끊고 일정 짜는 접근 자체를 바꾼다. 모르는 것과 못 한 것을 갈라 둔 장부가, 여기서 "질문하라"와 "방법을 바꿔라"라는 서로 다른 처방으로 갈린다.
비용 계산도 같이 간다. 온틀은 단계마다 다른 모델을 쓴다. 그렇다면 장부 유지와 검수는 챗·접수처럼 판단이 무거운 단계에 두껍게 걸고, 단순 실행 단계는 가볍게 가는 게 현실적이다. 납기 변경 같은 결정은 비싸게 검수할 값어치가 있지만, 파일 이름 바꾸는 일에까지 매번 장부를 검수할 이유는 없다.
엄격한 형식은 틀에 안 맞는 사실을 받아내지 못합니다. 긴 작업에서 마주치는 상황은 미리 정한 칸으로 다 담기 어렵습니다. PoS는 상태를 자연어 설명으로 적되 출처·신뢰도·근거를 함께 달아, 유연함은 살리고 검증 가능성은 확보하는 쪽을 택했습니다. 대신 그 유연함을 파수꾼의 일관성 검사가 받쳐 줍니다.
전체 믿음은 사라지지 않고 그대로 유지됩니다. 집중은 "지금 무엇을 다룰지"의 선택일 뿐, 나머지 격차는 장부에 남아 있습니다. 상황이 바뀌어 다른 격차가 더 값져지면 활성 격차는 다시 선택됩니다. 한 번에 하나씩 끝내되, 무엇을 먼저 할지는 계속 다시 고르는 구조입니다.
성격이 다른 일이기 때문입니다. 실행 과제는 환경을 바꾸는 행동이 이어지고, 진단 과제는 증거를 모아 원인을 짚는 추론이 중심입니다. 두 쪽 모두에서 우위가 나왔다는 건, 장부 방식이 특정 과제 유형에만 먹히는 요령이 아니라는 근거가 됩니다.