한 통제 실험에서 LLM에게 가위바위보 상대를 흉내 내게 했습니다. 상대가 바위·보·가위를 낸 비율은 잘 맞혔습니다. 그런데 '직전에 무엇을 냈느냐에 따라 다음을 정하는' 순서 규칙을 알아내고 끝까지 지키는 데서는 반복해서 틀렸습니다. 특히 두 단계 전까지 거슬러 봐야 하는 규칙에서 가장 크게 무너졌습니다.
이게 왜 중요하냐면, 요즘 LLM을 '사람처럼 행동하는 시뮬레이터'로 쓰는 일이 늘고 있기 때문입니다. 추천에 반응하는 가상 사용자, 여러 턴을 주고받는 상담 상대처럼요. 시뮬레이터가 겉보기 비율만 맞히고 그 비율을 만든 규칙을 틀린다면, 그 위에서 내린 판단도 같이 틀어집니다. 겉 통계를 흉내 내는 능력과 그 통계를 만든 규칙을 꿰뚫는 능력은, 생각보다 아주 다른 능력이었습니다.
같은 재료를 같은 비율로 쓴 두 요리라도 만든 과정은 전혀 다를 수 있습니다. 한쪽은 '소금을 넣었으면 다음엔 물'이라는 순서를 지켰고, 다른 한쪽은 아무 순서 없이 넣었을 수도 있죠. 완성된 한 접시만 봐서는 그 차이를 알 수 없습니다. 관찰된 행동은 그것을 만든 과정을 하나로 못 박아 주지 않는다 — 이게 논문의 출발점입니다.
LLM이 흉내 내는 상대의 행동도 마찬가지입니다. 겉보기 재료 비율, 즉 어떤 수를 얼마나 자주 냈는지는 같아도, 넣는 순서는 다를 수 있습니다. 이 '요리 순서'가 순서 규칙입니다. 한 단계 전만 보는 규칙이 1차 의존입니다. '소금 다음엔 물'처럼 바로 직전 재료만 보고 다음을 정하죠. 두 단계 전까지 거슬러 보는 규칙이 2차 의존입니다. '밀가루와 계란을 넣었으면 이번엔 설탕'처럼요.
그래서 논문은 행동을 완성된 요리가 아니라 요리법으로 보고 세 가지를 따로 채점합니다. 재료 비율이 맞는가(빈도). 올바른 레시피를 떠올렸는가(전략 인식). 그 레시피대로 끝까지 요리했는가(규칙 실행). 핵심은 첫째가 맞아도 둘째·셋째는 보장되지 않는다는 겁니다. 재료 비율이 똑같아도 한쪽은 매번 같은 분포에서 무작위로 집었을 뿐이고, 다른 한쪽은 순서를 지켰을 수 있으니까요.
채점하려면 정답을 알아야 합니다. 상대가 실제로 어떤 규칙을 따랐는지 연구진이 처음부터 쥐고 있어야, 모델의 답이 맞았는지 틀렸는지 가를 수 있으니까요. 그래서 통제된 무대로 가위바위보를 골랐습니다. 매 라운드 셋 중 하나만 고르는 최소한의 게임이라 상대 반응이 자연스럽게 과거에 기대면서도, 나올 수 있는 수가 적어 규칙 수준까지 통제해 채점할 수 있습니다.
무대에 올린 상대는 두 부류입니다. 하나는 과거를 아예 보지 않는 통계적 플레이어입니다. 늘 같은 수만 내거나, 정해진 분포에서 매번 독립적으로 뽑죠. 여기선 모델이 전체 행동 비율을 복원하는지만 봅니다. 다른 하나는 최근 몇 수만 보고 다음 수를 정하는 상대인데, 이런 상대를 마르코프 플레이어라 부릅니다. 직전 한 수, 지난번 두 사람이 낸 수의 묶음, 또는 두 수 전까지 — 조건으로 거는 과거의 길이를 달리합니다. 빈도를 넘어선 순서 규칙을 모델이 추론하고 따르는지 보는 쪽이죠.
마지막으로 가위바위보라는 의미 자체를 통째로 걷어낸 1인 '이어쓰기' 과제를 붙였습니다. 봐야 할 과거의 길이를 1부터 8까지 늘리면서요. 앞선 결과가 '가위바위보라서' 나온 게 아님을 확인하려는 장치입니다. 실험에는 최신 거대 모델부터 경량 모델까지 담았습니다. 핵심 모델은 DeepSeek-V4-Flash 계열(deepseek-chat·deepseek-reasoner)과 GPT-5·GPT-5-mini였고, 전략 식별에는 GPT-4.1·Gemini 3 Flash·Qwen3-8B를 더했습니다. 공급자도 크기도 오픈·클로즈드 여부도 섞었고, 모두 똑같은 과제 지시를 받았습니다.
세 가지 채점을 쉬운 것부터 보면, 어려운 쪽으로 갈수록 성적이 떨어집니다. 가장 쉬운 빈도 — 상대가 바위·보·가위를 낸 전체 비율을 복원하는 일은 모델들이 곧잘 해냈습니다. 통과. 문제는 나머지 둘이었습니다.
두 번째 기준인 전략 인식에서 첫 약점이 나옵니다. 7개 모델 구성 모두에서, 과거에 조건을 거는 마르코프 전략의 식별 정확도가 그렇지 않은 전략보다 낮았습니다. 이 차이는 7개 중 6개에서 통계적으로 유의했고, GPT-5만 예외였습니다.
여기서 가장 매서운 대비가 나옵니다. 같은 기록을 LLM이 아닌 고전 통계 모델에 넣었더니, 모든 이력 길이에서 100% 맞혔습니다(부록 E). 궤적 안에 정답을 가려낼 증거가 이미 충분하다는 뜻입니다. 그러니 LLM이 못 맞힌 건 정보가 부족해서가 아니라, 그 증거를 꺼내 쓰지 못해서입니다. 실제로 과거 기록을 100라운드에서 1000라운드로 늘렸더니, 식별은 나아지기는커녕 오히려 나빠졌습니다. 병목은 증거의 양이 아니라 그 안의 구조를 붙잡는 능력이었습니다.
세 번째 기준인 규칙 실행으로 가면 더 큰 문제가 드러납니다. 맞물림부터 확인됩니다. 상대 전략을 맞히면 규칙 준수, 특히 평가 구간 내내 한 번도 규칙을 어기지 않았는지(엄격 규칙 일치)가 좋아졌습니다. 전략을 틀렸을 때도 완전히 엉뚱하진 않아서, 여러 모델에서 규칙과 겹친 수의 비율이 무작위 수준(세 수 중 하나이니 약 33%)을 웃돌았습니다.
하지만 더 큰 경고가 붙습니다. 모델이 상대를 정확히 알아보고도, 막상 그 규칙대로 행동을 이어 가는 데서 더 크게 무너졌습니다. 분포를 흉내 내는 과제에서는 정답 분포와의 오차가 작을수록 좋은데(이 오차를 MSE라 부릅니다), 마르코프 상대를 흉내 낼 때의 오차가 통계적 상대를 흉내 낼 때보다 평균 8~9% 컸습니다. 여기까지는 크지 않아 보입니다. 그런데 모델이 상대 전략을 정확히 맞힌 경우만 추리면, 이 격차가 100%를 넘깁니다. 오차가 두 배 넘게 벌어진 겁니다. 상대가 누구인지 알고도 순서 규칙의 실행에서 무너졌다는 신호죠.
반대 방향도 있었습니다. 전략은 틀렸는데 겉보기 행동은 그럴듯한 경우입니다. 잘못 복원한 전략 상당수가 목표 빈도와는 가까웠습니다(282개 중 41.8%). 겉보기 빈도가 틀린 순서 규칙을 자주 가려 준 셈입니다. 알아보기와 실행하기는 따로 논다는 걸 양쪽에서 보여 줍니다.
어떤 구조가 규칙 실행을 가장 어렵게 하는지는, 모델 하나(deepseek-reasoner)에 집중해 들여다본 실험에서 또렷합니다. 지난번 두 사람의 수 묶음(공동 상태)을 조건에 더하는 건 큰 걸림돌이 아니었습니다. 1차든 2차든 공동 상태 조건은 잘 버텼죠. 이 모델이 무너진 지점은 두 단계 전을 기억해야 하는 규칙, 즉 2차 의존이었습니다.
두 2차 설정 모두 1차보다 엄격 규칙 일치가 낮았습니다. 다만 규칙과 겹친 수의 비율은 비교적 높게 유지됐습니다. 규칙의 조각은 복원하지만, 그 조각들을 하나의 일관된 2차 규칙으로 합치는 데서 미끄러진다는 뜻으로 읽힙니다. 그러는 동안에도 전략 식별은 높았으니, 이 모델에서도 어려운 쪽은 알아보기가 아니라 실행하기였습니다.
그렇다면 이 실패는 눈앞의 규칙을 이해해 적용하는 것 자체가 안 되는 걸까요, 아니면 긴 흐름에 걸쳐 유지하는 것이 안 되는 걸까요? 둘을 갈라 주는 진단이 '티처포싱'입니다. 쉽게 말해, 정답 기록을 처음부터 끝까지 다 보여준 뒤 바로 다음 한 수만 맞히게 하는 방식입니다. 정답지를 옆에 펼쳐 놓고 딱 한 문제만 풀게 하는 셈이죠. 여기서도 틀린다면 눈앞의 규칙을 적용하는 능력 자체가 문제고(적용 실패), 이건 잘하는데 혼자 길게 생성할 때만 흔들린다면 규칙은 알지만 끝까지 끌고 가지 못하는 겁니다(유지 실패). 무작위가 약 33%인 과제에서 결과는 이랬습니다.
| 모델 | 전체 | 전략-정답만 추리면 |
|---|---|---|
| DeepSeek Chat | 52.5% | 66.7% |
| DeepSeek Reasoner | 93.3% | 97.2% |
| GPT-5 | 82.5% | 89.5% |
| GPT-5-mini | 54.2% | 70.0% |
오른쪽 칸은 모델이 상대 전략을 올바로 맞힌 경우만 골라낸 수치입니다. DeepSeek Reasoner와 GPT-5는 한 수만 맞히게 하면 잘 맞혔습니다. 이들의 자유 생성 오류는 '규칙을 모르는 것'보다 '긴 흐름에 유지하지 못하는 것' 쪽을 가리킵니다. 반대로 DeepSeek Chat과 GPT-5-mini는 한 수만 맞히게 해도 흔들렸으니, 눈앞의 규칙 적용 자체가 병목에 가깝습니다. 모델을 키운다고 약점이 사라졌다기보다, 약점이 '적용'에서 '유지'로 자리를 옮긴 것에 가깝습니다.
규칙 준수는 모델이 스스로 만들어 낸 기록 위에서 재기 때문에, 초반의 실수가 뒤까지 번집니다. 그래서 품질은 생성 초반에 거의 판가름 났습니다. 강한 모델은 초반에 살짝 떨어진 뒤 안정됐고, 약한 모델은 대체로 처음부터 낮게 평평했습니다.
가위바위보 의미를 완전히 걷어낸 1인 이어쓰기에서도 그림은 같았습니다. 봐야 할 과거가 길어지자(2차 이상의 고차 의존) 맥락 활용과 규칙 복원이 함께 무너졌습니다. 결정적으로, 앞부분만 보고 단순 빈도로 찍는 추정기가 이 고차 구간에서는 LLM의 자유 생성보다 안정적이었습니다. 상태를 또박또박 적어 두는 단순한 고전 방식이, 바로 그 구간에서 LLM을 앞섰습니다.
이 논문의 질문은 '이겼는가'가 아니라 '올바른 방법으로 이겼는가'입니다. 그래서 결과를 모든 LLM 과제로 그대로 옮기긴 어렵고, 저자들도 선을 분명히 긋습니다. 전략을 미리 정해 둔 닫힌 환경이라 인과는 깨끗하지만, 실제 사람의 행동은 더 어수선하고 열려 있습니다. 궤적을 어떤 형식으로 보여 주느냐에 따라 결과가 흔들릴 여지도 있습니다(부록 H). 가위바위보와 1인 과제는 일부러 최소화한 환경이라, 도구 사용이나 긴 대화 같은 실제 과제로 넓히는 건 '시사'이지 '입증'은 아닙니다.
다만 가위바위보 의미를 지운 1인 과제에서도 고차 의존 실패가 똑같이 나타난 점은, 이게 가위바위보만의 현상이 아님을 뒷받침합니다. 그리고 2차 의존을 깊이 판 실험은 모델 하나의 결과라, '2차가 벽'이라는 말은 그 모델에서 가장 강하게 성립합니다. 여러 모델로 넓히는 일은 숙제로 남았습니다.
온틀은 고객 프로젝트마다 AI 프로젝트 매니저를 파견합니다. 그 매니저가 매일 부딪히는 판단이 하나 있습니다. '결정 기다리는 중'인 일을, 고객 응답이 없을 때 자동으로 다음 단계로 넘길지 말지입니다(온틀에는 일정 시간 응답이 없으면 자동으로 진행하는 설정이 있습니다).
여기 솔깃한 유혹이 붙습니다. '이 고객은 늘 승인하던 분이니, 기다리지 말고 먼저 진행하자.' 과거 기록에서 '승인율이 높다'는 평균을 집어내 진행을 권하기는 쉽습니다. 문제는 그다음입니다. 어떤 고객의 진짜 결정 규칙이 '비용 분해표를 먼저 보여주면 승인, 아니면 보류'처럼 직전 상호작용에 달린 조건부라면요? 승인율이라는 평균은 높아도, 이번 건에서 그 조건을 건너뛰면 결과는 보류로 뒤집힙니다.
이 논문이 우리에게 준 건 정답이 아니라 이름입니다. 앞서 본 그 구분 — 평균 빈도를 맞히는 능력과 조건부 규칙을 실행하는 능력은 다르고 뒤쪽이 더 약하다는 것 — 에 날카로운 이름을 붙여, 우리가 어렴풋이 경계하던 위험을 또렷하게 해 줬습니다.
그래서 이 건에서 온틀은 이렇게 움직입니다. 이 고객의 높은 승인율은 참고만 할 뿐 자동 진행의 근거로 삼지 않습니다. '보통 승인한다'가 '이번 건도 승인한다'를 보장하지 않으니까요. 대신 이번 건이 그 고객의 승인 조건을 실제로 갖췄는지 — 비용 분해표를 먼저 보여줬는지 — 를 따로 점검합니다. 그리고 그 점검에 '예'라고 답할 수 있을 때만 자동 진행이 집행되도록, 판정은 사람의 눈대중이 아니라 코드가 쥡니다. 되돌리기 어려운 자동 진행·지급·배포일수록 그렇습니다.
AI PM은 '무엇을 할지'를 제안하고, '언제 자동으로 넘길지'의 조건부 판정은 코드가 쥔다. 승인율 예측이 아무리 그럴듯해도 이번 건이 승인 조건을 갖췄는지는 따로 확인한다. 이 한 줄이, 섣부른 자동화가 고객의 숨은 결정 규칙을 오해하고 신뢰를 깨뜨리는 일을 막습니다.
논문은 바로 그 조건을 포함합니다. 5.2절에서 규칙과 전이확률을 모델에게 직접 제공하는 설정을 두었는데, 5.3절과 부록 U·W는 그렇게 규칙을 떠먹여 줘도 고차 의존에서의 실패가 일관되게 해소되지는 않았다고 보고합니다. 가위바위보 실험에서도 후보 전략들의 규칙은 설명해 주고, 실제 상대가 그중 어떤 전략을 쓰는지를 모델이 추론하게 했습니다. 그러니 '규칙을 그대로 적어 주면 어떻게 되는가'는 이 논문이 실제로 들여다본 질문이고, 답은 '정보를 더 줘도 저절로 풀리지는 않더라'에 가깝습니다.
이 연구는 '고치는 법'이 아니라 '어디서 어떻게 미끄러지는지'를 재는 진단 연구입니다. 모든 모델이 똑같은 과제 지시를 받았고, 특정 모델을 이 과제에 맞춰 따로 학습시키지는 않았습니다. 그래서 '학습으로 해결되는가'는 이 결과만으로 말할 수 없습니다. 지금 확실한 건 어디가 약한지뿐이고, 그 약점을 메우는 방법은 별개의 질문입니다.
그 100%는 후보 규칙이 닫혀 있고 상태를 또박또박 추적할 수 있는 통제된 환경에서 나온 수치입니다. 실제 업무는 그렇게 깔끔하지 않습니다. 그래서 요지는 'LLM을 버리라'가 아니라 역할을 나누라는 것입니다. 고차 의존이 핵심인 길목에는 상태를 추적하는 명시적 추정기를 두고, LLM은 그 추정기가 약한 자리에서 쓰는 식입니다.
적용한 수정은 FAQ 첫 항목 답변 한 곳입니다.