"답만 짧게 줘."
이렇게 못을 박아도 LLM은 "이건 두 수를 더하는 문제인데요…" 하고 풀이를 먼저 깐다. 끄는 스위치를 눌러도, "추론하지 말라"고 강하게 지시해도 마찬가지다. 논문 arXiv 2610.11765는 이 현상에 사고 관성(Thinking Inertia)이라는 이름을 붙였다. 답만 내놓길 바라는데 설명이 관성처럼 딸려 나온다는 뜻이다.
한 가지는 처음에 분명히 해두는 게 좋다. 이 논문은 모델이 머릿속에서 무슨 계산을 했는지는 들여다보지 않는다. 화면에 눈에 보이게 출력된 설명만 잰다(답 앞이든 답 뒤든). 그러니 앞으로 "풀이를 멈췄다/못 멈췄다"는 말은 전부 화면에 찍힌 텍스트 이야기다. 모델 속 이야기가 아니다. "겉으로 설명이 사라졌다"와 "속으로 계산을 멈췄다"는 다른 문제이고, 이 글이 말할 수 있는 건 앞쪽뿐이다.
지난 몇 년간 LLM 성능을 끌어올린 핵심 레버는 "답하기 전에 더 생각하게 만드는 것"이었다. 사고의 사슬(chain-of-thought, 답을 내기 전에 풀이 과정을 단계별로 쓰게 하는 프롬프트)부터, 추론에 토큰을 더 쓰게 하는 테스트타임 스케일링까지. 중간 계산에 토큰을 더 쓸수록 여러 과제에서 정확도가 올랐다. 대가는 비용이다. 추론 토큰은 응답 시간과 과금을 함께 키운다. 그래서 반대로, 추론을 줄이려는 연구도 활발해졌다.
그런데 "생각을 껐다"를 대체 무엇으로 판정하나.
기존 연구는 세 가지 대리지표(proxy, 진짜 보고 싶은 걸 직접 못 재서 대신 쓰는 간접 신호)에 기댔다. ① 프롬프트를 no-think 모드로 돌렸는가. ② <think> 같은 별도 추론 블록이 응답에 없는가. ③ 출력이 짧은가. 논문은 이 셋이 전부 쉽게 깨진다고 말한다. 생각 모드를 꺼도 모델은 일반 답변 칸에 추론을 그대로 흘려보낼 수 있다. 짧은 출력 하나에 핵심 추론이 압축돼 있을 수도 있다. 반대로 긴 출력이 알맹이 없는 군더더기일 수도 있다.
시험 감독이 "풀이 적지 말고 답만 써"라고 했는데, 학생이 답란 옆 여백에 작은 글씨로 계산을 적어두는 상황과 같다. 풀이 칸만 보면 "답만 썼다"고 채점되지만, 추론은 여백에 그대로 남는다. 기존 지표는 풀이 칸만 보고, 이 논문은 여백의 글씨까지 읽는다.
그래서 측정의 위치가 바뀐다. 기존 지표가 겉조건(어떤 프롬프트였나, <think> 블록이 있나, 길이가 짧나)으로 판정했다면, 이 논문은 응답이 실제로 드러낸 질문 관련 내용으로 판정한다. 이렇게 보면, 길이를 줄이거나 스위치를 토글해 "추론을 줄였다"던 기존 작업들이, 실은 추론을 형식만 바꿔 일반 칸으로 옮겼을 뿐일 수 있다. no-thinking을 모델 설정이 아니라 눈에 보이는 응답 행동으로 다시 정의한 셈이다.
미리 숫자 하나를 보자. 생각을 끈 설정에서도 DeepSeek-V4-Flash(284B)는 자유형 응답의 99.9%에서 눈에 보이는 추론을 그대로 유지했다. 스위치를 내렸는데 사실상 전부가 여전히 풀이를 노출했다. 이 한 줄이 왜 나오는지 이해하려면, 먼저 "추론을 노출했다"를 어떻게 셌는지부터 봐야 한다.
출발은 단순하다. 어떤 LLM 응답이든 두 조각으로 나눈다. 최종 답과, 그 앞에 나온 모든 텍스트다. 뒤 조각을 선행 텍스트(pre-answer trace)라 부른다. 풀이가 숨는 곳은 바로 이 선행 텍스트다.
하지만 선행 텍스트가 비어 있지 않다고 다 풀이는 아니다. "237 + 568은?"이라는 같은 질문에 이렇게 답할 수 있다.
지표는 셋인데, 보는 자리가 조금씩 다르다. ETR은 응답 전체가 '답만 출력'을 지켰는지 보고, EIR은 선행 텍스트를 떼어 풀이 여부를 본다. QRel.은 선행 텍스트를 기본으로 하되, 답이 먼저 나오고 설명이 뒤따르면 그 뒤 텍스트까지 질문 관련성 판정에 넣는다(부록 E).
빈-사고 비율(ETR, Empty-Thinking Rate) — 응답 전체가 답만인가. 출력이 엄격히 답만 담고 있으면 1점. 답 앞이든 뒤든 설명이 한 줄이라도 붙으면 위반이다. 위 예시에선 A만 통과한다. D는 답이 먼저 나왔어도 뒤에 풀이가 붙어 탈락한다. 선행 텍스트만 봤다면 D는 '답 앞이 비었으니 통과'로 잘못 셌을 것이다. ETR이 응답 전체를 보는 이유가 여기 있다.
질문 관련성(QRel.) — 드러난 설명이 질문과 얼마나 붙어 있나. 답과 함께 드러난 질문 관련 텍스트가 질문과 의미적으로 얼마나 가까운지를 연속값으로 잰다. 선행 텍스트가 기본이지만, 답이 먼저 나오고 설명이 뒤따르는 경우엔 그 뒤 텍스트도 가시 텍스트 구성에 포함한다(부록 E). 단, 저자들이 못 박은 단서가 있다. 이건 '관련성'이지 '추론'이 아니다. B처럼 풀이 없는 관련 발언도 높은 점수를 받는다. 그래서 QRel.은 보조 신호에 그친다.
명시적 추론 비율(EIR, Explicit Inference Rate) — 선행 텍스트에 진짜 풀이가 있나. 여기서 B와 C가 갈린다. 정체를 가린 LLM 심판에게 선행 텍스트만 넘기고, 그게 실제 추론인지 판정하게 한다. 연역·계산·비교 같은 과정으로 질문을 다루면, 짧고 얕거나 심지어 틀렸더라도 추론으로 센다. C가 여기 해당한다.
세 지표를 겹쳐 보면, "답만 나온 것처럼 보이던" 응답이 세 종류로 쪼개진다. 진짜 답만 있는 것(A), 관련은 있지만 풀이는 아닌 것(B), 풀이가 노출된 것(C). 대리지표 하나로는 뭉개지던 구분이다.
QRel.은 지시 인식형 임베딩 모델(Qwen3-Embedding-4B)에 "질문에 답하는 데 관련된 추론을 담은 텍스트를 찾아라"라는 지시를 주고, 질문을 쿼리로, 드러난 질문 관련 텍스트(답 뒤에 붙은 설명 포함, 부록 E)를 후보 문서로 인코딩해 코사인 유사도(두 텍스트의 의미 방향이 얼마나 같은지를 재는 값)를 구한다. 인코더는 last-token 풀링, 최대 시퀀스 길이 32,768로 설정했다. EIR의 1차 심판은 온도 0의 GPT-5.5이며, 상투/주제이탈·패러프레이즈만·관련 있으나 비추론·명시적 추론·분류 불가의 다섯 라벨 중 하나를 고르게 한다. '명시적 추론'일 때만 1점이다. 세 지표 모두 전체 출력에 대해 집계한다 — 빈 선행 텍스트는 QRel.에 0으로, EIR 분모에도 포함된다.
측정은 모델, 개입 방식, 벤치마크 세 축으로 짜여 있다. 모델은 작은 것부터 프런티어급까지 6종, 심판 쏠림을 막으려 판정은 서로 다른 가문 모델로 교차검증했다.
개입 6모드. no-think를 거는 강도를 약한 쪽에서 강한 쪽으로 세운 것이다. 켜둔 기준선(Think-On)부터, 스위치만 끈 상태(Think-Off), 끈 채로 "답만" 강하게 요구하는 모드(Strict)까지 이어진다. 마지막 M6는 성격이 다르다. 지시로 부탁하는 대신, 모델이 답부터 이어 쓰도록 응답 첫머리를 미리 채워 넣는다. 말로 시키는 게 아니라 출발선을 답 쪽에 그어 두는 방식이다.
벤치마크 6종. 핵심은 답변 공간(answer space, 모델이 고를 수 있는 답의 범위)이다. 예/아니오만 고르는 불리언, 후보 중 고르는 객관식, 후보 없이 직접 써야 하는 자유형 순으로 답변 공간이 점점 넓어지게 배치했다.
| 유형 | 답변 공간 | 예시 과제 |
|---|---|---|
| 불리언 | 가장 좁음(예/아니오) | BoolQ, StrategyQA |
| 객관식 | 중간(후보 중 선택) | MMLU, MMLU-Pro |
| 자유형 | 가장 넓음(직접 생성) | GSM8K, MATH |
결과에서는 두 종류의 비교가 나온다. 하나는 과제 유형끼리의 비교다. 불리언·객관식·자유형에서 풀이 노출이 어떻게 다른지 본다. 다른 하나는 같은 질문의 형식만 바꾼 비교다. 똑같은 내용을 자유 생성형으로 물을 때와 후보가 보이는 형식으로 물을 때, 모델 행동이 달라지는지 본다. 이 둘을 미리 구분해 두면 뒤의 결과가 헝클어지지 않는다. 지표는 과제 정확도(Acc.)와 앞의 세 지표다.
모델 6종: Qwen3 4B / 32B / 235B-A22B(같은 가문에서 규모별 변화 관찰, 로컬에서 켜고/끄기를 투명하게 통제), DeepSeek-V4-Flash(284B), OpenAI·Google 프런티어 모델. 선정 기준은 "출력 길이나 형식으로 추론 여부를 추정하지 않고, 명시적 스위치로 켜고 끌 수 있는 모델"이다. 개입 모드: M1 Think-On(공식 생각 인터페이스 켬), M2 Think-Off(enable_thinking만 끄고 출력 제약 없음), M3 CoT(끈 채 "단계별로 생각하라"), M4 Soft(끈 채 짧은 도입부는 허용, 설명 금지), M5 Strict(끈 채 추론 없이 답만), M6 Prefix(`The answer is \boxed{`를 생성 앞에 미리 채움). 교차검증은 부록 D에서 Claude Opus 4.8로 다시 돌려 결론이 특정 심판에 묶이지 않았는지 확인했다.
발견을 스위치 → 답 형식 → 정확도 순으로 읽으면 하나의 이야기로 이어진다.
첫째, no-think 스위치는 믿을 만한 통제가 아니다. 앞서 본 DeepSeek-V4-Flash(284B)의 99.9%가 이 발견의 대표 수치다. 스위치를 내렸는데도 자유형 응답은 거의 전부 추론을 노출했다. 끄는 버튼이 있다고 꺼지는 게 아니다.
둘째, 풀이 노출은 스위치보다 '답변 공간'에 더 좌우된다. 이게 사고 관성의 핵심이다. 네이티브든 엄격 모드든, EIR은 불리언에서 가장 낮고 객관식에서 중간, 자유형에서 가장 높았다. 답변 공간이 넓어질수록 모델은 풀이를 더 쏟아낸다(과제 유형끼리의 비교).
같은 방향이 한 질문 안에서도 나타났다. 같은 질문도 답 형식에 따라 풀이 노출이 달라졌다. 질문이 사실형이거나 후보가 보이는 형식이면, 개방형 생성일 때보다 '답만' 내놓기가 훨씬 쉬워졌다. 질문 난이도나 답 길이만으로는 설명되지 않는 패턴이라는 게 저자들의 관찰이다(같은 질문의 형식 변경 비교). 두 비교가 같은 곳을 가리킨다. 풀이를 멈추게 하는 건 "멈추라"는 지시보다 답의 형식 자체다.
왜 그럴까. 여기서부터는 관찰이 아니라 가설이다. 두 갈래 설명이 가능하다. 하나는, 선택지가 주어지면 모델이 답 후보를 스스로 지어낼 부담이 줄어 풀이를 덜 펼친다는 쪽이다. 다른 하나는, 속 계산량은 그대로인데 출력으로 꺼내는 방식만 닫힌다는 쪽이다. 이 논문은 속을 보지 않았으니 둘 중 무엇인지 가르지 못한다. 측정으로 확인한 건 "형식이 바뀌면 행동이 바뀐다"까지고, 모델이 왜 그렇게 행동하는지는 열린 질문이다.
셋째, 자유형에서는 맞교환이 드러난다. 답만 강하게 요구할수록 '답만' 준수는 오르고 풀이 노출은 줄지만, 정확도는 떨어질 수 있다. 생각을 완전히 끈 다섯 LLM에서, 엄격 answer-only 프롬프트는 평균 ETR을 거의 0에서 약 40%로 끌어올리는 대신 평균 정확도를 약 15%포인트 낮췄다(자유형 과제, 생각 끈 상태, 엄격 모드의 묶음 수치). "답만 받되 정확도는 그대로"는 공짜가 아니다. 덧붙여, 잘 푸는 과제라고 풀이를 덜 노출하지도 않았다. 추론을 잘하는 능력과 추론을 멈추는 능력은 별개다.
비용은 조심해서 읽어야 한다. 서두에서 추론 토큰이 비용을 키운다고 했지만, 이 논문이 직접 잰 것은 '화면에 드러난 설명의 양과 종류' 그리고 정확도다. 출력 토큰 수나 응답 시간, 모델 내부 연산량은 재지 않았다. 그러니 "설명이 줄었다 = 비용이 줄었다"로 바로 잇지 말자. 설명이 줄면 출력 토큰도 줄어 비용이 내려갈 여지는 있지만, 그 연결은 현장에서 직접 재서 확인할 몫이다.
측정 틀 자체에 의존성이 있다. EIR은 LLM 심판에 기댄다. 저자들은 정체 가림, 다섯 라벨 루브릭, 교차 가문 심판(Claude Opus 4.8), 인간 검증(주석자 5명이 명시적 추론 라벨에서 1차 GPT-5.5 심판과 평균 98.8% 이진 일치)으로 방어했다. 그래도 심판 기반 지표가 완전히 중립적이진 않다.
처방은 다음 숙제다. 이 논문은 사고 관성이 있다는 걸 보였지만, 모델을 어떻게 고쳐야 "멈추라면 멈추는지"는 측정 너머의 문제다. 맞교환을 숫자로 드러냈을 뿐, 그 곡선을 유리하게 미는 학습·디코딩 기법은 후속 과제로 남는다. 수치도 벤치마크 6개·모델 6개에서 나온 것이라, 다른 도메인이나 더 넓은 모델군으로 일반화될지는 이 범위에서 단정할 수 없다.
담당 팀 하나만 정하면 되는데, 모델이 "이 요청은 결제 흐름과 관련이 있고, 따라서…" 하고 배정 이유까지 길게 써 내려간다. 들어온 작업을 빠르게 갈라 담당자에게 넘기는 트리아지(분류 선별) 단계에서 흔히 보는 장면이다. 보통 이 단계는 빠르고 싸게 돌리고 싶어서 모델을 no-think로 두거나 "설명 말고 분류 결과만"이라고 지시하게 된다.
이 논문은 그 상식에 두 군데 주의할 점이 있다고 알려준다. 트리아지 출력 포맷이 "한 문장으로 요약하고 담당을 정하라"처럼 열려 있으면, 스위치를 내려도 모델이 과정을 계속 노출한다. 그리고 억지로 답만 받아내면, 자유형에서 보인 것처럼 분류 품질이 떨어져 오분류가 늘 수 있다. 빠른 경로를 만들려다 사람이 되돌리는 재작업을 늘리는 셈이다.
그래서 설계를 이렇게 바꿔 본다. 트리아지를 자유 요약으로 두는 대신, 담당 후보를 선택지로 주고 애매하면 '검토 필요'로 빠지는 닫힌 형식으로 만든다. 답변 공간을 좁혀 관성이 덜 생기게 하려는 것이다. 그리고 바꾸기 전후를 오분류율·처리 시간·재배정률로 나란히 잰다. 포맷을 닫았더니 정말 빨라졌는지, 대신 오분류가 늘지는 않았는지를 로그에서 확인하는 것이다. 논문이 자유형 벤치마크에서 본 맞교환이 우리 트리아지에서도 같은 모양인지는, 이렇게 직접 재봐야 안다.
바로 이 설계와 검증이 온틀 AI PM이 하는 일이다. 담당 범주와 예외 기준(무엇을 애매로 보고 사람에게 올릴지)을 정하고, 빠른 경로(닫힌 포맷)와 심층 경로(생각 모드를 켠 개방형)를 나누고, 바꾼 효과를 숫자로 확인한다. 사고 관성을 억지로 꺾는 대신, 관성이 덜 생기는 인터페이스로 우회하고 그 결과를 지표로 검증하는 쪽이다.