독일어로 된 분기 보고서를 읽던 AI 비서가, 정작 머릿속으로는 영어로 중얼거린다. 읽는 글은 독일어인데 생각은 영어다. 이 사소한 어긋남이 이 논문의 출발점이다. 이 작은 어긋남이 AI 답변의 신뢰도를 어떻게 흔드는지, 이 논문은 글자 위 점 두 개로 보여 준다.
질문도, 근거 문서도, 답도 모두 독일어인 검색 기반 AI에게 '생각까지 독일어로' 시키면 어떻게 될까.
결론부터 말하자. 생각하는 언어까지 독일어로 맞추니, 억지로 프랑스어로 생각하게 했을 때보다 답이 정확했다. 흥미로운 점은 그다음이다. 이 모델은 벤치마크상 프랑스어를 독일어보다 더 잘하는데도 독일어가 이겼다. 적어도 이 실험 안에서는, 이득이 '언어 실력'이 아니라 '읽는 자료와 생각하는 말이 같다'는 정렬에서 나온 것으로 보인다. 단, 그 이득도 모델이 원래 쓰던 영어 사고를 넘어서진 못했다.
요즘 '추론 모델'(답을 내기 전에 사고 과정을 길게 적어 나가는 모델)은 결론을 내기 전에 긴 사고 과정을 거친다. 이 과정이 정확도를 올리고, '왜 그렇게 답했는지' 들여다볼 창도 열어 준다. 문제는 이 모델들이 대부분 영어로(일부는 중국어로) 생각하도록 훈련됐다는 점이다. 영어가 모국어가 아닌 사용자에게는 반쪽짜리다.
먼저 선행 연구(Qi et al., 2025)가 날카로운 관찰을 남겼다. 모델에게 특정 언어로 생각하라고 지시하면 정확도가 떨어지는데, 그 지시 언어가 질문의 언어와 같을 때조차 떨어졌다. 단, 이 연구가 본 건 모델이 질문 하나만 손에 쥔 '짧은 프롬프트' 상황이었다. 다른 다국어 검색 연구들도 대개 질문이나 문서의 언어를 바꿔 가며 살폈을 뿐, 정작 모델이 '어떤 언어로 생각하는지'는 검색 환경에서 따로 떼어 본 적이 없다.
그런데 실제 서비스는 사정이 다르다. 비영어권 사용자를 위한 서비스 상당수는 RAG(검색증강생성 — 모델이 외부 문서를 먼저 검색해 읽고 그걸 근거로 답하는 방식)로 돌아간다. 이때 모델이 들여다보는 텍스트의 대부분은 질문이 아니라 검색된 '타깃 언어 자료'다. 여기서 이 논문의 질문이 나온다. 질문도 문서도 전부 독일어인 RAG에서도 독일어 사고 지시는 여전히 손해일까, 아니면 자료의 언어에 생각을 맞추는 쪽이 이번엔 도움이 될까? 그리고 그 효과가 '정렬' 때문인지 '언어 실력' 때문인지 갈라낼 수 있을까? 추론 언어라는 변수 하나만 떼어 RAG에서 검증한 건 이 연구가 처음이다.
독일어 사고가 도움이 되리라 기대할 이유는 있다. 모델에게 언어는 세계를 더듬는 통로이고, 단어 하나하나가 그 언어 특유의 결을 담는다. 독일어 자료를 잔뜩 해석해야 하는 상황이라면 독일어로 생각할 때 사고가 자료에 더 바싹 붙는다. 영어로 생각하면 머릿속에서 번역을 한 겹 더 거치는 셈이다.
논문 첫 그림이 이를 압축한다. 독일어 질문에 영어로 생각한 모델은 강 이름에 붙은 움라우트(모음 위에 찍는 점 두 개)를 흘려 'Sudask'라는 틀린 답을 냈고, 독일어로 생각한 모델은 'Südask'를 지켜냈다. 점 두 개가 정답과 오답을 갈랐다. 한국어로 치면 '검토'와 '검수'가 번역 과정에서 한 글자 뭉개지는 것과 같다.
효과를 깨끗이 재려면 세 가지를 설계해야 한다. 어디서 재고(무대), 어떻게 찾아 읽고(검색), 어떻게 채점하느냐(평가)다. 하나씩 보자.
좋은 실험 무대는 두 조건을 동시에 만족해야 한다. 첫째, 영어가 아닌 한 가지 언어로만 된 자료일 것. 둘째, 모델이 기억만으로는 못 풀고 반드시 검색에 기대야 할 것. 둘째가 특히 중요하다. 모델이 이미 아는 지식으로 답해 버리면 '검색 자료를 읽고 추론한 효과'만 따로 떼어 잴 수 없기 때문이다.
그래서 고른 무대가 독일 TTRPG(여럿이 규칙과 주사위로 이야기를 만들어 가는 테이블 롤플레잉 게임) '검은 눈'의 가상 세계 아벤투리아다. 1984년부터 독일어 설정집으로 유별나게 촘촘히 기록됐지만, 요즘 AI가 사전학습으로 주워듣기엔 너무 좁고 마니악한 세계다. 지식베이스로 쓴 설정집 세 권은 합쳐 약 113만 토큰(토큰은 모델이 글을 처리하는 최소 단위)으로, 모델이 한 번에 읽을 수 있는 분량을 한참 넘는다. 그러니 답하려면 검색이 필수다.
여기에 영리한 장치가 하나 있다. 프랑스어를 대조군으로 끼워 넣은 것이다. 프랑스어는 이 모델이 그 언어로 추론하도록 훈련되진 않았고, 무엇보다 독일어 자료와는 다른 언어다. 덕분에 '자료와 생각의 언어가 맞아 생기는 정렬 효과'와 '그 언어 자체를 잘하는 실력'을 갈라낼 수 있다. 효과가 순전히 실력 문제라면, 벤치마크 점수가 더 높은 프랑스어가 최소한 독일어만큼은 해야 한다.
RAG 본체는 표준 구조다. 질문이 들어오면 모델이 생각한 뒤 검색 도구를 부르거나 최종 답을 낸다.
설계의 핵심은 '구조 보존'이다. 책을 무작정 열 쪽씩 잘라 담는 게 아니라, 각 조각에 '3장 2절'처럼 제자리를 알려 주는 꼬리표를 붙여 두는 것이다. 책은 원래 장·절·소절의 위계를 갖는데, 그 구조를 검색 단위(청크)에 그대로 남긴다. 덕분에 '시장'이라는 짧은 단락도 길을 잃지 않는다. 그 자체로는 어느 도시 이야기인지 알 수 없지만, 상위 제목(→ 알안파 시)을 함께 달고 다니면 맥락이 산다. 이 '독일어로 된 구조'가 뒤에 나올 정렬 효과의 핵심 재료다.
검색은 두 단계로 돈다. 1차는 문장의 의미를 AI가 다루는 좌표(숫자)로 바꿔(이를 '임베딩'이라 한다) 의미가 가까운 후보를 넓게 긁어온다. 빠르지만 거칠다. 그래서 2차로, 1차가 넓게 찾아온 후보 중 진짜 정답에 가까운 것만 더 꼼꼼히 다시 줄 세운다(이를 '재순위'라 한다). 독일어로 된 가상의 자료는 1차 단계가 유난히 헷갈려 해서, 이 2차 걸름망이 특히 요긴하다.
주력 모델로는 GPU 한 장에 올라갈 만큼 작은 경량 모델을 썼다. 긴 자료를 넣고 검색을 반복하면 큰 모델은 비용을 감당할 수 없어서다. 대신 큰 모델은 채점관과 '검색 없이 푸는' 기준선 역할로만 세웠다.
평가셋은 두 종류다. 하나는 한 섹션만 봐도 답이 나오는 단일 패스 질문 585개, 다른 하나는 한 자료로는 못 풀고 세 권을 가로질러야 하는 멀티홉 질문 30개다. 여기서 홉(hop)이란 답을 찾으려 자료를 건너뛰며 거치는 단계를 말한다.
채점도 둘로 나눴다. 단일 패스는 더 큰 모델에게 1~5점을 매기게 했고(이를 LLM 채점이라 한다), 멀티홉은 아벤투리아를 아는 전문가 세 명이 어느 설정의 답인지 모른 채 블라인드로 채점했다. 두 설정을 비교할 때는 문항을 짝지어 통계로 검정했고, 여러 번 비교할 때 생기는 착시도 보정했다.
끝으로 이 설계가 '재는 것'과 '못 재는 것'을 분명히 해 두는 게 공정하다. 질문·자료·답을 전부 독일어로 고정하고 추론 언어 하나만 움직였으니, 이 실험이 겨누는 건 '증거가 주어졌을 때 생각하는 언어를 바꾸면 답이 어떻게 달라지는가' 하나다. 또한 추론 언어는 모델 내부를 손본 게 아니라, 시스템 지시(모델에게 역할·규칙을 미리 일러두는 밑글)와 사고의 첫 문장을 해당 언어로 심어 프롬프트로만 유도한 방식이다. 이 한계는 처음부터 안고 간다.
먼저 가정부터 확인하자. 모델은 정말 이 세계를 몰랐을까. 그렇다. 검색 없이 푼 설정은 단일 패스·멀티홉 모두 5점 만점에 1점대에 머물렀고, 모든 검색 설정이 큰 폭으로 이를 앞질렀다(아래 표). 큰 모델도 나아지지 않았다. 없는 걸 지어내는 대신, 아벤투리아 다른 곳에 실재하는 개체를 엉뚱하게 끌어다 쓰는 식으로 환각했다. 검색 없이 맞힌 몇 안 되는 답은 아벤투리아 고유 지식이 아닌 상식(맹그로브가 지주근으로 자란다 — 현실에서도 참)뿐이었다. '모델이 이 도메인을 모른다'는 가정은 이렇게 실측으로 확인됐다.
이제 핵심이다. 아래가 설정별 성적표다.
| 설정 (사고 언어 · 추론) | 단일 패스 585문항 | 멀티홉 30문항 |
|---|---|---|
| 검색 없음 (기준선) | 1.335 / 1.323 (작은·큰 모델) | 1.189 |
| 추론 없음 | 3.903 | 2.778 |
| 무제약 (영어로 자유 사고) | 3.718 | 3.011 |
| 영어 강제 | 3.670 | 3.000 |
| 독일어 강제 (자료와 같은 언어) | 3.701 | 2.889 |
| 프랑스어 강제 (다른 언어) | 3.491 | 2.778 |
(점수는 5점 만점.)
첫째, 정렬이 이겼다. 독일어로 생각한 설정(3.701)이 프랑스어로 생각한 설정(3.491)을 0.21점 차로 앞섰다. 문항별로도 독일어가 182개, 프랑스어가 138개에서 이겼다. 둘 다 억지로 시킨 비모국어이고, 데이터도 시스템도 같다. 유일한 차이는 독일어가 질문·자료의 언어와 같다는 것뿐이다. 그런데 이 모델의 평균 벤치마크는 프랑스어(71.8)가 독일어(68.2)보다 높다. 실력 문제였다면 프랑스어가 최소한 비겼어야 하는데 그러지 못했다. 적어도 이 실험 안에서는, 이득이 '실력'이 아니라 '자료 언어와의 정렬'에서 왔다고 읽는 게 자연스럽다. 멀티홉에서도 같은 순서(2.889 대 2.778)가 유지됐지만, 멀티홉은 30문항뿐이라 방향이 일치했다는 정도로만 받아들이는 게 정직하다.
앞서 본 Südask가 바로 이 0.21점의 생김새다. 추상적인 점수 차처럼 보여도, 그 안에는 생각을 증거의 언어에 붙여 둔 덕에 점 두 개까지 지켜내는 힘이 들어 있다.
둘째, 구조가 풍부할수록 강제의 비용이 줄었다. 균일하게 토막 낸 청크에서 섹션 구조를 살린 청크로 바꾸자, 그냥 영어로 생각하는 무제약 설정은 가장 적게 올랐고 독일어로 생각하는 설정이 가장 많이 올랐다. 균일 청크에서 독일어 사고는 자기 그룹 꼴찌였는데, 섹션 청크에서는 영어 사고마저 앞질렀다. 독일어로 된 구조를 가장 잘 살린 설정이 바로 그 언어로 생각하는 설정이었던 셈이다.
셋째, 그래도 영어를 넘지는 못했다. 단일 패스에서 무제약 영어(3.718), 독일어 강제(3.701), 영어 강제(3.670)는 통계적으로 동률이다. 독일어 사고는 모델이 원래 쓰던 영어 사고 '수준에 닿았을' 뿐 앞서지 못했다. 멀티홉에서는 오히려 영어 강제(3.000)가 독일어 강제(2.889)보다 조금 위다. 프롬프트로 유도하는 통제는 격차를 좁히긴 해도 뒤집지는 못한다. 저자들은 진짜 해법이 추론 시점의 프롬프트 조작이 아니라, 모델이 타깃 언어로 생각하도록 애초에 다져진 다국어 능력 자체에 있다고 본다.
넷째, 추론은 공짜가 아니다. 단일 패스에서는 추론을 아예 끈 설정이 3.903으로 전체 1등이었다. 한 번에 풀리는 질문에 긴 사고 과정은 대개 노이즈만 보태고 엉뚱한 곁가지를 끌어들였기 때문이다. 반대로 멀티홉에서는 추론 없음이 검색 설정 중 꼴찌(2.778)로 떨어졌다. 여러 자료를 엮어야 하는 질문에서만 추론이 제값을 한다.
두 데이터셋은 '1홉에선 해롭고 멀티홉에선 이롭다'는 양 극단만 보여 줄 뿐, 그 사이는 아직 빈칸이다. 그래서 이 관찰이 가리키는 방향은 분명하다. 질문의 복잡도를 보고 추론을 켤지 말지 그때그때 정하는 '라우팅'이다. 단순 조회는 추론 없이 빠르게, 여러 근거를 엮는 복합 분석은 추론을 켜서 — 어디에 선을 그을지는 다음 과제로 남는다.
끝으로 저자들은 채점관을 스스로 의심했다. 저자 한 명이 설정마다 5개씩 50개 답을 손으로 다시 채점해 비교하니, 정확히 일치 66%, 1점 이내 90%, 2점 넘게 어긋남 10%였다. 설정의 '순위'를 가리기엔 충분하지만, 3.718 대 3.701 같은 근소한 차를 가르기엔 모자라다는 뜻이다. 게다가 어긋남은 한쪽으로 쏠렸다. 2점 이상 벌어진 다섯 중 넷은, 사람이 3~4점 준 답에 LLM 채점관이 최저 1점을 준 경우였다.
저자들이 직접 꼽은 한계가 여럿이다. 모델도 하나, 언어쌍도 하나(독일어–영어/프랑스어)뿐이고, 추론 언어 통제가 프롬프트에만 기댔으며, 멀티홉 세트가 30문항으로 작고, 방금 본 대로 채점관도 완벽하지 않으며, 검색 방식을 하나로 고정했다. 특히 '추론을 언제 켜고 끌지'의 경계선을 찾으려면 질문을 홉 수로 등급 매긴 벤치마크가 필요한데, 그런 데이터가 아직 없다고 저자들 스스로 밝힌다.
정렬 효과의 크기(5점 만점에 0.21점)도 균형 있게 봐야 한다. 방향은 일관되고 통계적으로 유의하지만, '근소한 차는 채점관도 못 가른다'는 저자들의 고백과 겹쳐 읽으면, 정렬의 이득은 '분명하되 크지는 않은' 정도로 보는 게 정직하다.
앞서 'Südask'가 'Sudask'로 뭉개지는 장면에, 한국어로 치면 '검토'와 '검수'가 뒤섞이는 상황이라고 덧붙였다. 온틀의 AI PM이 고객사의 한국어 자료를 근거로 답할 때 정확히 이 문제가 등장한다. 고객이 "지난 분기 요구사항 변경 이력이랑 그때 합의된 예외 조항 정리해 줘"라고 물으면, PM은 회의록·요구사항 명세·결정 로그 같은 한국어 문서를 검색해 읽고 엮어 답한다. 전형적인 단일어 RAG다.
이 논문이 이 장면에 주는 건 '교훈'이 아니라 '검증해 볼 항목'이다. 한국어에서 직접 재 볼 세 가지로 좁히자.
하나, 사고 언어를 한국어로 맞추면 정말 나아지나. 영어로 생각하며 한국어 자료를 읽는 순간 번역이 한 겹 끼어든다. 조사 하나로 뜻이 갈리고('예외는'과 '예외도'), 어미로 확정과 예정이 갈린다('합의됐다'와 '합의하기로 했다'). '검수 완료'와 '검토 완료', '반려'와 '보류'가 번역에서 한 번 뭉개지면 PM 회신의 신뢰가 통째로 흔들린다. 그러니 추론 언어를 한국어로 맞췄을 때와 영어로 뒀을 때를, 같은 한국어 자료로 나란히 비교한다. 이건 '한국어가 특별히 취약하다'는 결론이 아니라, 먼저 재 봐야 할 가설이다.
둘, 문서 구조를 함께 넘기면 더 정확해지나. 회의록을 균일하게 토막 내는 대신 '안건 → 결정 → 예외'의 위계를 청크에 함께 실어 보낼 때 정렬 효과가 더 살아나는지 본다.
셋, 추론을 언제 켜나. 조회성 질문("이 조항 언제 합의됐나")과 종합형 질문("변경 이력과 예외를 엮어 영향도 분석")을 홉 수로 나눠, 추론을 켜고 끄는 기준선을 둘 수 있는지 시험한다.
한 가지는 미리 각오해 두자. 이 셋을 다 해도 프롬프트 한 줄로 한국어 품질을 끝까지 끌어올리긴 어렵다. 이 논문이 독일어에서 보여 준 대로라면, 마지막 한 끗은 결국 모델이 한국어로 생각하도록 애초에 다져진 다국어 역량에서 갈릴 가능성이 크다. 다만 이것도 한국어에서 직접 확인하기 전까지는 단정이 아니라 전망으로 남겨 둔다.
검증을 돌릴 때 방법도 이 논문을 따른다. 점수를 LLM 채점에만 기대지 말고 — 특히 근소한 차 판정에는 — 도메인을 아는 사람의 블라인드 평가를 병행하고, '우리 도메인은 모델이 이미 안다'고 전제하지 말고 검색 의존도부터 실측으로 확인한다. 검색 없는 큰 모델조차 그럴듯한 개체를 지어냈다는 걸 기억하면 된다.
한국어를 겨냥한 연구가 아니기 때문입니다. 실험이 성립하려면 '영어가 아니고, 모델이 외워서는 못 푸는' 단일어 자료가 필요했고, 독일 TTRPG 설정집이 마침 그 조건에 맞았을 뿐입니다. 그래서 같은 결과가 한국어에도 그대로 들어맞는지는 이 논문이 답해 주지 않습니다. 자기 데이터로 직접 재 봐야 합니다.
가공된 독일어 지식베이스 자체는 비공개지만, 원본 PDF로 그 지식베이스를 만들어 내는 도구와 QA 벤치마크·시스템 코드는 공개됩니다. 원본 설정집을 가진 사람이 그 도구를 돌리면 같은 지식베이스를 얻어 결과를 재현할 수 있습니다. 뒤집으면, 원본이 없으면 똑같이는 못 맞춘다는 접근성의 벽이기도 합니다.