ドイツ語の四半期報告書を読んでいたAIアシスタントが、頭の中ではなぜか英語でつぶやいている。読んでいる文章はドイツ語なのに、考えは英語だ。このささいなズレが、この論文の出発点になっている。この小さなズレがAIの回答の信頼性をどう揺さぶるのか——論文は文字の上に打たれた二つの点で、それを見せてくれる。
質問も、根拠となる文書も、回答もすべてドイツ語という検索ベースのAIに、「考えることまでドイツ語で」やらせたらどうなるのか。
先に結論を言おう。考える言語までドイツ語に揃えると、無理やりフランス語で考えさせたときよりも回答が正確だった。興味深いのはその先だ。このモデルはベンチマーク上ではフランス語のほうがドイツ語より得意なのに、ドイツ語が勝った。少なくともこの実験の範囲では、この利得は「言語の実力」ではなく「読む資料と考える言葉が一致している」という整合から生まれたものだと見える。ただし、その利得も、モデルが元々使っていた英語思考を超えることはできなかった。
最近の「推論モデル」（答えを出す前に思考過程を長く書き連ねていくモデル）は、結論を下す前に長い思考過程を経る。この過程が精度を上げ、「なぜそう答えたのか」を覗き込む窓も開いてくれる。問題は、これらのモデルの大半が英語で（一部は中国語で）考えるよう訓練されている点だ。英語が母語でないユーザーにとっては、片手落ちになる。
まず先行研究（Qi et al., 2025）が鋭い観察を残している。モデルに特定の言語で考えるよう指示すると精度が落ちるのだが、その指示言語が質問の言語と同じであってさえ落ちたのだ。ただし、この研究が見ていたのは、モデルが質問を一つだけ手にした「短いプロンプト」の状況だった。ほかの多言語検索研究も、たいていは質問や文書の言語を入れ替えながら調べただけで、肝心の「モデルがどの言語で考えるか」を検索環境のなかで切り離して見たことはなかった。
ところが実際のサービスは事情が違う。非英語圏ユーザー向けのサービスの多くはRAG（検索拡張生成——モデルが外部文書をまず検索して読み、それを根拠に答える方式）で動いている。このときモデルが覗き込むテキストの大半は、質問ではなく検索されてきた「ターゲット言語の資料」だ。ここからこの論文の問いが生まれる。質問も文書もすべてドイツ語のRAGでも、ドイツ語で考えさせる指示はやはり損なのか、それとも資料の言語に思考を合わせるほうが今回は役に立つのか? そして、その効果が「整合」によるものか「言語の実力」によるものかを切り分けられるのか? 推論言語という変数だけを一つ取り出してRAGで検証したのは、この研究が初めてだ。
ドイツ語思考が役立つと期待する理由はある。モデルにとって言語は世界を手探りする通路であり、一語一語がその言語ならではの質感を帯びている。ドイツ語の資料を大量に解釈しなければならない状況なら、ドイツ語で考えるときのほうが思考が資料にぴたりと寄り添う。英語で考えると、頭の中で翻訳をもう一枚かませることになる。
論文の最初の図がこれを凝縮している。ドイツ語の質問に英語で考えたモデルは、川の名前に付いたウムラウト（母音の上に打つ二つの点）を見落として「Sudask」という誤った答えを出し、ドイツ語で考えたモデルは「Südask」を守り抜いた。二つの点が正解と誤答を分けた。日本語で言えば、「検討」と「検収」が翻訳の過程で一文字つぶれてしまうようなものだ。
効果をきれいに測るには、三つを設計しなければならない。どこで測り（舞台）、どう探して読み（検索）、どう採点するか（評価）だ。一つずつ見ていこう。
よい実験の舞台は、二つの条件を同時に満たさなければならない。第一に、英語ではない一つの言語だけでできた資料であること。第二に、モデルが記憶だけでは解けず、必ず検索に頼らざるを得ないこと。第二の条件が特に重要だ。モデルがすでに知っている知識で答えてしまうと、「検索資料を読んで推論した効果」だけを切り離して測れなくなるからだ。
そこで選んだ舞台が、ドイツのTTRPG（複数人がルールとサイコロで物語を紡いでいくテーブルトークRPG）「黒い瞳（Das Schwarze Auge）」の架空世界アヴェントゥリアだ。1984年からドイツ語の設定資料集として並外れて緻密に記録されてきたが、いまのAIが事前学習で小耳に挟むには狭くマニアックすぎる世界だ。知識ベースとして使った設定集三巻は、合わせて約113万トークン（トークンはモデルが文章を処理する最小単位）で、モデルが一度に読める分量をはるかに超える。だから答えるには検索が必須になる。
ここに巧妙な仕掛けが一つある。フランス語を対照群として差し込んだことだ。フランス語は、このモデルがその言語で推論するよう訓練されてはおらず、何よりドイツ語の資料とは別の言語だ。おかげで「資料と思考の言語が一致することで生じる整合効果」と「その言語そのものが得意だという実力」を切り分けられる。もし効果が純粋に実力の問題なら、ベンチマークのスコアがより高いフランス語が、少なくともドイツ語と同程度には振る舞うはずだ。
RAG本体は標準的な構造だ。質問が入ってくると、モデルが考えたうえで検索ツールを呼ぶか、最終的な答えを出す。
設計の核心は「構造の保存」だ。本をやみくもに十ページずつ切って詰めるのではなく、各断片に「第3章第2節」のように自分の居場所を教えるタグを付けておくのだ。本はもともと章・節・小節の階層を持っていて、その構造を検索単位（チャンク）にそのまま残す。おかげで「市場」という短い段落も道に迷わない。それ自体ではどの都市の話かわからないが、上位の見出し（→アルアンファ市）を一緒に連れていけば文脈が生きる。この「ドイツ語でできた構造」が、のちに出てくる整合効果の核心的な材料になる。
検索は二段階で回る。一次は、文の意味をAIが扱う座標（数値）に変換して（これを「埋め込み」と呼ぶ）、意味の近い候補を広くかき集める。速いが粗い。そこで二次として、一次が広く探してきた候補のなかから本当に正解に近いものだけをより丁寧に並べ直す（これを「再ランキング」と呼ぶ）。ドイツ語でできた架空の資料は一次段階が特に混乱しやすいので、この二次のふるいがとりわけ重宝する。
主力モデルには、GPU一枚に載るほど小さい軽量モデルを使った。長い資料を入れて検索を繰り返すと、大きなモデルではコストに耐えられないからだ。代わりに大きなモデルは、採点役と「検索せずに解く」ベースラインの役だけに立てた。
評価セットは二種類だ。一つは一つのセクションを見るだけで答えが出るシングルパス質問585問、もう一つは一つの資料だけでは解けず三巻を横断しなければならないマルチホップ質問30問だ。ここでホップ（hop）とは、答えを探すために資料を飛び移りながら経る段階のことを指す。
採点も二つに分けた。シングルパスはより大きなモデルに1〜5点を付けさせ（これをLLM採点と呼ぶ）、マルチホップはアヴェントゥリアを知る専門家三人が、どの設定の答えかを知らされないままブラインドで採点した。二つの設定を比較するときは問題をペアにして統計で検定し、複数回比較することで生じる錯覚も補正した。
最後に、この設計が「測れるもの」と「測れないもの」をはっきりさせておくのがフェアだろう。質問・資料・答えをすべてドイツ語に固定し、推論言語だけを動かしたのだから、この実験が狙うのは「証拠が与えられたとき、考える言語を変えると答えがどう変わるか」の一点だ。また、推論言語はモデルの内部に手を入れたのではなく、システム指示（モデルに役割・ルールをあらかじめ言い含めておく下書き）と思考の最初の一文をその言語で植え付けて、プロンプトだけで誘導した方式だ。この限界は最初から引き受けている。
まず前提から確認しよう。モデルは本当にこの世界を知らなかったのか。そう、知らなかった。検索なしで解いた設定は、シングルパス・マルチホップのいずれも5点満点中1点台にとどまり、すべての検索設定が大きくこれを上回った（下表）。大きなモデルでも改善しなかった。ないものをでっち上げる代わりに、アヴェントゥリアの別の場所に実在する個体を見当違いに引っ張ってくる形で幻覚を起こした。検索なしで当てた数少ない答えは、アヴェントゥリア固有の知識ではなく常識（マングローブが支柱根で育つ——現実でも正しい）だけだった。「モデルがこのドメインを知らない」という前提は、こうして実測で確認された。
さて、ここからが核心だ。下がそれぞれの設定の成績表である。
| 設定（思考言語・推論） | シングルパス585問 | マルチホップ30問 |
|---|---|---|
| 検索なし（ベースライン） | 1.335 / 1.323（小・大モデル） | 1.189 |
| 推論なし | 3.903 | 2.778 |
| 無制約（英語で自由に思考） | 3.718 | 3.011 |
| 英語強制 | 3.670 | 3.000 |
| ドイツ語強制（資料と同じ言語） | 3.701 | 2.889 |
| フランス語強制（別の言語） | 3.491 | 2.778 |
（スコアは5点満点。）
第一に、整合が勝った。 ドイツ語で考えた設定（3.701）が、フランス語で考えた設定（3.491）を0.21点差で上回った。問題ごとに見ても、ドイツ語が182問、フランス語が138問で勝った。どちらも無理やりやらせた非母語であり、データもシステムも同じだ。唯一の違いは、ドイツ語が質問・資料の言語と同じだという点だけだ。ところが、このモデルの平均ベンチマークはフランス語（71.8）のほうがドイツ語（68.2）より高い。実力の問題だったなら、フランス語が少なくとも引き分けていたはずなのに、そうはならなかった。少なくともこの実験の範囲では、利得が「実力」ではなく「資料言語との整合」から来たと読むのが自然だ。マルチホップでも同じ順序（2.889対2.778）が保たれたが、マルチホップは30問しかないので、方向が一致したという程度にとどめて受け取るのが誠実だろう。
先ほど見たSüdaskこそが、この0.21点の姿かたちだ。抽象的なスコア差に見えても、そのなかには、思考を証拠の言語に寄り添わせたおかげで二つの点まで守り抜く力が込められている。
第二に、構造が豊かなほど強制のコストが下がった。 均一に刻んだチャンクから、セクション構造を生かしたチャンクに変えると、ただ英語で考える無制約の設定は最も伸びが小さく、ドイツ語で考える設定が最も大きく伸びた。均一チャンクではドイツ語思考が自分のグループの最下位だったのに、セクションチャンクでは英語思考さえ追い越した。ドイツ語でできた構造を最もよく生かした設定が、ほかならぬその言語で考える設定だったわけだ。
第三に、それでも英語を超えることはできなかった。 シングルパスでは、無制約の英語（3.718）、ドイツ語強制（3.701）、英語強制（3.670）は統計的に互角だ。ドイツ語思考は、モデルが元々使っていた英語思考の「水準に届いた」だけで、前に出ることはなかった。マルチホップではむしろ英語強制（3.000）がドイツ語強制（2.889）より少し上だ。プロンプトで誘導する制御は、差を縮めはしても覆すことはできない。著者らは、本当の解決策が推論時点でのプロンプト操作ではなく、モデルがターゲット言語で考えるよう最初から鍛え込まれた多言語能力そのものにあると見ている。
第四に、推論はタダではない。 シングルパスでは、推論をまるごと切った設定が3.903で全体トップだった。ただし、これをそのまま「一度で解ける質問には推論が有害だ」と言い切るのは行きすぎだ。長い思考過程が見当違いの枝葉を引き込んだという読み方はできるが、論文自身は別の可能性も併記している——推論を切った回答は短くなりがちで、短い答えを高めに見積もるLLM採点官の「長さの偏り」のおかげで点が上振れしただけかもしれない、と。このスコア差が「推論の害」なのか「採点の癖」なのかは、まだ切り分けられていない。一方マルチホップでは、推論なしが検索設定のなかで最下位（2.778）に落ちた。複数の資料を結び合わせなければならない質問でこそ、推論は値打ちを発揮する。
二つのデータセットは「1ホップでは推論なしが上回り、マルチホップでは推論が効く」という両極端を見せるにとどまり、その間はまだ空欄だ。だからこの観察が指し示す方向ははっきりしている。質問の複雑さを見て、推論をオンにするかどうかをそのつど決める「ルーティング」だ。単純な照会は推論なしで速く、複数の根拠を結び合わせる複合分析は推論をオンにして——どこに線を引くかは、次の課題として残される。
最後に、著者らは採点官そのものを疑った。著者の一人が設定ごとに5問ずつ、計50問の答えを手作業で採点し直して比較すると、完全一致66%、1点以内90%、2点超のズレ10%だった。設定の「順位」を見分けるには十分だが、3.718対3.701のようなわずかな差を分けるには足りない、という意味だ。しかもズレは一方に偏っていた。2点以上開いた五つのうち四つは、人間が3〜4点を付けた答えに、LLM採点官が最低の1点を付けた場合だった。
著者ら自身が挙げた限界がいくつもある。モデルも一つ、言語ペアも一つ（ドイツ語–英語/フランス語）だけで、推論言語の制御がプロンプトだけに頼っており、マルチホップセットが30問と小さく、たったいま見たとおり採点官も完璧ではなく、検索方式も一つに固定している。とりわけ「推論をいつオンにしオフにするか」の境界線を探すには、質問をホップ数で等級付けしたベンチマークが必要なのだが、そうしたデータがまだないと著者ら自身が明かしている。
整合効果の大きさ（5点満点中0.21点）もバランスよく見るべきだ。方向は一貫していて統計的に有意だが、「わずかな差は採点官も分けられない」という著者らの告白と重ねて読むと、整合の利得は「明確だが大きくはない」程度と見るのが誠実だろう。
先ほど「Südask」が「Sudask」につぶれる場面に、日本語で言えば「検討」と「検収」が入り混じる状況だと添えた。ONTLEのAI PMが顧客企業の韓国語資料を根拠に答えるとき、まさにこの問題が立ち現れる。顧客が「先の四半期の要求仕様の変更履歴と、そのとき合意された例外条項を整理して」と尋ねると、PMは議事録・要求仕様書・決定ログといった韓国語の文書を検索して読み、結び合わせて答える。典型的な単一言語RAGだ。
この論文がこの場面に与えてくれるのは「教訓」ではなく「検証してみるべき項目」だ。韓国語で直接測ってみる三つに絞ろう。
一つ、思考言語を韓国語に合わせると本当に良くなるのか。 英語で考えながら韓国語の資料を読む瞬間、翻訳が一枚挟まる。助詞一つで意味が分かれ（「例外は」と「例外も」）、語尾で確定と予定が分かれる（「合意された」と「合意することにした」）。「検収完了」と「検討完了」、「却下」と「保留」が翻訳で一度つぶれれば、PMの返信の信頼が丸ごと揺らぐ。だから推論言語を韓国語に合わせたときと英語のままにしたときを、同じ韓国語資料で並べて比較する。これは「韓国語が特に脆弱だ」という結論ではなく、まず測ってみるべき仮説だ。
二つ、文書構造を一緒に渡すとより正確になるのか。 議事録を均一に刻む代わりに、「議題 → 決定 → 例外」の階層をチャンクに一緒に載せて渡したとき、整合効果がより生きるかを見る。
三つ、推論をいつオンにするか。 照会型の質問（「この条項はいつ合意されたか」）と総合型の質問（「変更履歴と例外を結び合わせて影響度を分析」）をホップ数で分け、推論をオン・オフする基準線を置けるかを試す。
一つだけ、あらかじめ覚悟しておこう。この三つをすべてやっても、プロンプト一行で韓国語の品質を最後まで引き上げるのは難しい。この論文がドイツ語で見せてくれたとおりなら、最後の一押しは結局、モデルが韓国語で考えるよう最初から鍛え込まれた多言語能力で決まる可能性が高い。ただしこれも、韓国語で直接確かめるまでは断定ではなく見通しとして残しておく。
検証を回すときは、方法もこの論文に倣う。スコアをLLM採点だけに頼らず——特にわずかな差の判定には——ドメインを知る人によるブラインド評価を併用し、「うちのドメインはモデルがすでに知っている」と前提せず、検索への依存度からまず実測で確認する。検索なしの大きなモデルさえもっともらしい個体をでっち上げた、ということを覚えておけばいい。
韓国語を狙った研究ではないからです。実験が成立するには「英語ではなく、モデルが暗記では解けない」単一言語の資料が必要で、ドイツのTTRPG設定集がちょうどその条件に合っていただけです。ですから、同じ結果が韓国語にもそのまま当てはまるかどうかは、この論文は答えてくれません。自分のデータで直接測ってみる必要があります。
加工済みのドイツ語知識ベースそのものは非公開ですが、元のPDFからその知識ベースを作り出すツールと、QAベンチマーク・システムコードは公開されます。元の設定集を持っている人がそのツールを回せば、同じ知識ベースを得て結果を再現できます。裏を返せば、元がなければ同じようには再現できないという、アクセス可能性の壁でもあります。