ひとりで試験問題を作り、その問題をひとりで解き、自分の答えを自分で採点する学生を思い浮かべてほしい。最初のうちは特に問題はない。ところが、たまたま問題の正解そのものを間違って書き留めてしまうと話がこじれる。間違った答えに合わせて勉強し、次の試験でも同じ誤りをまた書き、出題した答えと解いた答えが同じだから「正解だ」と自分に満点をつける。点数表は着実に上がっていくのに、実力は足踏み、あるいはむしろ後退していく。
自分で問題を作り、自分で解くことを繰り返しながら成長する自己進化型(self-evolving)の検索エージェントが、まさにこれだ。この論文は、その閉じたループ(閉ループ)のなかで出題者と解答者がしだいに同じ誤答で合意してしまう故障を見つけ出し、「共謀(co-cheating)」と名づけた。内部で与えられる報酬は上がるのに、実際の正答率は止まっているか落ちていく。著者らはこの現象を実際に計測して見せ、採点を担う解答者を互いに入れ替えて配置するCrossFitという手法で抑え込む。
検索拡張型の言語モデルは、答えを出す前に検索を挟んで根拠を集める。ふつうは人が作った質問と正解で学ぶが、自己進化型エージェントは学ぶ材料を自分で作り出す。構造は二つに分かれる。出題者(proposer)がソース文書を見て、質問と仮ラベル(pseudo-label。人が検証せず、モデルが暫定的に付けた正解)を作る。そのうち基準を通過した質問ペアで解答者(solver)を学習させる。そして新しい質問に対する解答者の成績が、ふたたび出題者の報酬になる。このサイクルを回すと、質問が解答者の現在の実力あたりに集まり、人が組んだ固定カリキュラムがなくても自動的なカリキュラムが生まれる。
問題は、この構造が「合意」を「正解」の代理指標として使う点にある。先ほどの学生のたとえがそのまま当てはまる箇所だ。出題者が付けた仮ラベルが間違っていたとしよう。その間違った答えで学んだ解答者は、同じソースから出てくる次の質問でも同じ誤りを繰り返す。出題者と解答者の答えが一致するから報酬が出て、その報酬は次のラウンドのカリキュラムに誤りをさらに深く埋め込む。表面上の点数は上がり続けるが、その上昇分の一部は実力ではなく共有された錯覚だ。
著者らはまず、この故障が本当にあるのかを計測した。Dr. Zeroという既存の自己進化ループを、学習手順には手を加えずそのまま回したうえで、各ステップごとにソース文書と採択された仮ラベル、出題者の報酬に使われた解答者の応答を保存した。そのうえで、学習にはいっさい関与しない外部の監査者がソースを根拠に参照答えを別途作り、保存しておいた出力が正しいかどうかを照合する。
ここで核心となる指標が偽合意質量(false-agreement mass)だ。出題者と解答者がともに間違っているのに、たまたま同じ誤答を出して「合意」として集計された割合を指す。かみ砕けば、この数値が高いほど、AIが「どちらも間違っているが答えが同じだから正解だ」と錯覚している場合が多い、という意味だ。
結果は鮮明だった。最初のラウンドでは偽合意がほとんどない。間違ったラベルの大半は「取りこぼした正解」、つまり解答者は正しく答えたのにラベルが間違っていて報酬をもらえなかったケースだ。ところがラウンドを重ねるにつれて様相が逆転する。正答率は増えないのに合意だけが楽観的に膨らみ、三回目のラウンドでは偽合意が目に見えて跳ね上がる(数値は下の表)。問題が難しくなって正答率が落ちただけでは、「同じソースと食い違う、まったく同じ誤答」への合意がなぜ増えるのかは説明できない。バラバラだった間違いが、共有された間違いへと収束しているというサインだ。
いちばん手軽な処方は、学習に入れる前に仮ラベルを先に検証することだ。これがMSV(multi-sample verification。複数回サンプリングして振るいにかける検証)である。同じモデルにソースを与えて三回、ソースを隠して三回、答えを引き出す。両方ともぶれのない多数答が出て、かつ両者が互いに一致したときだけ課題を通し、その多数答をラベルに差し替える。ソースを見た答えは根拠に支えられているかを、ソースを隠した答えは答えそのものが安定しているかを、それぞれ試すわけだ。
だがMSVには穴が二つある。第一に、同じモデルから六回引いたサンプルは同じ誤りをそろって共有しうる。第二に、検証を通過したとしても、あとでそのソースで学習した解答者がそのラベルをまた持ち出して使う経路までは防げない。おまけに、候補ひとつあたり生成が六回ずつ余分にかかる。
そこで著者らの主力手法がCrossFitだ。変えるのは「誰が採点するか」ただ一点。出題者のソース文書をfold 0とfold 1の二束に分ける。質問は、自分のソースが属する束を学習のあいだずっと保持する。各束は補助解答者をひとつずつ育てる。次のラウンドで役割を交差させ、fold 0から出た質問はfold 1だけで学んだ解答者が採点し、その逆も同じようにする。その結果、どの質問であれ、その質問を採点する解答者はその質問のソースを学習したことがない。報酬ルールそのものは変わらない。解答者にどれだけ難しく見えるかで点を与える。変わったのはただ「その信号を誰が与えるか」だけだ。
整理すると、両者は競合関係ではなく相互補完の関係だ。MSVでラベルを振るい、CrossFitでフィードバックを交差させる。入口と出口で、別々の穴をひとつずつふさぐのである。
文書を質問単位ではなくソース単位で分けたのが賢い点だ。なぜ賢いのか。質問単位で刻むと、同じソースから派生した似た質問が両方の解答者に露出してしまい、そうなると「学んだことのない問題で採点する」という原則がその場で崩れるからだ。なくそうとしていた再利用経路がそのまま生き残ることになる。もう一つ——本体の解答者は分割しない。通過したすべての質問でそのまま学ぶ。交差はあくまで出題者の次のカリキュラムをかたちづくるフィードバックにだけ適用される。
ひとことで言えば、偽物で膨らんでいた点数の泡を取り除いたら、本物の実力がいっしょに上がった。かしこぶって見えるだけになる分かれ道をふさいだら、実際の問題解決の成績まで後からついて上がったのだ。CrossFitは偽合意を従来方式の半分以下に減らしながら、下流性能(downstream。学習を終えたモデルを実際のQA問題に解かせてみた最終成績)を標準の自己進化より8点以上引き上げた。
とりわけ注目すべき補助実験がひとつある。著者らは質問3,000問を別に固定しておき、同じ質問集合を二種類のフィードバックで再生(replay)して横並びで比較した。採点者の学習履歴にそのソース由来のデータがそのまま入った「結合フィードバック」では偽合意が4B 5.8%・9B 7.3%だったのに対し、採点者の学習履歴から当該ソース由来のデータを除いた「ソース除外フィードバック」では4B 0.4%・9B 0.1%まで下がった。ここでいう「ソース除外」は入力文書を隠すという意味ではなく、採点を担う評価者がそのソースで学んだことがあるかどうかで分けるという意味だ。この再生が重要なのは、偽合意の変化が「カリキュラムが変わったから」なのか「フィードバックの血統が変わったから」なのかを切り分けてくれるからだ。結局、偽合意の根がフィードバックの血統、つまり採点者がそのソースを見たかどうかにあったことを示したわけである。
具体的な数値は下の表にまとめる。
偽合意質量(学習後、低いほど良い)
| フィードバック方式 | 4B | 9B |
|---|---|---|
| 結合(従来) | 6.1% | 8.8% |
| MSV | 5.7% | 7.2% |
| CrossFit | 3.0% | 3.7% |
(参考までに、学習前のラウンド1の偽合意は4B 0.004・9B 0.003とほぼゼロだったものが、ラウンド3で上の結合数値まで跳ね上がる。)
再生実験(固定3,000問、偽合意質量 — 上の表とは別設定)
| フィードバック方式 | 4B | 9B |
|---|---|---|
| 結合 | 5.8% | 7.3% |
| ソース除外 | 0.4% | 0.1% |
下流性能(正答率、高いほど良い)
| 手法 | 4B | 9B |
|---|---|---|
| CrossFit | 48.8% | 51.2% |
| 標準の結合型自己進化との差 | +8.8点 | +8.4点 |
| Search-R1との差 | +8.7点 | +7.8点 |
著者ら自身がはっきり線を引いている。CrossFitは補助解答者を、真実をすべて知る神託にしてくれるわけではない。二つの解答者は、事前学習や重なり合う証拠から引き継いだ誤りをいまだにともに抱えうる。CrossFitが断つのは、あくまで「同じソースで学んだという理由だけで」合意が報酬を受け取る経路だ。実際、処理後でも3%前後の偽合意が残る。
評価範囲も押さえておきたい点だ。検証はQwen3.5の二つの規模と特定の三ラウンド設定、七つのQAベンチマークに縛られており、監査そのものがまた別の大型モデルの判定に頼っている。なにより、ソースを半分に割る分だけ各補助解答者が見るデータが減るわけで、データが希薄な分野でこの分割がどう働くのかは、もう少し見ていく必要がある。
この発見は学術的な好奇心では終わらない。私たちが作るAIプロダクトの信頼性の問題と、そのまま地続きになる。
ONTLEのAI PMが顧客の課題を終えて自ら「完了判定」を下す場面を思い浮かべてほしい。PMが成果物を作り、同じPMが「要件を満たしたか」という検収基準まで立てて、自分の成果物を採点する。課題の履歴を積み上げてPMを磨き続ければ、見かけの「完了率」は四半期ごとにきれいに上がりうる。この論文の警告は、まさにここに突き刺さる。出題と採点が同じ根を共有すると、間違った検収基準と間違った成果物が手を取り合い、互いを承認しあう偽りの境界が育つ。完了率のグラフは右肩上がりなのに顧客の差し戻しは減らない、という乖離——それこそが偽合意の現場バージョンだ。
ただし、CrossFitを一字一句変えずに持ち込めるわけではない。完了判定を学習で自動化しようとする場合にかぎって、こういうかたちになる。ある顧客群の課題で学習・調整された判定ロジックには、自分の群の完了を採点させないようにし、別の群で育てた判定者が交差で検収審査を担う。本体のPMは全履歴で学び続けつつ、「よくやった」という報酬信号だけは、自分が学んだソースの外から受け取る構造だ。完了判定の自動化に本格的に手をつける前に、生成と評価のデータ血統が分かれているかどうかを、まず設計に打ち込んでおく理由がここにある。
ひとつは区別しておこう。ONTLEがすでに発行前に回している二重検証ゲートは、執筆した側とは別の独立した検収者が結果を別途照合する、という点で論文の外部監査プロトコルに対応する。完了率と実際の充足のあいだの隙間を常時計測する習慣、というわけだ。いっぽうでCrossFit式の学習データ血統の分離は、それと方向性は同じでも適用地点が異なる、まだ私たちが設計に新しく入れなければならない課題だ。すでに持っているもの(外部監査)と、これから入れるべきもの(血統の分離)を混同しないことが、まず出発点になる。
いいえ。論文は、意図的なすり合わせを意味しないとはっきり断っています。出題者が作った間違った仮ラベルで解答者が学び、同じソースの次の質問で同じ誤りを繰り返し、その合意が報酬として戻ってくる、という流れにすぎません。誰かが示し合わせているのではなく、報酬を最大化しているうちに自然とそう固まっていく自己強化の現象です。
発想の根は似ていますが、適用地点が違います。交差検証がモデルの「評価」のためにデータを分けるのに対し、CrossFitは学習ループのなかの「報酬信号」のために分けます。そして決定的に、分ける単位が質問ではなくソースです。採点者がその質問のソースを学習したことがあってはならない、という原則を守るには、ソース単位で割る必要があるからです。