AIエージェントが「自分で資料を調べる」というとき、私たちはたいてい、検索窓に質問を打ち込んで上位いくつかのリンクを要約する光景を思い浮かべる。この論文が突きつける課題は、そのレベルをはるかに超えている。一本の動画から手がかりを拾い、生きたウェブ — 今この瞬間も変わり続けている実在のウェブサイト群 — を巡り歩き、別々のサイト・文書・データセットを自分で開いて証拠をつなぎ、最終的に事実として検証できる唯一の答えにたどり着け、というものだ。
ここでいうディープサーチ(Deep Search)とは、AIが自ら検索し資料を開いて証拠を集め、答えを探し出す調査プロセスを指す。研究チームはこうしたディープサーチ課題を200問集めたテストセット(ベンチマーク)OpenDS-Worldを作り、12の最新モデルと人間に同じ課題を解かせた。ただし手渡した道具は違う — モデルには検索やブラウザといった調査ツールを、人間にはごく普通のブラウザ一つだけを。最も成績の良かったモデル(GPT-6 Astra)が39.0%、人間は1,000回の独立した試行で平均21.1%の正答にとどまった。どちらも半分にはるかに届かない。
論文が挙げる例が鮮やかだ。統計サイトOur World in Dataのあるページを思い浮かべてほしい。一つの画面のなかに説明文とチャートの図が並び、その下には同じ数値を含むデータファイルが複数の形式でぶら下がっている。
ここで「ある地域の、ある年の数値を一つ取り出せ」と言われたとしよう。その数字は画面にそのまま表示されているわけではない。地域を選び、期間を指定し、そうやって絞り込んだ表ファイルをダウンロードし、その中から必要な値を拾い上げて、ようやく答えが出る。人間なら何度かクリックし、目で追えば済む作業だ。
だがエージェントにとっては、一歩ごとが判断だ。「今、何を、どう開くべきか」を自分で決めなければならない迷路なのだ。クリックの一つひとつは見慣れたものでも、その見慣れた操作をどんな順番で何回つなげば答えに届くのかは、まったく別の問題である。そして現実のウェブは、たいていこうなっている。同じ事実が、ある場所ではグラフ画像として、ある場所ではポッドキャストの音声として、また別の場所ではダウンロードしないと開けないデータファイルとして、ばらばらに散らばっている。
既存のディープサーチ評価も、こうした難しさに目を背けてきたわけではない。画像・動画に含まれる情報、動的なインターフェースを操作しての探索、複数のウェブサイトを行き来する相互作用は、それぞれ個別に扱われてきた。オープンなウェブ検索、何度もやり取りを重ねる検索、複数の出典をつなぐ推論へと、評価の方式も着実に発展してきた。ただ、これらの難しさを一つの課題のなかにまとめて織り込んで評価した例はまれだった。媒体も形式もアクセス方法もばらばらな資料を「開いて取り出す」能力を、長い証拠の連鎖の上で統合的に要求する評価が、空白のままだったのだ。
OpenDS-Worldは、この複雑さを三つの軸に整理し、三つの軸が同時に噛み合うように課題を組み立てた。
先ほどのOur World in Dataのページは、まさにこの三つの軸を一画面に収めている。OpenDS-Worldが一線を画すのはここだ。三つの軸をそれぞれ別々に試すのではなく、一つのつながった証拠の連鎖のなかに一緒に埋め込んである、という点である。バーチャルツアーを回し、条件を入力し、データの束をダウンロードしてその中の数字を取り出す操作が、答えへ向かう道の節々に置かれている。
スコアを見る前に、何をどう測ったのかを押さえておこう。モデルに与えられるのは、動画・音声・テキストでできた質問だけだ — 正解も、そこへたどり着く証拠の経路も教えられない。その代わり、すべてのモデルに同じ道具(ウェブ検索、ブラウザ操作、取得した資料から証拠を取り出す処理)と同じルールを与える。人間にはLLMツールなしで、普通のブラウザだけを手渡す。答えは「一つに定まる事実」と合致するかで採点する。
この条件でまず目を引くのは、絶対スコアの低さだ。最高性能のモデルGPT-6 Astraが、200問全体で39.0%にとどまった。人間はさらに低い。50人が1問あたり5人ずつ独立に取り組んだ1,000回の試行で、平均21.1%だった。
この二つの数字を「AIが人間に勝った」と読んではいけない。そもそも条件の異なる別々の測定だからだ。39.0%は一つのモデルが200問を解いた正答率、21.1%は人間1,000回の試行の平均であり、しかも人間はLLMツールなしの素手で臨んでいる。モデルの方が高く出たのは、この課題群では自動探索と大量閲覧の優位がはっきり効くという意味であって、調査能力一般で人間を上回ったという意味ではない。そして1位が39%という絶対値は、「現実のウェブでの深い調査」がまだ遠い、という信号である。
人間の成績を問題ごとに切り分けてみると、難易度は均一ではない。半分を少し超える課題は5人のうち誰かは解けたが、残り半分近くは5人全員がお手上げだった。かけた時間まで含めて下の表にまとめた。
| 指標 | 値 | 読み方 |
|---|---|---|
| 5人中1人以上が成功 | 115問(57.5%) | 半分超の課題は「誰かは解ける」水準 |
| 5人全員が失敗 | 85問(42.5%) | それだけ多くの課題が誰にも突破されなかった |
| 試行あたり平均所要時間 | 約38.8分 | 1問にこれだけ食らいついた |
5人全員成功は1問(0.5%)だけで、「簡単な問題」は事実上なかった。過半数(3人以上)成功も29問(14.5%)にとどまり、「たいてい解ける」課題は15%に満たない。労働量で見ると1人あたり(20問)平均12.92時間・中央値9.44時間、合計で約646時間を要した。主観的難易度(0=易〜5=難)は平均3.884・中央値4で、4〜5点が65.5%(5点43.0%・4点22.5%)、0点(簡単)は一件もなかった。
スコアそのものより注目すべき観察が一つある。ツールをより多く呼び出し、実行時間をより多く使っても、正答率が必ず上がるわけではなかったという点だ。調査を自動化するときに最もありがちな直感 — 「もっとたくさん検索させれば、もっとよく見つけるだろう」 — を、データが裏切ったわけである。
なぜか。ここから先は結果を理解しようとする解釈だ(論文が直接測定したのは、呼び出し回数・時間が正答率と比例しないという事実までである)。いくつかの可能性が重なる。一つは、調査が鎖のようにつながっているという点だ。前の段階で出典を選び間違えれば、その先どれだけ漁っても「間違った答えを支える根拠」ばかりが積み上がる。検索量が増えることが、むしろ空振りの累積でありうる。だが別の説明も成り立つ。そもそも難しい問題だから呼び出しが増えたのかもしれないし、資料にアクセスできず同じ試行を繰り返して呼び出しだけが膨らんだのかもしれない。呼び出しが多いという事実一つでは、この三つを切り分けられない。どれなのかを見分けるには、「どの段階で何に詰まったか」を段階ごとに記録してみるしかない — この宿題は、後の「限界と残された問い」で再び顔を出す。
はっきりしているのは、たくさん漁ることではなく、きちんと漁ることが肝だという点だ。鍵は、どの出典を開くか、途中で正しいか確かめて進むか、いつ止めるか、といった判断にある。著者らもその原因を、情報源の選択・ツールの調整・検索戦略の調整・長い息の実行管理(long-horizon management、複数段階にわたる調査を最後までやり切る能力)の限界として読み解いている。コスト・終了タイミング・失敗からの復旧・予算といった側面の分析も併せて収められている。
こうしたスコアを引き出すには、課題そのものを特別に作らなければならない。OpenDS-World設計の核心は、課題を逆向きに組み立てるという点にある。ふつうは質問を先に作って答えを探すが、ここでは証拠の鎖を先に編んでから、その鎖をひっくり返して質問にする。言葉だけでは抽象的なので、説明のための仮想の事例を一つ立てて追ってみよう。ある動画に一つの建物が映っているとする。
第1段階 — 起点を定める(現実世界のアンカー、Real-World Anchor)。 すべての課題は、公開された動画一本から出発する。アノテーターが映像と音声を併せて分析し、「この動画からしか割り出せない」対象を一つ選び出す。この例では、画面に映るその建物だ。核心となる条件は、その建物が動画ページに書かれた文字を読むだけではわからず、必ず映像・音声を見て初めて特定されること。そうすれば課題が単純なテキスト検索では解けなくなる。こうして選んだ建物は、Wikidataの項目一つに一意に対応していなければならない。Wikidataは、世の中の人物・場所・物それぞれに固有の番号をつけて整理した公開データベースで、ここで一点に固定しておけば「その建物」が誰が見ても唯一の対象に定まり、あとで答えが曖昧になるのを防げる。
第2段階 — 鎖を伸ばす(オープンウェブ証拠の拡張、Open-Web Evidence Expansion)。 その建物から出発し、アノテーターが検索で次の対象を見つけてつなぐ。たとえばその建物の設計者(人物)を確認し、さらにその設計者の別の作品(対象)へと移る、といった具合だ。一節を渡るたびに、モダリティ・形式・アクセスの種類が多様になるよう、資料をわざと選ぶ。そして各節は一つの出典だけに頼らず、複数の独立した出典で突き合わせて確認する。この過程を、安定した終着点に届くまで続けていく。
第3段階 — 質問へひっくり返す(Question Inversion)。 最後の対象を正解に据え、ここまで積み上げた鎖全体を、互いに噛み合う条件の束に変えて質問を作る。途中の建物・設計者・作品は名前をそのまま出さず、先行する証拠から推し量らなければならない「間接的な指し示し」で隠す。手がかりの一つひとつは答えを直接指さないが、条件が重なるほど候補が絞られ、最終的に答え一つへ収束する。明示された単語をそのまま検索しても解けず、途中の対象どうしの隠れたつながりを復元して鎖を逆にたどることでしか解けない、というわけだ。
ここに検収が二重に付く。10人の独立したレビュアーが、保存された出典リンクで鎖を逆にたどりながら、証拠が妥当か(事実の正確性、複数出典の突き合わせ、節と節のつながりの根拠)と、課題が妥当か(質問の明確さ、条件の一貫性、答えの唯一性)を点検する。事実誤認・証拠不足・答えが複数になる場合は捨てる。このフィルターを通った200問だけが、最終的なベンチマークに残った。
評価は、12のモデルに同じ道具と同じルールを与えて回す。ツールへのアクセス権を揃えたからこそ、成績の差が「良い道具を使ったか」ではなく「どう調べたか」から来ている、と切り分けて見ることができる。だからこのスコアが測るのは、「一度の検索の腕前」ではない。複数の媒体・形式・操作を一歩ごとに調整しながら、長い鎖を最後まで引っ張り切る能力だ。実際、個別課題の82.5%が二つ以上のモダリティを混ぜて使っている。資料が何をどれだけ網羅しているかは、下の表に整理した。
| 項目 | 値 | 読み方 |
|---|---|---|
| アノテートされた資料項目 | 787件、1問あたり平均3.94件 | 1問を解くには平均で4か所近くを経なければならない |
| 網羅範囲 | 4モダリティ・42形式・7アクセス種別 | 媒体だけでなく、ファイル構造や操作方法まで広く敷いている |
| モダリティ出現率 | テキスト99.5%・画像44.5%・ビデオ35.5%・オーディオ16.0% | テキストはほぼ必ず絡むが、証拠はテキストだけにあるわけではない |
著者らがはっきり認める限界は、現在のエージェントがツールの調整と長い息の実行管理で揺れ続けている、という点だ。モデルごとに戦略が大きく分かれ、その戦略が正答率に結びつかないということは、まだ安定した方法が確立していないことを意味する。
設計から来る限界もある。一つは再現性だ。課題が生きたウェブを前提とする以上、時間が経てばページが変わったり消えたりしうる。研究チームは起点となる動画をアーカイブし、課題の入力と一緒に配布するとしているが、鎖の途中の外部資料まですべて固定するのは本質的に難しい。もう一つは答えの性質だ。答えが唯一の事実一つに落ちるよう削り込んだ設計は採点をきれいにするが、実際の調査でよくある「正解が複数あったり判断を要したりする」質問は評価の範囲外に置く。動画から出発するという共通形式そのものも、入力に特定の偏りを与える。
そして39%であれ21%であれ、このスコアは「どの段階でなぜ崩れるのか」までは教えてくれない。先に、呼び出し回数だけでは空振りなのか難易度なのかアクセス失敗なのかを切り分けられないと述べたが、まさにその見分けがここでも引っかかる。鎖のどの節で切れるのか、モダリティを切り替える途中で詰まるのか、インタラクティブな操作で詰まるのかは、この結果だけでは区別しにくい。その手がかりは、ドメイン別・属性別・動画の長さ別の分析を併せて見て初めて見えてくる。
この結果をONTLEの調査機能に当てはめたらどうなるか。ここから先は論文の結論ではなく、私たちの判断である。
ONTLEのAI PMにこんな指示が入ったとしよう。「競合サービス3社の料金プランを、四半期ごとの推移まで整理して。」現実には、この情報はある社では製品紹介資料PDF内の表に、ある社では地域と席数を入力しないと数字が出ない料金計算機の裏に、また別の社ではYouTubeデモ動画の画面字幕に、ばらばらに散らばっている。上位の検索リンクを要約するだけでは届かない、先に見た「複数の媒体+操作が必要なアクセス」が重なった課題だ。
おまけに「四半期ごとの推移」は過去の値を要求する。今の画面の価格ではなく、各四半期にどの地域・席数条件でいくらだったか、その数字をどこで見たのかまで残して、ようやく「推移」になる。条件が一つでもずれれば、基準の異なる数字を一つの行に並べることになってしまう。
そこで私たちが選んだ設計はこうだ(現在実装済みの方式ではなく、この論文を読んで立てた方向性である)。長い調査を一発で片づける賢いエージェントに任せるのではなく、節ごとに区切って検証するチェックポイント型のパイプラインとして組む。PMエージェントが四半期ごとの数値を取ってくるとき、各値に照会条件(地域・席数・時点)と出典リンクを一緒に付け、突き合わせ確認が取れていない値は「未確認」と表示して人間のPMに上げる。
重要なのは、埋められなかった場合をどう扱うかだ。特定の四半期の過去価格をどうしても見つけられなければ、空欄ではなく「取得失敗」として残し、出典は見つかったが席数条件が合わない数字なら「条件不一致」と別に表示する。そうすれば人間が何をさらに確認すべきか、ひと目でわかる。
こうすれば人間のPMは、全体を最初から漁る代わりに、表示された部分だけを見ればよい。レビュー時間が大きく減ると期待しているが、これはまだ私たちが検証すべき仮説であって、測定された効果ではない。少なくとも、自動化が人間の仕事を消すのではなく、人間が判断すべき地点をくっきり残す、という方向だけははっきりしている。
調査の自動化を点検するとき、実際に確かめてみるべき項目だ。
形式とは、資料が収められたファイル・データ構造のことです — ウェブページ、文書、画像・音声ファイル、そしてダウンロードして専用ツールで開かなければならないデータファイルまで、幅が広いです。アクセス種別とは、証拠を取り出すための操作方法の分類で、ページ移動・条件入力・期間指定・画面操作・構造化クエリ・リソースのダウンロードなどを指します。核心は、同じ「テキスト」でも、どんな構造にどんな方法でアクセスすべきかがそれぞれ違い、このベンチマークがその幅をわざと広く敷いている、という点です。