テンセント ARC Lab が公開した GameHorizon Suite は、「AIがどれだけゲームをうまくプレイできるか」を測る物差しを新たに作った研究だ(arXiv:2609.25001, cs.CV, 2026-09-21)。既存のゲームベンチマークが一つ二つのタイトルに閉じこもっていたり、言語指示が抜け落ちていたり、一度走らせて成功・失敗を数えるだけの方式に頼っていたのに対し、この論文は短期・中期・長期の時間ホライズンに分けて測る標準化されたオフライン試験と、ステップごとに検証するオンライン試験を併せて打ち出す。以下は、公開された抜粋から直接確認できる事実だけを拾って整理した解説だ。伏せられていて確認できない数値は、そうと断ったうえで先に進めた。
ゲームはAIを試すのに格好の舞台だ。画面を読み取り、目標を細かく分解し、計画を立て、正確な操作に移す能力を一度に要求するからだ。しかもゲームの目標は時間スケールがまちまちだ。数秒でアイテムを一つ拾う、数分かかる戦闘に勝つ、一局全体を貫く戦略を遂行する。ところがこれらの目標はすべて、結局のところキー入力とマウス操作という同じ原子的な操作の流れとして現れる。論文はこの点を出発点に据える。
問題は、今のAIがこの能力を二つに分けて持っているところにある。一方には専用のゲームエージェントがいる。彼らは高い操作頻度を保つために軽量なビジョン・言語・行動（VLA）やアクションヘッド構造を使い、行動の軌跡を教師あり学習する。手は速いが、推論と計画の能力は犠牲になる。もう一方には汎用モデルがいる。計画は上手に立てるが、実際の操作実行能力が体系的に測定されたことがない。一部の汎用モデルが別途のエージェントハーネスを付けてポケモンをプレイした事例は報告されているが、ハーネスごとに設定が違うためモデル同士の比較が不可能だった。
そこで必要になるのが、両方に通じる一つの物差しだ。視覚・実行可能な行動・複数の時間ホライズンの自然言語目標を、モデルが整合させられるかを測り、しかも低コストで標準化され再現可能に、ハーネスや環境に振り回されずに測る物差し。論文は、既存のデータやベンチマークがここで三つの点で物足りないと指摘する。第一に、アノテーションのコストのせいでゲームの範囲が狭い。Minecraft 一本に閉じこもったり（MineDojo・STEVE-1）、Monster Hunter Wilds 一タイトルだけを使ったり（WildWorld）、単純なミニゲームにとどまったり（GameWorld）する。第二に、言語指示のアノテーションが貧弱だ。指示をまるごと省いた場合（NitroGen・GameVerse）があり、まばらにしか付けていない場合（Open-P2P）もある。第三に、オンライン評価を少数のロールアウトだけで回す。シーンあたり3回の試行（Lumine）やゲームあたりたった一度の実行（VideoGameBench）といった具合で、比較の信頼性が低く、一つの成功率の数字が互いに異なる失敗タイプを塗りつぶしてしまう。モデルが失敗したとき、現在の行動を読み違えたのか、次の目標を誤って推論したのか、目標を正しい操作に移せなかったのかが区別できない。
GameHorizon Suite は三つのピースから成る。料理にたとえると理解が早い。
まず GameHorizon-Annotator は、指示を自動で付けるパイプラインだ。操作を三層のピラミッドに積み上げる。短期ホライズンの操作（玉ねぎを刻む）、中期ホライズンの目標（ソースを作る）、長期ホライズンの戦略（決められた時間にコース料理を出す）。手の動きという原子的な行動は同じでも、時間スケールの違う目標に束ねられるわけだ。このパイプラインは下から上へ、細かく付けた指示を上位の段階へ抽象化しながら登っていく。人が一つひとつ手で付けていた既存の方式（Game-TARS）と違い、自動化・拡張ができる点が核心だ。
第二に、GameHorizon-Data はこのパイプラインで作った大規模データセットだ。熟練した人間のプレイヤーを募り、専用の録画・アップロードシステムで2K解像度のゲーム映像とタイムスタンプ付きのキーボード・マウス操作を同時に捕らえた。ウェブ映像から逆動力学モデル（IDM）やゲームパッド分割で行動を推定していた既存の方式は、実際に人が押した操作とずれることがあるが、このデータは本物の人間のプレイ記録だという点で、より信頼できる土台になる。ゲームフレーム・プレイヤーの行動・多ホライズン指示を一緒に整合させた初の公開データセットだ、というのが論文の主張だ。規模の面では、先行する D2E（300時間）や gaming-500-hours（500時間）を上回ると述べる。ただし GameHorizon-Data 自体の総録画時間と含まれるゲーム数の具体的な数字は、この抜粋では伏せられているため、ここでは特定の数値として断定しない。ゲームは AAA タイトルを中心に構成し（論文は、含まれるゲームの半数超が AAA である構成を「AAA 中心」と定義する）、オープンワールド・アクションRPG・競技型シューター・サンドボックス生存・クリーチャー収集型アドベンチャーといったジャンルを網羅する。
第三に、GameHorizon-Bench は試験そのものだ。二種類に分かれる。オフライントラックは標準化された筆記試験に近い。数千問の固定された設問を三つの主要タスクに束ねる。単一ホライズンの行動、多ホライズンの指示分解、交差ホライズンの一貫性。ここに、細かい診断用の派生タスクが加わる。オンライントラックは実技試験だが、まるごと一度で受けるのではなく、長期ホライズンのプレイを短期ホライズンのサブタスクに分けて受ける。順序が絡む因果型タスクと、順序が自由なテーマ型タスクを扱い、環境をリセットしながらステップごとに検証する。だから失敗が出たとき、正確にどの段階で崩れたのかを突き止められる。筆記試験（オフライン）のスコアが実際のプレイ実力（オンライン）を反映するかを照らし合わせる役割も担う。
論文はこのセットの上で、100万回を超えるモデル呼び出しによって複数のモデル群を評価した。汎用VLM、統合マルチモーダルモデル（UMM）、コーディング・GUIエージェント、専用ゲームエージェントが対象だ。
三つが目を引く。第一に、タスク難易度に意味のある階層が現れ、モデル間の能力差もはっきりした。第二に、オンライン成功率とオフラインスコアの間にはっきりとした正の相関が観察された。安価で反復可能なオフライン精度が、実際のプレイ能力の妥当な代理指標になりうるという意味だ。第三に、現在の行動を判断することよりも、未来の行動を計画し複雑な目標を分解するほうが難しかった。そして視覚情報だけを入れるときより、中期・長期ホライズンの指示を一緒に入れると未来の行動計画が改善した。改善幅の具体的なパーセントポイントの数値はこの抜粋では伏せられているため、方向性だけが確認される。要点は、多ホライズン指示が実際に役立つということだ。
もっとも注意すべき表現は「再現可能」だ。誤解しやすい。論文の言う再現性は、オフライントラックが固定された設問と標準化された採点基準を使うため、モデル同士の比較を低い分散で繰り返せるという意味だ。実行するたびに環境・ハーネスに振り回されてスコアが大きく揺れるオンラインロールアウトのノイズを減らすということであって、特定のモデルを何度も走らせれば毎回まったく同じスコアが出るという保証ではない。言語モデルの出力は依然として確率的であり、論文も実行ごとのスコアが同一だとは主張していない。標準化がなくすのは「比較のノイズ」であって「出力の確率性」ではない。
数値も慎重に見る必要がある。この抜粋では、GameHorizon-Data の総時間、含まれるゲーム数、指示の改善幅といった核心的な数字が伏せられている。だから「何時間分の、何本のゲーム」といった断定はここではしなかった。確認できるのは、D2E（300時間）・gaming-500-hours（500時間）を規模で上回るという比較の記述だけだ。また、オンラインとオフラインのスコアの関係は「正の相関」であって完全な一致ではない。オフラインが実技の代理指標になりうるということと、オフラインだけで実技を完全に代替できるということは別の話だ。
データが熟練した人間プレイヤーの録画に頼る点も諸刃の剣だ。本物の操作を収めて信頼性は高いが、それだけ収集が高くつき、初心者や非定型なプレイの多様性は相対的に乏しくなりうる。評価結果もまた、論文が選んだモデル群に限定されたスナップショットだという点を忘れてはならない。
ONTLE は、顧客プロジェクトごとに AI PM を派遣し、要求の受付からサービス公開まで管理する製品だ。この論文の骨格は、そうしたエージェント製品にかなり直接的に重なる。
第一に、「計画の能力と実行の能力は別物であり、しかも長期ホライズンの目標を分解するほうが、目の前の行動を決めることより難しい」という発見だ。AI PM でも難所は、ツール呼び出し一回ではなく、顧客の漠然とした要求を時間ホライズン別のサブ目標に分解する部分にある。この論文は、その難しさが錯覚ではなく、測定で確認される実体だと教えてくれる。
第二に、評価の設計だ。高くつき分散の大きいライブ実行だけでエージェントの品質を判断すると、失敗したときになぜ失敗したのか分からず、リグレッションの有無も揺れる。固定された設問セットで安く繰り返すオフラインのリグレッション試験と、ステップごとにリセットしてどのステップが壊れたかを突き止める実行試験とを分けておくほうがよい。一つの成功率の数字が互いに異なる失敗タイプを塗りつぶす、という指摘は、我々のワークフローのレポーティングにもそのまま警告になる。
第三に、多ホライズン指示が未来の行動計画を改善したという結果だ。エージェントに現在の画面だけを投げるのではなく、中期の目標と上位の戦略を構造化して一緒に与えると、次の行動の質が上がるという根拠だ。PM エージェントに目標の階層を明示的に引き渡す設計を裏づける。
いいえ。新しいゲームエージェントを作るのではなく、複数のモデルのゲームプレイ能力を標準化して測るデータと評価のセットを提案する研究です。物差しを作る側に近いものです。
いいえ。固定の設問・標準の採点でモデル間の比較を低い分散で繰り返せるという意味であって、モデル出力の確率性まで消すという意味ではありません。論文も実行ごとのスコアが同一だとは主張していません。
この解説が根拠にした抜粋では総時間とゲーム数が伏せられているため、特定の数値として断定していません。確認できるのは、D2E（300時間）・gaming-500-hours（500時間）を規模で上回るという比較の記述と、AAA ゲームを中心に構成したという点です。
論文はオンライン成功率とオフラインスコアの間にはっきりとした正の相関を観察し、オフラインが妥当な代理指標になりうると見ています。ただし「相関」であって完全な一致ではないので、オフラインだけで実技を完全に代替できるとは言えません。