텐센트 ARC Lab이 공개한 GameHorizon Suite는 "AI가 게임을 얼마나 잘 하는가"를 재는 자를 새로 만든 작업이다(arXiv:2609.25001, cs.CV, 2026-09-21). 기존 게임 벤치마크가 한두 개 타이틀에 갇혀 있거나, 언어 지시가 빠져 있거나, 한 번 돌려 성공·실패만 세는 방식에 기대던 것을 두고, 이 논문은 짧은·중간·긴 시간 지평을 나눠 재는 표준화된 오프라인 시험과, 단계별로 되짚는 온라인 시험을 함께 내놓는다. 아래는 공개된 발췌본에서 직접 확인되는 사실만 추려 정리한 해설이다. 가려져 있어 확인이 안 되는 수치는 그렇다고 밝히고 넘어갔다.
게임은 AI를 시험하기 좋은 무대다. 화면을 읽고, 목표를 잘게 쪼개고, 계획을 세우고, 정확한 조작으로 옮기는 능력을 한자리에서 요구하기 때문이다. 게다가 게임의 목표는 시간 규모가 제각각이다. 몇 초 안에 아이템 하나 줍기, 몇 분짜리 전투 이기기, 한 판 전체를 관통하는 전략 실행하기. 그런데 이 모든 목표는 결국 키 입력과 마우스 움직임이라는 같은 원자적 조작의 흐름으로 나타난다. 논문은 이 점을 출발점으로 삼는다.
문제는 지금의 AI가 이 능력을 두 갈래로 나눠 가지고 있다는 데 있다. 한쪽에는 전용 게임 에이전트가 있다. 이들은 높은 조작 빈도를 유지하려고 가벼운 비전-언어-행동(VLA)이나 액션 헤드 구조를 쓰고, 행동 궤적을 지도학습한다. 손은 빠르지만 추론과 계획 능력은 희생된다. 다른 한쪽에는 범용 모델이 있다. 계획은 잘 세우지만 실제 조작 실행 능력이 체계적으로 측정된 적이 없다. 일부 범용 모델이 별도의 에이전트 하네스를 붙여 포켓몬을 플레이한 사례가 보고됐지만, 하네스마다 설정이 달라 모델끼리 비교가 불가능했다.
그래서 필요한 것이 두 갈래 모두에게 통하는 하나의 잣대다. 시각·실행 가능한 행동·여러 시간 지평의 자연어 목표를 모델이 정렬해내는지를 재고, 그것도 저비용·표준화·재현 가능하게, 하네스나 환경에 휘둘리지 않고 재는 잣대. 논문은 기존 데이터·벤치마크가 여기서 세 가지로 부족하다고 짚는다. 첫째, 주석 비용 탓에 게임 범위가 좁다. 마인크래프트 한 게임에 갇히거나(MineDojo·STEVE-1), 몬스터 헌터 와일즈 한 타이틀만 쓰거나(WildWorld), 단순 미니게임에 머문다(GameWorld). 둘째, 언어 지시 주석이 빈약하다. 지시를 아예 뺀 경우(NitroGen·GameVerse)가 있고, 희소하게만 붙인 경우(Open-P2P)도 있다. 셋째, 온라인 평가를 소수 롤아웃으로만 돌린다. 장면당 3회 시도(Lumine)나 게임당 단 한 번 실행(VideoGameBench) 같은 식이라 비교의 신뢰도가 낮고, 하나의 성공률 숫자가 서로 다른 실패 유형을 뭉개버린다. 모델이 실패했을 때 현재 행동을 잘못 읽은 건지, 다음 목표를 틀리게 추론한 건지, 목표를 올바른 조작으로 옮기지 못한 건지 구분되지 않는다.
GameHorizon Suite는 세 조각으로 이뤄진다. 요리에 빗대면 이해가 빠르다.
먼저 GameHorizon-Annotator는 지시를 자동으로 붙이는 파이프라인이다. 조작을 세 층의 피라미드로 쌓는다. 짧은 지평의 조작(양파를 썬다), 중간 지평의 목표(소스를 만든다), 긴 지평의 전략(정해진 시간에 코스 요리를 낸다). 손동작이라는 원자적 행동은 같지만 시간 규모가 다른 목표로 묶이는 셈이다. 이 파이프라인은 아래에서 위로, 잘게 붙인 지시를 상위 단계로 추상화하며 올라간다. 사람이 일일이 손으로 붙이던 기존 방식(Game-TARS)과 달리 자동화·확장이 된다는 점이 핵심이다.
둘째, GameHorizon-Data는 이 파이프라인으로 만든 대규모 데이터셋이다. 숙련된 사람 플레이어를 모집해, 전용 녹화·업로드 시스템으로 2K 해상도 게임 영상과 타임스탬프가 찍힌 키보드·마우스 조작을 동시에 잡아냈다. 웹 영상에서 역동역학모델(IDM)이나 게임패드 분할로 행동을 추정하던 기존 방식은 실제 사람이 누른 조작과 어긋날 수 있는데, 이 데이터는 진짜 사람의 플레이 기록이라는 점에서 더 믿을 만한 바탕이 된다. 게임 프레임·플레이어 행동·다중 지평 지시를 함께 정렬한 최초의 공개 데이터셋이라는 게 논문의 주장이다. 규모 면에서는 앞선 D2E(300시간)나 gaming-500-hours(500시간)를 넘어선다고 밝힌다. 다만 GameHorizon-Data 자체의 총 녹화 시간과 포함된 게임 수의 구체 숫자는 이 발췌본에서 가려져 있어 여기서 특정 수치로 못 박지 않는다. 게임은 AAA 타이틀을 중심으로 구성했고(논문은 포함 게임의 절반 초과가 AAA인 구성을 'AAA 중심'으로 정의한다), 오픈월드·액션 RPG·경쟁형 슈터·샌드박스 생존·크리처 수집형 어드벤처 같은 장르를 아우른다.
셋째, GameHorizon-Bench는 시험 그 자체다. 두 종류로 나뉜다. 오프라인 트랙은 표준화된 필기시험에 가깝다. 수천 개의 고정 문항을 세 가지 주요 과제로 묶는다. 단일 지평 행동, 다중 지평 지시 분해, 교차 지평 일관성. 여기에 세밀한 진단용 변형 과제가 더해진다. 온라인 트랙은 실기시험이되, 통째로 한 번 보는 게 아니라 긴 지평의 플레이를 짧은 지평의 하위 과제로 쪼개 본다. 순서가 걸린 인과형 과제와 순서가 자유로운 주제형 과제를 다루고, 환경을 리셋해가며 단계별로 검증한다. 그래서 실패가 났을 때 정확히 어느 단계에서 무너졌는지 짚어낼 수 있다. 필기시험(오프라인) 점수가 실제 플레이 실력(온라인)을 반영하는지 대조하는 역할도 한다.
논문은 이 세트 위에서 100만 회가 넘는 모델 호출로 여러 모델군을 평가했다. 범용 VLM, 통합 멀티모달 모델(UMM), 코딩·GUI 에이전트, 전용 게임 에이전트가 대상이다.
세 가지가 눈에 띈다. 첫째, 과제 난이도에 의미 있는 위계가 드러났고 모델 간 능력차도 뚜렷했다. 둘째, 온라인 성공률과 오프라인 점수 사이에 뚜렷한 양의 연관이 관찰됐다. 저렴하고 반복 가능한 오프라인 정확도가 실제 플레이 능력의 타당한 대리 지표가 될 수 있다는 뜻이다. 셋째, 현재 행동을 판단하는 것보다 미래 행동을 계획하고 복잡한 목표를 분해하는 쪽이 더 어려웠다. 그리고 시각 정보만 넣을 때보다 중간·긴 지평 지시를 함께 넣으면 미래 행동 계획이 개선됐다. 개선 폭의 구체적인 퍼센트포인트 수치는 이 발췌본에서 가려져 있어 방향성만 확인된다. 요지는 다중 지평 지시가 실제로 도움이 된다는 것이다.
가장 조심할 표현은 '재현 가능'이다. 오해하기 쉽다. 논문이 말하는 재현성은 오프라인 트랙이 고정된 문항과 표준화된 채점 기준을 쓰기 때문에 모델들끼리의 비교를 낮은 분산으로 반복할 수 있다는 뜻이다. 실행할 때마다 환경·하네스에 휘둘려 점수가 크게 흔들리는 온라인 롤아웃의 잡음을 줄인다는 것이지, 특정 모델을 여러 번 돌리면 매번 똑같은 점수가 나온다는 보장이 아니다. 언어모델의 출력은 여전히 확률적이고, 논문도 매 실행의 점수가 동일하다고 주장하지 않는다. 표준화가 없애는 것은 '비교의 잡음'이지 '출력의 확률성'이 아니다.
수치도 신중히 봐야 한다. 이 발췌본에는 GameHorizon-Data의 총 시간, 포함 게임 수, 지시 개선 폭 같은 핵심 숫자들이 가려져 있다. 그래서 "몇 시간짜리, 몇 개 게임" 같은 단정은 여기서 하지 않았다. 확인 가능한 것은 D2E(300시간)·gaming-500-hours(500시간)를 규모로 넘어선다는 비교 진술뿐이다. 또한 온라인과 오프라인 점수의 관계는 '양의 연관'이지 완벽한 일치가 아니다. 오프라인이 실기의 대리 지표가 될 수 있다는 것과, 오프라인만으로 실기를 완전히 대신한다는 것은 다른 이야기다.
데이터가 숙련된 사람 플레이어의 녹화에 기대는 점도 양날이다. 진짜 조작을 담아 신뢰도는 높지만, 그만큼 수집이 비싸고 초보자·비정형 플레이의 다양성은 상대적으로 덜 담길 수 있다. 평가 결과 역시 논문이 고른 모델군에 한정된 스냅숏이라는 점을 잊지 말아야 한다.
온틀은 고객 프로젝트마다 AI PM을 파견해 요청 접수부터 서비스 노출까지 관리하는 제품이다. 이 논문의 뼈대는 그런 에이전트 제품에 꽤 직접적으로 겹친다.
첫째, "계획 능력과 실행 능력은 다르다, 그리고 긴 지평의 목표를 분해하는 쪽이 당장의 행동을 정하는 것보다 어렵다"는 발견이다. AI PM에서도 어려운 곳은 도구 호출 한 번이 아니라, 고객의 뭉툭한 요청을 시간 지평별 하위 목표로 쪼개는 부분이다. 이 논문은 그 어려움이 착각이 아니라 측정으로 확인되는 실체라고 말해준다.
둘째, 평가 설계다. 비싸고 분산 큰 라이브 실행만으로 에이전트 품질을 판단하면, 실패했을 때 왜 실패했는지 알 수 없고 회귀 여부도 흔들린다. 고정 문항 세트로 싸게 반복하는 오프라인 회귀 시험과, 단계마다 리셋해 어느 스텝이 깨졌는지 짚는 실행 시험을 나눠 두는 편이 낫다. 하나의 성공률 숫자가 서로 다른 실패 유형을 뭉갠다는 지적은, 우리 워크플로 리포팅에도 그대로 경고가 된다.
셋째, 다중 지평 지시가 미래 행동 계획을 개선했다는 결과다. 에이전트에게 현재 화면만 던지지 말고, 중간 목표와 상위 전략을 구조화해 함께 주면 다음 행동의 질이 올라간다는 근거다. PM 에이전트에 목표 위계를 명시적으로 물려주는 설계를 뒷받침한다.
아닙니다. 새 게임 에이전트를 만드는 게 아니라, 여러 모델의 게임 플레이 능력을 표준화해 재는 데이터와 평가 세트를 제안하는 작업입니다. 잣대를 만드는 쪽에 가깝습니다.
아닙니다. 고정 문항·표준 채점으로 모델 간 비교를 낮은 분산으로 반복할 수 있다는 뜻이지, 모델 출력의 확률성까지 없앤다는 뜻은 아닙니다. 논문도 매 실행 점수가 동일하다고 주장하지 않습니다.
이 해설이 근거로 삼은 발췌본에서는 총 시간과 게임 수가 가려져 있어 특정 수치로 단정하지 않았습니다. 확인되는 것은 D2E(300시간)·gaming-500-hours(500시간)를 규모로 넘어선다는 비교 진술과, AAA 게임을 중심으로 구성했다는 점입니다.
논문은 온라인 성공률과 오프라인 점수 사이에 뚜렷한 양의 연관을 관찰했고, 오프라인이 타당한 대리 지표가 될 수 있다고 봅니다. 다만 '연관'이지 완벽한 일치는 아니므로, 오프라인만으로 실기를 완전히 대신한다고 볼 수는 없습니다.