HappyWorld-Bench는 AI가 만들어낸 '가상 세계(월드 모델)'를 평가하는 벤치마크다. 묻는 것은 하나다. 그 세계가 겉보기에 그럴듯하냐가 아니라, 안으로 들어가 돌아다니고 건드리고 바꿔도 앞뒤가 맞게 버티느냐. 지금까지 따로 놀던 영상·공간·체화(로봇) 세 갈래를 하나의 잣대로 묶어, '겉보기 생성 품질'이 아니라 '상호작용의 신뢰성'을 본다는 점이 새롭다.
월드 모델(world model)은 에이전트(스스로 판단하고 행동하는 AI)가 "내가 이렇게 행동하면 환경이 어떻게 바뀔까"를 머릿속에서 미리 그려보는 내부 시뮬레이터다. 시행착오 없이 미래를 상상해 좋은 행동을 고를 수 있다는 것이 핵심 매력이다. 단, 이 상상이 쓸모 있으려면 전제가 하나 지켜져야 한다. 카메라가 움직여도 일관되고, 손을 대면 그럴듯하게 반응하며, 오래 돌아다니거나 갔던 곳을 다시 봐도 상태가 유지돼야 한다는 것. 한마디로 예측이 상호작용 속에서 버텨줘야 한다.
비유하자면 영화 세트장과 같다. 카메라 한 컷에서는 완벽한 저택처럼 보이지만, 문을 열고 들어가면 뒤가 베니어판일 수 있다. 우리가 원하는 것은 실제로 들어가 살 수 있고, 가구를 옮기면 그 자리가 비고, 다시 방에 돌아와도 아까 옮긴 가구가 그대로인 '진짜 집'이다.
문제는 지금까지 이 '진짜 집'을 재는 자가 조각나 있었다는 점이다. 어떤 벤치마크는 제어 가능성만, 어떤 것은 물리 타당성만, 어떤 것은 기억이나 장기 일관성만 따로 봤다. 게다가 영상·공간·체화 모델은 입력과 목표가 서로 달라 같은 잣대로 비교하기도 어려웠다. 그래서 "겉보기 품질을 넘어 실제로 신뢰할 만한 세계가 되는가"라는 질문에는 한 화면으로 답할 수 없었다.
HappyWorld-Bench는 '무엇을(W1-W6 능력 위계), 어떻게(세 개 트랙), 어떤 잣대로(이원 평가 체계)' 잴 것인가라는 세 질문에 순서대로 답하는 구조다. 이 셋이 맞물려 조각난 평가를 하나로 꿴다.
첫째, 무엇을 — W1-W6 능력 위계. 월드 모델링을 여섯 단계로 정의한다. 위로 갈수록 요구가 쌓인다.
| 단계 | 이름 | 핵심 질문 |
|---|---|---|
| W1 | 지각 세계 | 입력으로부터 의미·공간구조가 맞는 세계를 그려내는가 (짧은 시간의 연속성 포함) |
| W2 | 상호작용 세계 | 행동을 가하면 국소적 물리·인과에 맞게 상태가 바뀌는가 |
| W3 | 지속 세계 | 오래 돌아다니고, 가려지고, 다시 봐도 공간·사물 정체성이 유지되는가 |
| W4 | 프로그래머블 세계 | 특정 대상만 의도대로 수정되고 나머지는 그대로인가 |
| W5 | 확장 세계 | 여러 에이전트가 공유하는 무한 확장 세계를 유지·협응하는가 |
| W6 | 보편 세계 | 위 전부를 하나로 통합해 현실을 완전히 재현·일반화하는가 |
단순히 이미지를 잘 만드는 것(W1)을 넘어, 외부 개입에 그럴듯하게 반응하고(W2), 시간이 지나도 그 상태를 기억하며(W3), 나아가 의도대로 특정 부분만 수정하는(W4) 고차원적 신뢰성을 요구하는 것이 핵심이다. 여기에 다중 에이전트 확장(W5)과 보편 통합(W6)이 얹히는 '난이도 사다리'로 보면 된다.
둘째, 어떻게 — 세 개의 독립 트랙. 같은 W1-W6 분류를 쓰되, 모델 형태에 맞게 서로 다른 부분을 실측한다. 전체 규모는 다음과 같다.
| 트랙 | 무엇을 보는가 | 규모 |
|---|---|---|
| 영상 월드 모델 | 입력 이후의 관측이 공간·시간적으로 일관된가 | 프롬프트 1,138개 (데이터 W1-W5) |
| 공간 월드 모델 | 내보낸 장면이 유효한 물리 조작을 지원하는가 | 장면 300개 (평가 266 + 확장 34, W1-W5) |
| 체화 월드 모델 | 1인칭 시점에서 로봇·장면·물체가 행동에 따라 어떻게 변하는가 | 테스트 254개 (W2-W4) |
세 트랙을 합치면 인스턴스 1,692개로, 영상 14개·공간 9개·체화 8개 모델을 평가했다. 데이터는 로봇공학·도시·실내·자연·교통·게임·일상·산업·판타지까지 아홉 개 도메인에 걸쳐 있고, 상호작용 길이는 짧은 것부터 60초 시퀀스까지, 첫 프레임 해상도는 1MP 미만부터 8MP 초과까지 다양하다.
셋째, 어떤 잣대로 — 사람 평가와 자동 지표의 이원 체계. 세 트랙 모두에서 HappyWorld-Arena를 운영해 사람의 A/B 비교(두 결과를 나란히 놓고 어느 쪽이 나은지 고르기)를 모으고, 이를 트랙 내 Elo 점수로 환산한다. 체스 랭킹처럼 블라인드 대결 성적으로 전반적 인간 선호도를 요약하는 셈이다. 여기에 행동적 정확성을 잡아내는 자동 지표를 더해 특정 능력을 세밀하게 계측한다. 각 트랙은 영상의 시간적 일관성, 공간의 물리적 조작 가능성, 체화 에이전트의 행동 결과 예측 등 모델 특성에 맞게 W 능력 위계를 구체화해 살핀다.
논문이 초록·본문에서 밝힌 수치를 트랙별로 같은 틀(대표 성적 → 드러난 한계)로 옮긴다. 트랙마다 척도가 다르므로 합산하거나 서로 비교하지 않는다. 특히 영상 트랙의 Elo 점수와 공간 트랙의 정확도(%)는 단위 자체가 달라 "어느 트랙이 더 낫다"는 식으로 묶어 말할 수 없다.
영상 트랙. 선두 두 시스템의 Arena Elo가 각각 1263, 1206으로, 인간 선호도상 상대적 우위를 보였다. 그러나 능력별 평가에서는 가장 강한 시스템조차 세계 상태를 일관되게 유지하고 행동·개입에 의도대로 반응하는 데서 한계를 드러냈다. 특히 긴 롤아웃(AI가 스스로 다음 장면을 길게 이어 예측해나가는 과정)과 재방문 상황에서 일관성이 떨어졌다.
공간 트랙. 기존 공간 월드 모델은 물리 타당성·편집 가능성·장면 확장에서 부진했다. 최고 성적도 배치 정확도 70.14%, 편집 실행 73.33%에 그쳤다. 겉보기에 완결된 장면을 만들어도, 실제로 조작 가능한 기하 구조나 의도한 편집 반영에서는 격차가 상당했다는 뜻이다.
체화 트랙. 모델들은 여러 단계 행동에 걸쳐 상태를 보존하는 데 어려움을 겪었고, 바뀐 행동 조건이나 물리 규칙에 정확히 반응하지 못했다. 앞선 행동의 결과가 다음 장면으로 제대로 이어지지 않는, 영상·공간과 같은 결의 약점이다.
세 트랙이 함께 가리키는 결론은 분명하다. 생성 화질은 이미 인상적인 수준에 올라섰지만, 반복되는 변화 속에서 상태를 신뢰할 만하게 붙들어두는 능력은 세 갈래 모두 아직 미완이라는 것이다. 보기 좋은 세계와 믿을 수 있는 세계는 서로 다른 문제였다.
논문이 명시한 한계는 다음과 같다.
이 논문의 통찰은 AI 에이전트뿐 아니라, 복잡한 정보를 다루는 모든 '상태 관리' 업무에 적용된다. 예컨대 여러 이해관계자가 얽힌 프로젝트를 관리하는 상황을 떠올려보자. 요청·결정·의존관계·일정이 여러 턴에 걸쳐 오가는 동안, 앞서 정해둔 상태가 흔들림 없이 보존돼야 한다. 온틀이 고객 프로젝트마다 파견하는 AI 프로젝트 매니저가 하는 일이 바로 이 '프로젝트라는 세계의 상태를 유지하는' 일이다.
가장 시험해볼 만한 장면은 '결정 변경'이다. 고객이 어떤 결정을 뒤집었을 때, PM이 그 하나만 정확히 바꾸고 그와 무관한 기존 결정들은 건드리지 않은 채 이어지는 대화에서도 일관되게 유지하는가. 예를 들어 "배포 일정을 한 주 미루자"는 변경을 반영하면서, 그와 상관없는 '디자인 시안은 A안으로 확정' 같은 앞선 결정까지 슬그머니 흔들리면 안 된다. 이는 논문이 W4(특정 대상만 의도대로 수정하고 나머지는 그대로)와 W3(재방문해도 상태 유지)에서 본 능력과 맞닿아 있다. 응답이 매끈해 보여도 몇 스텝 뒤에 바꾸지 않기로 한 것까지 바뀌어 있다면, 그것이 바로 재방문에서 무너지는 세계다.
검증 방식도 빌려올 만하다. 사람이 두 산출물을 블라인드로 비교하는 선호 평가와, 특정 능력을 콕 집어 재는 자동 지표를 함께 쓰는 이원 구조는 온틀 산출물 QA에 그대로 옮길 수 있다. 요컨대 이 논문은 "예뻐 보이는 것"과 "믿을 수 있는 것"을 갈라서 재는 법을 보여준다. AI 에이전트를 제품에 태우는 모든 팀이 새겨둘 구분이다.
에이전트가 "이렇게 행동하면 환경이 어떻게 바뀔까"를 내부에서 예측하는 시뮬레이터입니다. 이 예측이 상호작용 속에서 일관되게 버텨야 실제 계획·행동 선택에 쓸모가 있습니다.
점수가 아니라 능력의 위계(사다리)입니다. 지각(W1)에서 상호작용(W2)·지속(W3)·프로그래머블(W4)·확장(W5)을 거쳐 보편 통합(W6)으로 요구가 누적됩니다. 실측 범위는 트랙마다 달라, 영상은 공개 결과 기준 W1-W4(데이터는 W1-W5), 공간은 W1-W5, 체화는 W2-W4까지 다룹니다.
아니요. 신뢰성 격차를 드러내는 진단 도구입니다. 화질이 아니라 상태 일관성과 행동·개입 반응의 정확성으로 평가해야 한다는 방향을 제시하며, 격차를 메우는 것은 후속 연구의 몫입니다.