실시간으로 영상을 만들어 주는 AI에게 "화면 속 자동차를 빨갛게 칠해 줘"라고 말했다고 하자. 색은 제대로 바뀌었는데 자동차가 엉뚱한 자리로 밀려나 있거나, 몇 초 뒤 "방금 그 색, 없던 걸로"라고 했는데 빨간색이 그대로 남아 있다면 어떨까. 화면은 멀쩡해 보여도 정작 시킨 일은 틀린 것이다.
StreamEval은 바로 이 질문을 던지는 벤치마크(성능 평가 기준)다. 예쁘게 그리는 능력과 시킨 대로 해내는 능력은 같은 것인가? 평가 대상은 "대화형 스트리밍 영상 생성" 모델이다. 영상을 한 번에 뽑고 끝내는 게 아니라, 영상을 계속 만들어 나가는 도중에 사용자의 새 요청을 실시간으로 받아들이는 모델을 말한다.
그 요청은 다섯 가지 과제로 나뉜다. 아바타와 대화하기, 아바타에게 동작을 시키기(퍼포먼스), 가상 공간을 만들기(월드 생성), 말로 지시해 영상을 편집하기(지시 편집), 참고 이미지에 맞춰 편집하기(레퍼런스 편집)다.
지금까지 영상 생성 평가는 대개 "완성된 클립 한 편이 얼마나 그럴듯한가"를 봤다. 화질·안정성을 보는 VBench·EvalCrafter, 장면이 설명과 들어맞는지 보는 T2V-CompBench가 그렇다. 모두 다 만들어진 영상 한 편을 놓고 채점한다.
스트리밍 생성은 다르다. 영상이 멈추지 않고 흐르는 동안 "시선을 왼쪽으로 돌려", "이 물체를 빨간색으로", "방금 편집은 취소" 같은 요청이 제각각의 타이밍으로 끼어든다. 요청마다 세 가지가 붙는다. 언제 반영할지(타이밍), 무엇을 건드릴지, 무엇은 그대로 둘지(보존)다. 기존 평가에는 이 셋을 과제별로 명시해 재는 틀이 없었다. StreamEval이 메우려는 공백이 여기다.
스트리밍을 겨냥한 평가가 없진 않았다. 다만 기존 것들은 각자 한 영역에 집중했고, StreamEval은 이들을 하나의 세션 규칙 아래 묶어 "무엇을 하고 무엇을 지킬지"를 과제마다 명시했다는 점이 다르다. 다루는 시스템 수도 더 넓다.
| 벤치마크 | 무엇을 보나 | 다루는 시스템 |
|---|---|---|
| WBench·WBench-Editing | 생성된 월드 안에서의 연속 편집과 보존 | 20개 |
| WorldMark | 월드 생성 계열 | 10개 |
| StreamAV-Bench | 오디오·영상의 상호작용 갱신 | 13개 |
| LongV2VBench | 긴 원본 스트림 편집 | — |
| VideoFDB | 대화 에이전트의 비언어적 시청각 단서 | — |
| StreamEval | 위 과제들을 한 세션 규약으로 통합 + 명시적 수행·보존 기준 | 37개 |
넓다고 모든 세부 역량을 덮는 건 아니라고 저자들은 선을 긋는다. 예컨대 VideoFDB가 보는 "사용자 영상을 실시간으로 지각하는" 능력은 StreamEval이 보는 지정 대화·퍼포먼스와 상보적이지 포함 관계가 아니다.
StreamEval은 테스트 하나하나를 "대본이 있는 세션"으로 짰다. 세션마다 초기 자산(인물 초상, 장면, 원본 영상)이 주어지고, 그 위로 요청이 시간표에 맞춰 하나씩 도착하며, "무엇을 바꾸고 무엇을 지킬지"의 정답표가 함께 묶인다.
앞의 자동차를 다시 보자. 편집 과제의 한 세션은 이렇게 흐른다. 흐르는 영상 속 자동차를 빨갛게 바꾸고, 나머지 장면은 건드리지 않은 채 그 상태를 한동안 유지한 뒤, 다음엔 "자동차 색 취소"를 반영한다. 핵심은 취소가 들어왔을 때다. 자동차 색은 원래대로 돌아가야 하지만, 자동차의 위치는 맨 처음이 아니라 지금 이 순간 영상 속 위치여야 한다. 영상이 그동안에도 계속 흘렀기 때문이다. 논문은 이 되돌리기를 "그 시점의 원본 상태(contemporaneous source) 복원"으로 정의한다 — 앞서 건 편집을 그 시점의 원본으로 되돌리는 것이지, 다른 편집은 살려 둔 채 특정 편집 하나만 골라 취소하는 '선택적 복원'이 아니다(후자는 §4.2에서 향후 확장 과제로 명시된다). 색 바꾸기(수행)·나머지 장면 지키기(보존)·그 시점 원본으로 되돌리기(복원)가 한 장면 안에 다 들어 있다.
입력이 처음부터 한꺼번에 주어지지 않는 것도 중요하다. 스케줄러가 세션 시계에 맞춰 요청을 하나씩 풀고, 편집 대상 원본 영상도 같은 시계 위에서 계속 전진한다.
채점은 "한 번의 요청"을 여러 각도에서 본다. 네 묶음, 그 아래 10개 지표(모두 0~100점)인데, 자동차 사례로 어떤 실패를 잡는 지표인지 보면 쉽다.
이 가운데 StreamEval이 특히 파고든 건 수행·보존, 그리고 복원이다. 복원("방금 그 색 취소"처럼 앞선 편집을 그 시점의 원본 상태로 되돌리기)은 Edit Success 안에서 함께 검사된다. 영어 명칭은 과제에 맞게 골라 적용한다. 예를 들어 Following은 아바타 퍼포먼스와 월드 생성에, Edit Success는 두 편집 과제에 쓰인다. 지표마다 "무엇을 재는가"가 정해져 있어서, 결과를 수행과 화질로 나눠 읽을 수 있다.
제목이 약속한 "예쁘게"와 "시킨 대로"의 간극은 한 모델 안에서 가장 선명하게 드러난다. MuseTalk 1.5는 Quality 95.34, Stability 97.11, Identity 88.44로 외형과 안정성은 최상위권이다. 그런데 A–V Sync는 38.09, Dialogue는 54.34로 내려간다. 보기엔 흠잡을 데 없는 "말하는 얼굴"이지만, 입과 소리를 맞추고 대화 요건을 채우는 쪽으로 가면 점수가 크게 떨어진다.
LiveAvatar FULL은 더 극단적이다. Stability 100.00에 A–V Sync 0.00. 다만 이 둘은 서로 다른 것을 재는 지표다. Stability는 화면이 프레임 사이에서 흔들리지 않는 정도를, A–V Sync는 입과 소리가 맞는지를 본다. 화면이 안정적이라는 점수와 지시에 반응했다는 점수는 같은 축이 아니다.
간극이 가장 크게 벌어지는 곳은 "요청 수행"이다. 아래는 각 과제에서 가장 높은 점수다(평균이 아니라 최고점).
셋은 서로 다른 과제·조건의 최고점이라 하나로 묶어 말하면 안 된다. Following은 "요청된 조작이 지정된 대상에 실제로 일어난 제어 이벤트의 비율", Edit Success는 "범위·활성 상태·마감·지속·보호 콘텐츠 검사를 모두 통과한 완전한 편집의 비율"이다. 풀어 쓰면, 아바타 퍼포먼스에서 가장 잘하는 모델조차 시킨 동작의 약 37%만 지정대로 해냈고, 레퍼런스 편집에서 가장 잘하는 모델조차 완전한 편집을 15%만 끝냈다.
단, 이 "수행은 낮고 화질은 높다"는 그림이 모든 과제에 그대로 성립하는 건 아니다. 아바타·퍼포먼스·월드 생성에서는 화질·안정성이 수행을 크게 웃돌지만, 지시 편집은 정반대다. 지시 편집 선두 Vidu S2 Editing은 Following 72.10·Edit Success 57.20으로 수행이 높은 대신 Quality 22.99·Stability 13.94로 화질·안정성이 내려앉는다(논문도 지시 편집의 낮은 화질·안정성을 짚는다). 즉 "예쁘게"와 "시킨 대로"가 어긋난다는 결론은 유지되지만, 어느 쪽이 처지는지는 과제가 가른다. 과제별로 어느 모델이 앞섰는지, 설정에 따라 점수가 어떻게 갈리는지는 아래 표로 모았다.
읽는 법. 점수는 실행 3회 평균 → 케이스 평균 → 다섯 길이 구간 평균 순으로 모으고, 다섯 길이에 똑같은 가중치를 준다(짧은 세션에서 점수를 몰아 받는 걸 막는 장치). 또 편집 과제의 "보고된 모델 수"는 전체 평가 대상이 아니라 Overall 5점 이상만 추린 발표용 부분집합 기준이다. 이 선별은 평가가 끝난 뒤에 이뤄졌다.
과제별 종합(Overall) 선두
| 과제 | 선두 모델 |
|---|---|
| 아바타 대화·퍼포먼스 | Vidu S2 Avatar |
| 월드 생성 | MemFlow |
| 지시 편집·레퍼런스 편집 | Vidu S2 Editing |
개별 지표로 내려가면 다른 이름이 올라온다. 아바타 퍼포먼스 Quality 1위는 LiveTalk, 지시 편집 Preservation 1위는 JoyAI-Video-Edit다. 한 모델이 모든 차원을 가져가는 구도가 아니다.
선두 모델 안에서도 간극은 보인다. 아바타 대화에서 Vidu S2 Avatar는 Quality 96.78, Identity 90.12로 외형은 높지만 Dialogue는 75.29다. 과제 Overall은 93.98인데, 이는 Q-Overall 88.98에 커스터마이즈 보너스 5점이 더해진 값이다(보너스는 아래 FAQ 참고).
고정 아바타 설정에서는 Identity를 시스템 자신의 첫 프레임과 비교한다.
| 고정 아바타 | Q-Overall | Identity |
|---|---|---|
| Tavus CVI Full | 86.65 | 89.89 |
| LiveAvatar FULL | 65.07 | 87.70 |
Edit Success는 "완전한 편집의 비율"이다. 한 번의 편집이 성공으로 인정되려면 네 가지를 한꺼번에 통과해야 한다. ① 지정한 대상만 골랐는가(범위) ② 바꾸지 말아야 할 곳을 지켰는가(보호 콘텐츠) ③ 정해진 기한 안에 반영했는가(마감) ④ 그 결과를 끝까지 유지했는가(지속). 네 조건을 모두 통과해야 1건으로 세므로, 하나만 어긋나도 그 편집은 성공으로 세지 않는다.
이게 개별 품질 점수와 다른 점이다. 화질(Quality)은 "얼마나 그럴듯한가"를 0~100의 연속값으로 매기지만, Edit Success는 "다 맞았나, 아닌가"의 통과·탈락에 가깝다. 그래서 화질은 높은데 편집 성공률은 그 아래로 크게 내려앉는 일이 생긴다. 그림은 멀쩡해도 네 조건 중 하나를 놓쳤다는 뜻이다.
다만 낮은 점수가 "왜" 낮은지까지는 종합 점수가 말해주지 않는다. 대상을 잘못 골랐는지, 지켜야 할 곳을 건드렸는지, 기한을 놓쳤는지는 따로 재야 안다. 예컨대 같은 편집 요청에 처음엔 대상만 지정하고, 다음엔 "이건 그대로 둬"라는 보존 조건을, 그다음엔 "몇 초 안에"라는 시간 조건을 차례로 얹으면서, 어느 조건이 붙을 때 성공률이 무너지는지 보는 식이다. 이건 논문의 결과가 아니라, 결과가 남긴 다음 질문이다.
결과 수치만 읽을 거라면 건너뛰어도 된다. 직접 돌려 보려는 사람을 위한 제작·검증 세부를 부록으로 접어 둔다.
**규모.** 37개 모델, 47개 과제 구성을 평가했다(한 모델이 여러 과제에 오르면 모델로는 한 번, 과제 구성으로는 과제마다 센다). 과제별 구성 수는 아바타 대화 15, 아바타 퍼포먼스 7, 월드 생성 17(텍스트 12 + 이미지 5), 지시 편집 5, 레퍼런스 편집 3이다. **케이스.** 과제마다 60개, 각 케이스는 15·30·60·120·300초 다섯 길이에 12개씩 고르게 깔린다. 300개 케이스는 240개 독립 소스 패밀리에 걸치고, 음성 턴을 같은 정체성의 텍스트로 바꾼 텍스트-대화 파생 60개가 기존 패밀리를 재사용한다. 한 번 다 돌리면 순수 스트리밍 생성만 525분, 계획된 온라인 이벤트가 1,347개다. 케이스·모델마다 독립 실행을 3회 한다. **집계.** 과제 종합(Q-Overall)은 적용 지표의 동등가중 평균이다(월드 생성은 네 지표, 나머지는 다섯 지표). 아바타 두 과제에는 커스터마이즈 보너스가 붙어 순위용 Overall이 최대 105까지 오른다(FAQ 참고). **제작.** 세션 목표·타이밍·보호 속성·기대 결과 초안은 Qwen3.8-Max가 쓰고, 각 체크포인트에서 무엇을 확립·유지·취소·복원할지 적은 "오라클"은 사람이 저작한다. 인물 초상·시각 레퍼런스는 GPT-Image-2와 Qwen-Image로 합성하고(실제 인물이 아니라 합성 성인 또는 양식화된 가상 캐릭터), 음성은 Qwen3.5-Omni로 만든다. 편집 원본은 Wikimedia Commons·NASA·Blender Studio 등의 라이선스 실사·애니메이션과 벤치마크 생성 장면을 쓰며, 루프나 속도 변경 없이 세션 전체를 덮는다. **검증.** 합성 음성은 Qwen3-ASR 받아쓰기가 대본 대비 정규화 단어오류율 0.25 이하여야 하고, 이미지는 Qwen3.8-Max가 선명도·결함을 감사한다. 자동 채점 심판은 클래스당 거짓양성 5%·거짓음성 10%·미결정 10% 이하라는 기준으로 보정하며, Identity는 두 심판(Qwen3.8-Max-0902, Qwen3-VL-Plus) 점수 중 더 낮은 쪽을 택해 같은 화풍으로 인물이 바뀌는 걸 막는다.
저자들이 밝힌 한계부터 보자. A–V Sync는 입 벌림과 음성 포락선의 상관(≥0.3)으로 재는데, 소스를 성기게 샘플링(대화 500ms, 퍼포먼스 250ms)하므로 아주 미세한 립싱크 오차는 이 지표의 분해능 밖이다. 또 심판이 확신하지 못한 "미결정" 항목은 하한 0·상한 100의 구간을 만드는데, 표에는 하한을 싣는다. 확신 못 한 항목이 많을수록 그 모델 점수가 보수적으로(낮게) 찍힌다는 뜻이다.
여기에 몇 가지 더 짚어 둘 지점이 있다. 첫째, 대본·오라클 초안과 이미지 감사를 모두 Qwen 계열이 맡는다. 특정 모델 패밀리의 선호나 사각지대가 평가 설계에 스며들 여지가 구조적으로 있다(저자들은 심판 보정으로 이를 누르려 한다). 둘째, 인물은 전부 합성이고 편집 소스는 라이선스 실사·애니메이션·생성 장면이다. 사용자가 자기 얼굴·자기 영상을 넣는 실제 환경과는 간극이 남는다. 셋째, 이건 특정 시점의 리더보드 스냅샷이다. 모델이 빠르게 갱신되는 분야라 절대 점수보다 "화질과 수행이 나란히 가지 않으며, 과제에 따라 어느 쪽이 처지는지도 달라진다"는 구조적 결론이 더 오래 간다.
온틀은 사람을 더 뽑기 어려운 소기업·1인 창업가의 반복 업무를 AI로 거드는 서비스다. 다루는 건 영상이 아니라 문서·일정·예산 같은 업무지만, "시간차로 들어오는 지시를 반영하면서 이미 확정된 것은 지킨다"는 평가 구조는 그대로 옮겨 쓸 수 있다. 세션 설계(초기 상태 + 시간표대로 도착하는 요청 + 체크포인트별 "확립·유지·취소·복원" 정답표)가 영상이든 업무든 같기 때문이다. 단, 자동 채점의 기준은 업무 도메인에서 새로 잡아야 한다.
온틀 자체 QA에 넣어 볼 세션 하나를 적어 본다.
정답은 분명하다. 마지막 요청에서 되돌릴 것은 '예산 감축' 하나뿐이고(예산은 감축 직전 값으로 복원), A안 확정과 새로 더한 B 채널은 그대로 둬야 한다. StreamEval 식으로 옮기면 Following(지정한 것만 바꿨는가)·Preservation(확정 사항을 지켰는가)·Edit Success(취소·복원·추가가 조건을 다 통과했는가)를 세션 단위로 채점하는 것이다. 다만 짚어 둘 게 있다. 이렇게 다른 변경(A안·B 채널)을 살려 둔 채 특정 변경 하나만 골라 되돌리는 '선택적 복원'은 StreamEval이 지금 평가하는 범위가 아니라 §4.2에서 향후 확장 과제로 명시한 영역이다. 현재 벤치마크가 재는 복원은 앞선 편집을 그 시점의 원본 상태로 되돌리는 쪽이다. 그러니 온틀 QA가 이 선택적 복원까지 겨냥한다면 현재 벤치마크보다 한 발 더 나간 셈이다.
여기서 확인하는 건 산출물이 보기 좋은가가 아니라, 여러 차례 지시 속에서 확정 사항을 보존하고 특정 변경만 골라 취소했는가다. 취소·복원은 사람도 자주 틀리는 자리다. 온틀의 QA가 보기 좋게 정리된 보고서를 확인하는 데서 멈추지 않고 이런 세션을 돌려 본다면, 바로 그 한 가지 능력만큼은 수치로 답할 수 있다.
자기 서비스(대화형·에이전트·스트리밍 제품)에 이 벤치마크의 틀을 적용한다면, 바로 점검할 항목이다.
아바타 대화·퍼포먼스 두 과제에만 "커스터마이즈 보너스"가 있다. 사용자가 원하는 아바타를 넣을 수 있는 시스템은 +5점을 받아 순위용 Overall이 최대 105까지 가고, 공급사가 고정한 아바타만 쓰는 시스템은 0점이다. 이 보너스는 인터페이스 역량을 표시할 뿐 0~100 척도의 Q-Overall(기저 지표) 점수 자체는 바꾸지 않는다. 그래서 Q-Overall과 순위용 Overall은 구분해서 봐야 한다.
리더보드는 https://streameval.ai 에 있고, 논문 발췌에는 GitHub(github.com/StreamEval/StreamEval)와 HuggingFace 데이터셋(huggingface.co/datasets/StreamEval/StreamEval) 링크가 함께 적혀 있다. 타임라인·오라클·미디어를 포함한 모든 케이스를 공개하겠다고 밝혔고, 편집 소스의 제3자 자산은 자산별 라이선스·출처가 데이터 릴리스에 제공된다.