Vidu S2는 이용자가 흐르는 영상에 실시간으로 끼어들어 대화하고 고칠 수 있는 영상 생성 모델입니다. 이렇게 생성 도중 실시간으로 개입하는 상호작용 자체는 전작 Vidu S1에서 이미 열렸고, S2는 그 위에서 두 방향을 한층 끌어올립니다. 하나는 상대의 반응에 맞춰 즉석에서 표정과 동작이 바뀌는 대화형 캐릭터(Vidu S2-Avatar), 다른 하나는 지금 송출 중인 영상 스트림의 옷·배경을 그 자리에서 바꾸는 실시간 편집(Vidu S2-Editing)입니다.
대다수의 영상 생성 AI는 '주문 제작' 방식입니다. 프롬프트라는 주문서를 넣으면 한참 뒤에 완성된 영상 한 편이 통째로 나옵니다. 품질은 좋아졌지만, 만드는 중간에 끼어들어 "여기서 손을 흔들게 해줘", "옷을 바꿔줘"라고 말하기는 어렵습니다.
이 방식은 두 가지 상황에서 특히 답답합니다.
Vidu 시리즈는 이 지점을 정면으로 겨냥해 왔습니다. 전작 Vidu S1이 이미 음성 지시로 생성 도중 언제든 개입하는 실시간 상호작용을 열었고, Vidu S2는 그 위에서 실시간 720p 화질·동적 참조·지시 수행·스트림 편집을 대폭 끌어올린 것이 핵심입니다.
Vidu S2를 이해하는 하나의 비유는 '녹화 방송'에서 '생방송'으로의 전환입니다. 녹화본은 편집이 끝난 뒤에야 손댈 수 있지만, 생방송은 나가는 도중에 개입해야 합니다. 논문은 이를 두 갈래로 나눠 접근합니다.
Avatar 모델은 실시간으로 움직이는 디지털 캐릭터를 만듭니다. 개선점은 세 가지입니다.
| 능력 | 쉽게 말하면 |
|---|---|
| 실시간 720p 생성 | 기다림 없이, 제법 선명한 화질로 바로바로 영상이 나온다 |
| 동적 레퍼런스(dynamic references) | 캐릭터가 참고하는 '기준 정보'를 도중에 언제든 갈아끼울 수 있다 |
| 강화된 지시 따르기(instruction following) | "춤춰봐" 같은 요구를 더 잘 알아듣고 수행한다 |
여기서 '동적 레퍼런스'가 특히 눈여겨볼 대목입니다. 기존 방식이 처음에 정한 참조 하나로 끝까지 갔다면, Vidu S2-Avatar는 생성 도중에 참조를 계속 바꿔 넣을 수 있습니다. 논문의 표현으로는 '언제든 업데이트 가능(updated at any moment)'하다는 것인데, 이 성질이 실시간 상호작용의 토대가 됩니다.
그런데 바로 여기서 흥미로운 긴장이 생깁니다. 스트리밍 영상은 앞 프레임과 뒤 프레임이 자연스럽게 이어지는 시각적 연속성이 생명입니다. 반면 '언제든 참조를 갈아끼운다'는 것은 흐름 한복판에 새 입력을 밀어 넣는 일입니다. 참조를 바꾸는 순간 인물이 갑자기 다른 사람처럼 튀거나 동작이 끊기면 실시간의 이점이 무너집니다. 즉 이 모델이 실제로 어렵게 푸는 문제는 '참조를 바꿀 수 있다'가 아니라, 참조가 바뀌어도 앞뒤가 이어지도록 연속성을 지키는 것입니다. 변경 가능성과 연속성이라는 서로 당기는 두 요구를 한 스트림 안에서 화해시키는 셈입니다.
Editing 모델은 이미 흐르고 있는 영상 스트림을 실시간으로 편집합니다. 명시된 편집 유형은 네 가지입니다.
후반 편집이 아니라 방송이 나가는 바로 그 순간에 배경과 의상을 바꾼다는 점에서, Avatar가 마주한 연속성 문제를 편집 쪽에서도 똑같이 안고 갑니다. 바꾸되 끊기지 않아야 한다는 것입니다.
논문은 여기에 더해 Avatar와 Editing 양쪽에서 실시간 '공간 영상' 생성의 실현 가능성(feasibility)을 탐구했다고 밝힙니다. 공간 영상은 통상 입체감(깊이)이 있어 VR·3D 디스플레이에서 몰입감 있게 보이는 영상을 뜻합니다. 다만 '가능성을 탐구했다'는 표현이므로, 완성된 기능이라기보다 확장 방향으로 읽는 편이 정확합니다.
성과는 명확하지만 절제되어 있습니다. 핵심 문장은 다음과 같습니다.
"Experiments show that Vidu S2 outperforms all baselines." (실험 결과 Vidu S2는 모든 비교 대상을 능가한다.)
그리고 누구나 직접 써볼 수 있는 온라인 데모가 공개되어 있습니다(https://vidu.com/vidu-stream). 실시간·상호작용 특성은 글로만 설명하기 어려운 종류라, 재생 가능한 데모를 함께 제공했다는 점 자체가 의미 있는 신호입니다.
한편 초록에는 구체적인 수치(정확한 지연 시간, 프레임 레이트, 벤치마크 점수, 향상 폭)가 없습니다. 그래서 확인 가능한 사실은 다음 정도입니다.
의미를 요약하면, Vidu S2는 영상 생성을 '완성본을 뽑아내는 도구'에서 '실시간으로 함께 조작하는 인터페이스'로 옮겨 온 Vidu 시리즈의 흐름을 한층 밀어붙이는 시도입니다. 영상 생성이 콘텐츠 제작 도구를 넘어 대화형 서비스의 구성 요소가 될 수 있음을 시사합니다.
이 '흐르는 도중에 끼어드는' 구조는 영상만의 문제가 아닙니다. 온틀(ONTLE)은 고객 프로젝트마다 AI 프로젝트 매니저를 파견하는 SaaS인데, AI PM이 하루에도 몇 번씩 마주하는 상황이 정확히 같은 모양입니다. 가상의 한 장면으로 따라가 보겠습니다.
수요일 오후 회의 중, 고객이 말합니다. "납기를 2주 앞당겨야 할 것 같아요." 이때 AI PM에게 벌어지는 일은 Vidu S2가 스트림 한복판에서 참조를 갈아끼우는 것과 구조가 닮았습니다.
Vidu와 공유하는 설계 문제는 2번에 있습니다. 두 시스템 모두 한 번에 다 만들고 끝나는 게 아니라, 진행 중인 상태에 새 입력이 끼어드는 스트리밍 구조이고, 그래서 '바꾸되 앞과 이어지게'라는 같은 숙제를 풉니다. 영상은 프레임이 튀지 않아야 하고, PM은 이미 한 약속과 진행분이 튀지 않아야 합니다. 참조를 갈아끼우는 동작이 곧 납기 변경 입력이고, 연속성 유지가 곧 기존 진행분을 살리는 판단입니다.
다만 비유가 성립하지 않는 지점이 분명합니다. Vidu의 연속성은 초 단위 프레임의 시각적 자연스러움이고 모델이 내부에서 자동으로 맞춥니다. 어긋난 프레임은 다시 렌더링하면 그만이라 되돌리기도 쌉니다. 반면 PM의 '연속성'은 며칠에 걸친 사람의 노동과 계약된 약속이라 한 번 버린 작업은 재렌더링되지 않고, 잘못 이은 계획은 시각적 어색함이 아니라 신뢰의 손상으로 남습니다. 무엇보다 영상은 연속성을 모델이 책임지지만, PM의 계획 변경은 4번처럼 사람의 명시적 확인을 반드시 거쳐야 합니다. 실시간이 곧 자동은 아니라는 것 — 여기서 영상 모델의 직관은 유용하되 그대로 옮겨서는 안 됩니다.
초록만으로는 확인할 수 없는 부분이 많습니다.
정리하면, 방향성과 능력의 목록은 분명하지만 '얼마나 잘, 얼마의 비용으로'라는 답은 데모와 본문에서 직접 검증해야 합니다.
음성 지시로 생성 도중 언제든 개입하는 실시간 상호작용은 Vidu S1부터 이미 지원됐습니다. S2는 그 위에서 실시간 720p 화질, 도중에 참조를 갈아끼우는 동적 레퍼런스, 강화된 지시 수행, 그리고 흐르는 스트림을 그 자리에서 고치는 실시간 편집(Editing)을 끌어올린 점이 핵심 차이입니다.
참조 정보를 도중에 바꾸는 것 자체보다, 바꾼 뒤에도 앞뒤 프레임이 끊기지 않게 시각적 연속성을 지키는 것이 어렵습니다. 변경 가능성과 연속성은 서로 당기는 요구라, 이 둘을 한 스트림 안에서 화해시키는 것이 실제 과제입니다.
스타일 렌더링, 의상 교체, 인물 교체, 배경 교체 네 가지가 명시돼 있으며, 이미 흐르고 있는 영상 스트림에 실시간으로 적용됩니다.
네. 재생 가능한 온라인 데모(https://vidu.com/vidu-stream)가 공개돼 있습니다. 실시간·상호작용 특성은 글보다 직접 체험으로 확인하는 편이 정확합니다.