Realtime-Venus는 사람과 기계가 서로 말을 끊고 끼어드는 자연스러운 대화를 실시간으로 처리하면서, 동시에 뒤에서 실제 작업(도구 실행)까지 비동기로 돌리는 풀듀플렉스(full-duplex, 양쪽이 동시에 말하고 들을 수 있는 방식) 상호작용 시스템이다. 9B(90억 파라미터) 크기의 모델 두 변형, 음성·영상용 Realtime-Venus-Omni와 음성 전용 Realtime-Venus-Audio로 구성된다. 세션마다 이 둘 중 하나를 쓰며, Omni는 그 자체로 음성과 영상을 함께 처리한다. 초록 기준으로, 여덟 개 영상 벤치마크 중 여섯 개에서 최고 점수를 기록했고, 사용자의 말 끊기(interruption)에 75% 응답하는 등 실시간 대화 제어 능력을 정량적으로 입증했다.
기존 음성 AI 비서와 대화해 본 사람이라면 익숙한 답답함이 있다. 내가 말을 다 끝낼 때까지 기다렸다가, 그제서야 처리하고, 한참 뒤에 대답한다. 마치 무전기처럼 "한 사람이 말하면 다른 사람은 듣기만" 하는 방식이다. 이걸 반이중(half-duplex)이라고 부른다.
하지만 사람의 실제 대화는 다르다. 상대가 말하는 도중에 "아 그렇구나", "응응" 같은 맞장구(backchannel)를 치고, 중요한 이야기가 나오면 중간에 끼어들어 방향을 튼다. 옆에서 다른 사람이 하는 말이나 배경 소음은 자연스럽게 걸러낸다. 이렇게 듣기와 말하기가 동시에 일어나는 것이 풀듀플렉스다.
여기에 더 큰 난제가 두 가지 얹힌다.
첫째, 영상까지 봐야 하는 상황이다. 음성 대화는 소리와 언어 단서만으로 되지만, 카메라로 세상을 보며 대화하려면 "지금 눈앞에서 벌어지는 변화하는 시각 맥락"에 대화를 붙들어 매야(grounding) 한다. 화면이 계속 흐르는데 그 흐름을 놓치면 안 된다.
둘째, 대화하면서 실제 일도 해야 한다. 사람 비서라면 대화를 이어가면서 동시에 검색을 하거나 예약을 잡는다. 그런데 AI가 무거운 추론이나 도구 실행에 들어가면 대화가 뚝 끊긴다. 초록은 바로 이 세 가지 — 끊김 없는 지각(continuous perception), 실시간 대화 제어, 백그라운드 작업 병행 — 를 한 시스템에서 풀려 한다.
Realtime-Venus의 설계는 몇 가지 비유로 풀어볼 수 있다.
1) 하나의 시간표(공유 인과적 타임라인)
이 시스템의 각 모델은 단순한 음성 인식기가 아니라 "완결된 대화 프론트엔드"다. 끊김 없는 지각, 대화 제어, 그리고 음성 자체를 직접 만들어내는 네이티브 음성 생성(native speech generation, 텍스트를 별도 음성합성기로 넘기지 않고 모델이 직접 소리를 뽑는 방식)을 하나로 묶는다.
이 묶음을 가능하게 하는 것이 공유 인과적 타임라인(shared causal timeline)이다. 회의록을 시간순으로 적는 서기를 떠올리면 된다. 사용자가 한 말, 모델이 낸 반응, 그리고 위임한 작업의 이벤트(delegation events)까지 전부 하나의 시간축 위에 순서대로 기록된다. "인과적"이라는 말은 미래를 미리 보지 않고 과거와 현재만 근거로 판단한다는 뜻으로, 실시간 스트리밍에 필수적인 성질이다.
2) 두 개의 순환 고리(듀얼 루프 런타임)
핵심 장치는 듀얼 루프 런타임(dual-loop runtime)이다. 식당의 홀 직원과 주방을 생각하면 쉽다.
손님이 주문하면 홀 직원은 "네, 준비할게요" 하고 계속 다른 대화를 이어간다. 주방(Harness)이 요리를 끝내면 그 결과를 다시 홀로 넘기고, 진행 중이던 대화에 자연스럽게 녹여 넣는다. 이것이 비동기 위임(asynchronous delegation)이다. 대화가 작업 때문에 멈추지 않는 이유가 여기 있다.
3) 공통 사후학습 레시피
두 모델(Omni, Audio)은 별도로 훈련됐지만 같은 사후학습(post-training) 방식을 공유한다. 초록에 따르면 세 재료를 섞는다. 오프라인 이해(offline understanding, 실시간이 아닌 자료로 기본 이해력 다지기), 능동적 풀듀플렉스 궤적(proactive full-duplex trajectories, 언제 끼어들고 언제 참을지 같은 실시간 대화 흐름 학습), 그리고 위임 워크플로(delegation workflows, 언제 뒷단에 일을 넘길지 학습)다.
초록이 제시한 수치는 다음과 같다. 아래 값은 모두 초록에 명시된 것만 옮긴 것이다.
영상 이해 (Realtime-Venus-Omni) — 평가된 온라인 모델 중, 여덟 개 영상 벤치마크 가운데 여섯 개에서 최고점.
| 벤치마크 | 점수 |
|---|---|
| StreamingBench | 70.2% |
| OVO-Bench | 64.7% |
| Daily-Omni | 81.3% |
음성 이해·구어 질의응답 (Realtime-Venus-Audio) — 여덟 개 벤치마크를 평가해 그중 네 개에서 단독 최고점, 한 개에서 공동 최고점(MMAR·MMSU·Speech TriviaQA에서는 다른 모델보다 낮다).
| 벤치마크 | 점수 |
|---|---|
| MMAU | 78.0% |
| MMAU-Pro | 63.2% |
| Llama Questions | 83.8% |
| Speech CMMLU | 67.8% |
| VoiceBench AlpacaEval | 4.81 (최고 점수와 동률) |
풀듀플렉스 상호작용 (Full-Duplex-Bench v1.5) — 여기가 이 논문의 핵심 차별점이다.
초록은 이 세 가지 지속률(continuation rate) 지표 모두에서 Gemini 3.1 Live와 GPT-4o를 능가한다고 밝힌다. 즉 "끼어들 때는 반응하고, 끼어들 필요 없을 때는 흔들리지 않고 대화를 이어가는" 분별력이 상용 최신 모델보다 낫다는 뜻이다. 무전기식 AI에서 벗어나 사람 대화의 리듬에 한 걸음 다가섰다는 점이 의미다.
초록만으로는 확인되지 않는 지점을 솔직히 정리한다.
온틀은 AI PM을 파견형으로 제공하는 서비스다. 이 논문의 구조는 우리가 지향하는 방향과 놀랍도록 겹친다.
첫째, 듀얼 루프는 곧 "일하는 PM"의 기본 골격이다. 좋은 PM은 회의(앞단 대화)를 하면서 동시에 뒤에서 자료 조사와 문서 작업(뒷단 실행)을 굴린다. 사용자와 대화하다 멈춰 "잠시만요, 작업 중입니다"로 침묵하는 에이전트는 비서로서 실격이다. 앞단 응답과 백그라운드 도구 실행을 분리하고, 끝난 결과를 대화에 자연스럽게 되꽂는 비동기 위임 패턴은 에이전트 제품 설계의 참고 표준이 될 만하다.
둘째, "끼어들지 않는 분별력"이 대화형 에이전트의 품질을 가른다. 배경 음성 86%, 다른 사람 말 88% 지속률이라는 지표는, 옆에서 나는 소리마다 반응해 대화를 망치지 않는 능력을 정량화한 것이다. 회의 자리에 들어간 AI PM이라면, 자기에게 한 말과 남들끼리 하는 말을 구분하는 이 능력이 실사용 만족도를 좌우한다.
셋째, 공유 타임라인은 에이전트 로그·RAG 설계에 힌트를 준다. 사용자 입력, 모델 출력, 위임 이벤트를 하나의 인과적 시간축에 기록한다는 발상은, 에이전트의 행동 이력과 검색(RAG) 맥락을 어떻게 일관되게 쌓을지에 대한 실용적 청사진이다. 무엇을 언제 알았고 언제 위임했는지가 한 줄기로 남으면, 사후 감사와 재현이 쉬워진다.
다만 온틀의 포지셔닝대로, 이 기술은 사람을 대체하는 도구가 아니라 반복 업무를 덜어 주는 손발로 읽어야 한다. 실시간으로 듣고 보고 위임하는 능력이 좋아질수록, 사람이 판단에 집중할 여유가 커진다는 것이 실제 제품의 가치다.
기존 음성비서는 대체로 반이중(무전기식)이라 사용자가 말을 끝내야 반응합니다. 풀듀플렉스는 듣기와 말하기가 동시에 일어나, 사용자가 말하는 도중 맞장구를 치거나 끼어들기에 실시간으로 반응할 수 있습니다. 초록 기준으로 이 시스템은 사용자 말 끊기에 75% 응답합니다.
Realtime-Venus-Omni는 음성·영상 상호작용용, Realtime-Venus-Audio는 음성 전용으로, 각각 9B 크기로 별도 훈련됩니다. 논문에 따르면 세션마다 이 둘 중 하나를 쓰며(둘을 동시에 굴리지 않습니다), Omni가 음성·영상을 함께 처리합니다. 두 변형은 같은 사후학습 레시피(오프라인 이해 + 풀듀플렉스 궤적 + 위임 워크플로)를 공유합니다.
대화를 멈추지 않고, 무거운 추론이나 도구 실행을 뒷단(Realtime-Venus-Harness)에서 따로 처리한 뒤 그 결과를 진행 중인 대화에 다시 녹여 넣는 방식입니다. 식당 홀 직원이 주문을 주방에 넘기고 손님과 계속 대화하다가, 요리가 나오면 자연스럽게 내오는 것과 같습니다.
초록은 Full-Duplex-Bench v1.5의 세 가지 대화 지속률 지표(맞장구·다른 사람 말·배경 음성)에서 Gemini 3.1 Live와 GPT-4o를 모두 능가한다고 밝힙니다. 다만 이는 특정 풀듀플렉스 지표에 한정된 비교이며, 모든 영역에서 전반적으로 우수하다는 뜻은 아닙니다.