턴을 주고받는 대화는 익숙하다. 사용자가 말을 끝내면 모델이 답하고, 다시 사용자가 말한다. 텐센트 훈위안 음성팀과 저장대학교·상하이자오퉁대 등이 낸 기술 보고서 「Multimodal Duplex Interaction Agent」(arXiv 2609.08977, v3, 2026-09-12)는 이 순서 자체를 흔든다. 이들이 만든 Gander는 사용자가 말하는 도중에도 계속 듣고, 필요하면 중간 피드백을 주거나 되묻고, 사용자가 응답을 끊고 끼어드는 것도 허용한다. 먼저 오해 하나를 걷어내자. Gander는 "똑똑한 모델 하나가 잡담부터 복잡한 업무까지 전부 처리한다"는 구조가 아니다. 실시간 상호작용을 맡는 모델과 깊은 추론을 맡는 별도 백엔드를 분리해 붙인 시스템이다.
한 가지 더 정리하고 넘어가는 게 좋겠다. 이 보고서의 초기 버전(v1)은 제목이 「Omni Interaction Agent Technical Report」였고, 현재 최신판(v3)에서 「Multimodal Duplex Interaction Agent」로 바뀌었다. 아래 내용은 최신 v3 기준이다.
지금의 사람-AI 대화는 대부분 텍스트 기반의 순차 교대(turn-by-turn)로 짜여 있다. 사용자가 지시하고, 모델이 답하고, 다시 사용자가 지시하는 이산적인 사이클이다. 사람끼리의 대화는 이렇게 딱딱 끊기지 않는다. 듣는 동안 "응", "그래서?" 같은 짧은 맞장구를 넣고, 상대 말이 끝나기 전에 끼어들기도 하고, 주변 상황을 보며 말을 걸거나 방향을 튼다. 논문은 AI도 이런 연속적이고 양방향적인 소통에 가까워져야 한다고 본다.
저자들은 그런 자연스러운 상호작용에 세 가지 능력이 함께 필요하다고 정리한다. 첫째, 음성·시각·텍스트에서 정보를 지각하고 이해하는 능력. 둘째, 지연이 낮고 양방향으로 이어지는 실시간 소통 능력. 셋째, 맥락 추론·계획·도구 사용·과제 실행 같은 에이전트 능력이다. 그러면서 두 가지 질문을 던진다. 하나, 실시간성은 VAD(음성 활동 감지)나 ASR(음성 인식) 같은 기존 모듈을 이어 붙여 얼마나 달성할 수 있고, 어디까지는 모델 자체의 고유 능력으로 다뤄야 하는가. 둘, 실시간 응답에 필요한 낮은 지연과 복잡한 과제에 필요한 긴 호흡의 추론을, 하나의 시스템 안에서 어떻게 양립시키는가.
논문의 입장은 분명하다. 상호작용의 타이밍을 외부 파이프라인에 맡기지 말고 모델 안에서 다루자는 것이다. 끼어들기, 배경 소음, 여러 사람이 동시에 말하는 상황, 짧은 맞장구 같은 행동을 독립적으로 설계된 모듈들로 조율하려면 어긋나기 쉽기 때문이다.
Gander의 뼈대는 두 가지다.
첫째는 소뇌-대뇌(Cerebellum-Brain) 협업 구조다. 이름 그대로 역할을 나눴다. 소뇌(Cerebellum)는 실시간 멀티모달 상호작용과 대화 응답을 맡는다. 사람으로 치면 반사적으로 반응하고 말의 흐름을 유지하는 부분이다. 대뇌(Brain)는 복잡한 계획과 에이전트 과제 실행 같은 무거운 추론을 맡는다. 소뇌는 대화의 살아 있는 맥락을 계속 쥐고 있다가, 깊은 판단이 필요하면 도구 호출(tool call)로 대뇌를 부른다. 이때 그동안 쌓인 텍스트 맥락, 음성 전사, 시각 프레임을 함께 넘긴다. 대뇌는 이를 받아 비동기로 더 깊게 추론하고, 중간 요약이나 계획, 최종 결과를 소뇌에 돌려준다. 소뇌는 그 결과를 진행 중인 대화에 녹여 넣는다. 카페 점원과 주방을 떠올리면 쉽다. 점원(소뇌)은 손님과 계속 대화하며 주문을 받고, 오래 걸리는 요리는 주방(대뇌)에 넘긴 뒤 "곧 나옵니다" 같은 말로 대화를 이어간다. 요리가 되는 동안 손님은 점원과 계속 이야기할 수 있다.
이 구조의 핵심은 대뇌가 갈아 끼울 수 있는(plug-and-play) 부품이라는 점이다. 논문은 대뇌를 Gander 안에서 추가 학습 없이 쓰도록(training-free back brain) 설계했다. 그래서 더 강한 추론 백엔드가 나오면 실시간 상호작용 모델을 다시 학습시키지 않고도 대뇌만 교체할 수 있다. 재현을 위해 논문은 소뇌를 MiniCPM-o 4.5를 초기값으로 삼아 적응시키고, 대뇌는 Codex 계열이나 Claude Code 같은 범용 에이전트(general-purpose agent)로 구현할 수 있다고 설명한다(§3.1·§5.1). 즉 소뇌와 대뇌는 서로 다른 모델이며, 그 사이를 에이전트 오케스트레이션 런타임이 잇는다.
둘째는 소뇌가 올라탄 스트리밍 Thinker-Talker 구조다. 사용자 입력과 모델 출력을 시간에 맞춰 잘게 나눈 청크(chunk) 단위로 다루고, 이를 하나의 순서 있는 토큰 스트림으로 평탄화(flatten)한다. 그리고 각 청크마다 모델이 "지금 들을지, 말할지"를 명시적으로 예측한다. 듣기와 말하기를 매 순간 스스로 판단하도록 학습시킴으로써, 별도의 턴 관리 컨트롤러 없이도 낮은 지연으로 지각과 생성을 동시에 굴린다.
평가는 대화 능력, 상호작용 능력, 이해, 도구 보조 과제 실행의 네 축으로 이뤄졌다. 저자들이 밝힌 결과는 이렇다. 사내 사람 평가에서 Gander는 자연스럽고 표현력 있는 음성 대화를 유지했고, 벤치마크에서는 효과적인 턴 전환(turn-taking) 능력과 음성 질의응답·이해 과제에서 "고무적인(encouraging)" 결과를 보였다. 사용된 벤치마크로는 Full-Duplex-Bench, SpokenQA, WorldSense가 언급된다.
여기서 정직하게 밝힐 부분이 있다. 이 글은 각 벤치마크의 구체적 점수까지는 옮기지 않는다. "몇 점을 냈다"는 식의 수치가 궁금하면 논문 5장(Experiments)을 직접 확인하는 편이 정확하다. 다만 저자들의 표현 강도는 글 안에서의 위치에 따라 다르다. 초록에서는 "최고 성능"을 앞세우기보다 "고무적인(encouraging) 결과"라고 절제해 적지만, 본문(§5.2·§5.3)에서는 비교표 안에서 턴 전환(turn-taking) 성능과 풀듀플렉스 계열의 SpokenQA 성능이 가장 높다고 명시한다.
수치 없이도 의미가 있는 대목은 Gander가 다루겠다고 내건 상황의 폭이다. 배경 소음이 섞인 환경, 여러 사람이 동시에 말하는 다자 대화, 짧은 맞장구 같은 까다로운 설정을 지원 범위로 명시한다. 시각 맥락으로 모호한 지시를 해소하는 것처럼 맥락에 민감한 행동도 보인다고 한다. 모델·코드를 공개하고 데이터는 공개를 예정한다는 점도 후속 연구에는 실질적인 값이다. 다만 공개 상태는 시점에 따라 다르다. 공식 저장소는 모델·코드를 제공하되 데이터셋은 "Coming soon"으로, 공지에서는 공개 절차가 진행 중이라고 밝히고 있다.
논문 스스로 밝히는 한계가 명확하다. 현재 평가는 대표적인 대화 상황과 도구 보조 과제에 초점을 맞췄고, 더 긴 호흡의 장기(long-horizon) 에이전트 과제와 더 다양한 배포 조건은 앞으로의 과제로 남겨 둔다고 적는다. 다시 말해 "복잡한 워크플로도 다 된다"가 아니라 "그 방향의 가능성을 보였다"에 가깝다.
구조 자체가 낳는 질문도 있다. 대뇌를 도구 호출로 비동기 호출하는 설계는 유연하지만, 소뇌와 대뇌 사이를 오가는 왕복이 잦아지면 지연과 일관성 관리가 복잡해질 수 있다. 대뇌를 학습 없이 갈아 끼운다는 장점은 뒤집으면, 대뇌의 품질이 곧 시스템 품질의 상한이 된다는 뜻이기도 하다. 발췌만으로는 실사용 지연이 실제로 얼마인지, 한국어를 비롯한 다국어에서 어떻게 동작하는지 판단하기 어렵다. 이 부분은 단정하지 않고 열어 둔다.
온틀은 고객 프로젝트마다 AI PM을 파견해 요청 접수부터 서비스 노출까지 관리하는 제품이다. Gander의 설계에서 곧장 가져올 만한 결이 몇 가지 있다.
먼저 소뇌-대뇌 분리는 에이전트 제품이 흔히 겪는 긴장, 즉 "빠른 응답이냐, 깊은 처리냐"를 구조로 푼 사례다. 사용자와 대화하는 전면부는 가볍고 즉각적으로 두고, 오래 걸리는 분석·설계·실행은 뒤에서 비동기로 돌린 뒤 결과만 대화에 합류시키는 방식이다. PM이 사용자와 이야기하는 동안 백그라운드 작업이 굴러가고, 끝나면 자연스럽게 보고에 끼워 넣는 흐름과 겹친다.
추론 백엔드를 학습 없이 교체할 수 있게 둔 점도 참고할 만하다. 상호작용 계층과 추론 계층을 느슨하게 붙여 두면, 더 나은 모델이 나올 때 전체를 다시 만들지 않고 뒷단만 바꿀 수 있다. 끼어들기 허용과 선제적 되묻기는 PM형 UX와도 맞닿는다. 사용자가 말을 바꾸면 즉시 반영하고, 애매하면 먼저 확인 질문을 던지는 것이 오래 붙잡고 있다가 어긋난 결과를 내놓는 것보다 낫다.
다만 그대로 이식하자는 뜻은 아니다. Gander는 음성·실시간 상호작용 연구고, 평가 범위도 저자들이 스스로 좁게 잡았다. 온틀에 의미 있는 건 특정 수치가 아니라 "빠른 층과 깊은 층을 분리하고, 그 사이를 도구 호출로 잇는다"는 설계 원리 쪽이다.
아니요. 실시간 상호작용을 맡는 소뇌(MiniCPM-o 4.5를 초기값으로 적응)와, 깊은 추론을 맡는 별도 대뇌(Codex 계열·Claude Code 같은 범용 에이전트로 구현), 그리고 둘을 잇는 에이전트 오케스트레이션 런타임을 결합한 시스템입니다. "모델 하나가 다 한다"는 설명은 부정확합니다.
이 글은 구체적 점수까지는 옮기지 않았습니다. 저자들은 사람 평가에서 자연스러운 음성 대화를 보고하고, 초록에서는 이해 결과를 "고무적"이라고 절제해 표현하지만, 본문(§5.2·§5.3)에서는 비교표 안에서 턴 전환과 풀듀플렉스 계열의 SpokenQA 성능이 가장 높다고 명시합니다. 정확한 수치는 논문 5장을 확인하세요.
모델·코드는 공개돼 있고, 데이터는 공개 예정입니다(공식 저장소 기준 데이터셋 "Coming soon", 공개 절차 진행 중). 저자들도 평가가 대표적 대화·도구 보조 상황에 한정됐고, 장기 에이전트 과제와 다양한 배포 조건은 향후 과제라고 명시합니다. 제품화 전에는 실사용 지연·언어 지원 등을 별도로 검증해야 합니다.
대뇌는 Gander 안에서 추가 학습이 필요 없는 플러그인 방식으로 설계됐습니다. 그래서 더 강한 추론 모델이 나오면 실시간 상호작용 모델(소뇌)을 다시 학습시키지 않고 대뇌만 교체할 수 있습니다. 대신 대뇌의 품질이 시스템 품질의 상한을 정하게 됩니다.